首先到网站下载Flume
地址:http://flume.apache.org/download.html
然后放到/usr/local/目录下解压
tar -zxvf apache-flume-1.5.2-bin.tar.gz
下载MongoDB插件
地址:https://github.com/leonlee/flume-ng-mongodb-sink
下载后是一个工程,需要自己打包成jar,然后直接放到解压后的Flume目录下的lib目录即可,当然还需要把mongodb驱动一起放入
进入Flume目录下的conf目录,编辑flume-server.conf文件如下:
# 定义组件名称 agent2.sources = source2 agent2.sinks = sink2 agent2.channels = channel2 # 定义数据入口 agent2.sources.source2.type = syslogudp agent2.sources.source2.host = 0.0.0.0 agent2.sources.source2.port = 10001 agent2.sources.source2.channels = channel2 # 定义数据出口 agent2.sinks.sink2.type = org.riderzen.flume.sink.MongoSink agent2.sinks.sink2.host = 192.168.8.30 agent2.sinks.sink2.port = 27017 agent2.sinks.sink2.model = single agent2.sinks.sink2.db = test agent2.sinks.sink2.collection = log agent2.sinks.sink2.batch = 2 agent2.sinks.sink2.channel = channel2 # 使用内存管道 agent2.channels.channel2.type = memory agent2.channels.channel2.capacity = 1000 agent2.channels.channel2.transactionCapacity = 100
然后进入Flume的bin目录启动服务
./flume-ng agent -n agent2 -c ../conf -f ../conf/flume-server.conf
-n表示当前运行的这个agent名称
-c表示配置文件存放目录
-f表示运行agent所使用的配置文件
如果想要程序后台运行,只需要在最后空格一下,加上&即可。(非永久性,远程断开linux时会停止)
如果想要永久性程序后台运行,只需要在最前面加上nohup,然后加一个空格隔开
如果想要使用debug模式查看日志,只需要在最后加上-Dflume.root.logger=INFO,console即可
相关推荐
bson-3.0.2.jarbson-3.12.10.jarmongodb-driver-3.0.2.jarmongodb-driver-3.12.10.jarmongodb-driver-3.12.11.jarmongodb-driver-core-3.0.2.jarmongodb-driver-core-3.12.10.jar
flume向mongodb写入日志的环境搭建所需jar包,安装包等
该源已实现为将JSON填充到MongoDB中。入门克隆存储库安装最新的Maven并通过“ mvn软件包”构建源通过'MVN依赖:生成类路径'生成类路径在$ FLUME_HOME / conf / flume-env.sh中附加类路径根据配置添加接收器定义组态...
flume采集日志所用的jar包,将自动采集生成的日志,配合博客使用。
让你快速认识flume及安装和使用flume1 5传输数据 日志 到hadoop2 2 中文文档 认识 flume 1 flume 是什么 这里简单介绍一下 它是 Cloudera 的一个产品 2 flume 是干什么的 收集日志的 3 flume 如何搜集日志 我们把...
Flume采集Nginx日志到Hive的事务表时需要导入到Flume下的Jar文件,具体使用方式可参见博文:https://blog.csdn.net/l1028386804/article/details/97975539
华为大数据认证,Flume组件介绍
Flume日志收集与MapReduce模式
flume修改源码读日志到hbase,①日志文件为json数据②修改文件编译打包并替换flumejar中的对应文件
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可...
[Packt Publishing] Apache Flume 分布式日志采集应用 (Hadoop 实现) (英文版) [Packt Publishing] Apache Flume Distributed Log Collection for Hadoop (E-Book) ☆ 图书概要:☆ Stream data to Hadoop using ...
flume采集日志信息,功能强大,输出采集方式多样,处理大日志
其中上篇介绍了HDFS以及流式数据/日志的问题,同时还谈到了Flume是如何解决这些问题的。本书展示了Flume的架构,包括将数据移动到数据库中以及从数据库中获取数据、NoSQL数据存储和性能调优。
flume解析从kafka中收集到的日志,将解析后的日志存入hbase和es,配合博客使用
Flume采集Nginx日志到新版Hive,Flume中需要添加的Jar包,各软件版本为:Hadoop 3.2.0、Flume 1.9.0、Hive 3.1.2、Nginx 1.17.2。
已上线的日志采集系统,使用flume收集日志,通过logstash将日志中的数据根据规则进行结构化,最后把结构化数据写入kafka,供消费者使用。
Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS 11111
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码。 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码,博客链接: ...
flume采集日志存入MySQL,支持分库分表,动态加载配置文件-flume-mysql
最好的大数据项目。用flume-kafaka-flume进行日志的读取,在hive设计数仓.zip