新手园地& & & 硬件问题Linux系统管理Linux网络问题Linux环境编程Linux桌面系统国产LinuxBSD& & & BSD文档中心AIX& & & 新手入门& & & AIX文档中心& & & 资源下载& & & Power高级应用& & & IBM存储AS400Solaris& & & Solaris文档中心HP-UX& & & HP文档中心SCO UNIX& & & SCO文档中心互操作专区IRIXTru64 UNIXMac OS X门户网站运维集群和高可用服务器应用监控和防护虚拟化技术架构设计行业应用和管理服务器及硬件技术& & & 服务器资源下载云计算& & & 云计算文档中心& & & 云计算业界& & & 云计算资源下载存储备份& & & 存储文档中心& & & 存储业界& & & 存储资源下载& & & Symantec技术交流区安全技术网络技术& & & 网络技术文档中心C/C++& & & GUI编程& & & Functional编程内核源码& & & 内核问题移动开发& & & 移动开发技术资料ShellPerlJava& & & Java文档中心PHP& & & php文档中心Python& & & Python文档中心RubyCPU与编译器嵌入式开发驱动开发Web开发VoIP开发技术MySQL& & & MySQL文档中心SybaseOraclePostgreSQLDB2Informix数据仓库与数据挖掘NoSQL技术IT业界新闻与评论IT职业生涯& & & 猎头招聘IT图书与评论& & & CU技术图书大系& & & Linux书友会二手交易下载共享Linux文档专区IT培训与认证& & & 培训交流& & & 认证培训清茶斋投资理财运动地带快乐数码摄影& & & 摄影器材& & & 摄影比赛专区IT爱车族旅游天下站务交流版主会议室博客SNS站务交流区CU活动专区& & & Power活动专区& & & 拍卖交流区频道交流区
UID空间积分0 积分2224阅读权限50帖子精华可用积分2224 信誉积分392 专家积分0 在线时间487 小时注册时间最后登录
小富即安, 积分 2224, 距离下一级还需 2776 积分
帖子主题精华可用积分2224 信誉积分392 专家积分0 在线时间487 小时注册时间最后登录
论坛徽章:1
请教如何将flume采集到的日志数据写入到HDFS中，
11:35 上传
应用端大概有70台服务器，需要采集日志，而且日志需要写入到HDFS系统上的不同路径下，这样的话汇聚端的agent就没办法写了（请教）
那么可不可以直接将数据从应用服务器采集上传到HDFS节点上呢？？？
11:38 上传
可以好像这样的结构图是必须flume的agent要跟hadoop的在同一节点上。
flume agent配置：a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.mand = tail -n +0 -F /home/hadoop/catalina.out
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 44444
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://Hadoop-Namenode:9000/flume/apache-tomcat-base
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.roundUnit = minute
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1复制代码然后启动：flume-ng agent -c conf -f flume.conf -n a1 -Dflume.root.logger=INFO.console
Info: Including Hive libraries found via () for Hive access
+ exec /export/java/jdk1.7.0_67/bin/java -Xmx20m -Dflume.root.logger=INFO.console -cp 'conf:/export/server/flume/lib/*:/lib/*' -Djava.library.path= org.apache.flume.node.Application -f flume.conf -n a1
log4j:WARN No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.复制代码卡住不动，HDFS也没有数据。。。。请教各位大神。。。。。网上太多帖子都只是做一个简单示例，请教生产中到底是如何实现日志分类采集存储到HDFS上的。。。
哥, 貌 似 一 个 传 说 ,
雷 劈 哪 , 哥 站 哪 .
&&nbsp|&&nbsp&&nbsp|&&nbsp&&nbsp|&&nbsp&&nbsp|&&nbsp如何看懂hdfs日志_百度知道
如何看懂hdfs日志
这种处理方式是离线处理存放到HDFS 一般都是要分析的数据。一般都是用pig hive 和mr 等进行分析的。如日志文件存储到hdfs 分析出网站的流量 UV PV 等等。分析完成的数据直接存储到MYSQL 或者ORACLE 中
来自团队：
其他类似问题
为您推荐：
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁【图文】第3讲：HDFS海量存储_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
第3讲：HDFS海量存储
上传于||暂无简介
大小：2.83MB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢一：Hdfs Sink
Flume可以很方便以扩展的方式写入数据到基于分层的方式可以有效分担集群的压力，一个可以写数据到多个中，但是一个事件将只会进入到一个中，每当数据被成功写入数据才会从中删除，如果失败或者超时，会回滚事物且关闭要写入的文件。
想一下，我们有这样一个需求，需要将数据写入到当前时间所在的目录下面，以便跟踪和区分数据，不出所料，提供了很强大的时间戳转义，基于报头的值，可以替换多个转义序列为相应的值，将时间戳的值定义为从年月日以来格式的总秒数。
关于时间戳的转义可以参见官网：。
hdfs sink 有很多配置参数，可以方便在一个很好的粒度级别来控制的表现，下面列举一些重要的配置。
type: hdfs
hdfs.path:sink写入的目录路径
hdfs.filePrefix：文件名的前缀
hdfs.inUsePrefix:hdfs正在写入的文件名的前缀
hdfs,inUseSuffix：正在写入的文件名的后缀
hdfs,timeZone：在创建路径时的时区
hdfs.rollInterval:文件在保存之前的时间
hdfs.rollSize:文件在保存之前写入文件的最大事件数
hdfs.batchSize:每批次写入事件的最大值
hdfs.useLocalTimeStamp ： 默认是如果设置为那么将会使用当前的时间戳用来基于时间的分桶
hdfs.round：用来标明事件的时间戳是否向下取整
hdfs.roundUnit：配置时间的单位
hdfs.fileType：使用的文件格式，默认是
hdfs.threadsPoolSize：线程池中执行操作的线程数
二：Hbase Sink
Hbase是一个列式，支持种，一种是的但是是阻塞的，执行效率比较慢，另一种是该是非阻塞的，使用写入数据到执行效率更快，但是其不支持安全的。
Hbase的参数配置和差不多，下面列举一些不一样的地方
Type:hbase
Table:sink写入事件的表，这个表必须再中先存在，因为不会自动建表
columnFamily：创建的列所在的列族
batchSize:每次批量写事件的数量
zookeeperQuorum,hbase集群依赖的服务列表，自带了默认的，如果你的机器没有集群服务的话
三：flume收集日志到hdfs和hbase
在安装路径的目录下，新建一个文件，修改后保存退出。具体配置如下：
2个，个，个。不同的经不同的写入到不同的目录下面，会根据配置的参数将数据放在当前机器时间的目录下面，则是一个普通的目录。
然后启动：
然后进入安装路径下的目录执行：
运行后可以看到：
打开管理界面
hbase是一个列式数据库，的如下：
先看一下，咱们采集的文件的内容
然后进入安装目录下下启动配置的。
发现里面表对应已经有数据了。}