如何解决Apache Flume不在HDFS文件夹中存储数据
我正在Windows上工作，我想从Twitter获取推文。我为此使用Apache Flume和Hadoop。 Flume会获取推文，但不会将其存储在HDFS文件夹中，该文件夹设置为在flume.conf文件中存储数据的目标路径。我检查了一下，然后关闭了hadoop的安全模式，还给了我的文件夹所有权限，以便Flume可以在其中写入。我尝试了一切，但我真的不知道出了什么问题，请帮忙。
这是我的flume.conf文件：
Twitteragent.sources=Twitter
Twitteragent.channels=MemChannel
Twitteragent.sinks=HDFS
Twitteragent.sources.Twitter.type = org.apache.flume.source.twitter.TwitterSource
Twitteragent.sources.Twitter.channels = MemChannel
Twitteragent.sources.Twitter.consumerKey = XXXXXXXXXXXXXXXXXX
Twitteragent.sources.Twitter.consumerSecret = XXXXXXXXXXXXXXXXXX
Twitteragent.sources.Twitter.accesstoken = XXXXXXXXXXXXXXXXXX
Twitteragent.sources.Twitter.accesstokenSecret = XXXXXXXXXXXXXXXXXX
Twitteragent.sources.Twitter.keywords= big,data
Twitteragent.sinks.HDFS.channel=MemChannel
Twitteragent.sinks.HDFS.type=hdfs
Twitteragent.sinks.HDFS.hdfs.path=hdfs://localhost:9000/flume
Twitteragent.sinks.HDFS.hdfs.fileType=DataStream
Twitteragent.sinks.HDFS.hdfs.writeformat=Text
Twitteragent.sinks.HDFS.hdfs.batchSize= 1000
Twitteragent.sinks.HDFS.hdfs.rollSize=0
Twitteragent.sinks.HDFS.hdfs.rollCount=10000
Twitteragent.sinks.HDFS.hdfs.rollInterval=600
Twitteragent.channels.MemChannel.type = memory
Twitteragent.channels.MemChannel.capacity=10000
Twitteragent.channels.MemChannel.transactionCapacity=1000
谢谢！
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
