flume 使用 tail 采集一个文件的数据到kafka topic
当开启了kafka consumer的时候 。文件追加五条。 consumer消费五条。一切正常
然后当使用--from-beginning 查看这个topic 的所有数据的时候。 发现真实消费的数据少了一些。刚才消费的五条数据，并不能全部查到。
其它信息：
（1）配置： flume配置的是memory channel
（2）查看kafka log目录下的分区下的 xxxx.log文件
发现当被采集文件追加 5条左右（为了让数据写入同一个partion，这里追加的五条数据一模一样）， xxx.log才刷新一条 。--from-beginning 开启的控制台消费者才能看到这一条。
但是如果同时开启了另一个consumer 。追加的所有条目。都是可以消费到的。
也就是consumer可以消费到，但是 --from-beginning 却没有获取到
请问有知道这是为什么的吗？
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/2331/viewspace-3168439/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
求助！！！！
下一篇：
Cocos2d-x新建项目报错
请登录后发表评论
登录
全部评论
