1、ApacheFlume
flume依赖于java的运行环境，以agent为处理单位，各agent包括source、channel和sink组件，其中source负责接收数据，将数据写入channel的channnel负责存储数据，这里存储的类型包括内存、文件、jdbc等
source上的数据可以复制到不同的channel上，channel可以连接不同数量的sink。通过连接不同配置的agent，可以构成复杂的数据收集网络。通过配置agent，可以构成路由复杂的数据传输网络。
当然，flume具有良好的课程扩展性，支持用户使用flumesdk定制source和sink。
2、Logstash
ELK是指ElasticSearch家庭的elasticsearch(数据存储和数据处理)、logstash(数据收集)和kibana(数据展示)。logstash也依赖JVM，主要部件有input、output和filter，配置比较简单，通常作为ELK堆栈同时使用，因此如果数据系统采用ElasticSearch，logstash可以优先选择。
以上就是数据采集的两种工具介绍，在获取数据方面，都有着各自独特的优势。除此之外，爬虫也是获取数据不错的选择，使用爬虫技术时可以结合代理ip的辅助，从而获取到更多的数据资源。如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多常见问题解决：ip
（推荐操作系统：windows7系统、Python 3.9.1、DELL G3电脑。）
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/1817/viewspace-2829709/ ，如需转载，请注明出处，否则将追究法律责任。
