ITPub博客

科学前沿课题研究其实竞争非常激烈，世界范围内的若干个课题组你争我赶，明争暗斗，如果方法不当、信息不灵、行动迟缓，则可能落一步，步步落。也就是说，要想在科研战斗中首先占据前沿阵地，拨得头筹，除了加班加点、勤勉刻苦外，方法得当、信息灵通也是十分必要的。方法得当，事半功倍，这个大家都能理解。我这里主要说一下科研信息的搜集。

任何完整的大数据平台，一般包括以下的几个过程：数据采集–>数据存储–>数据处理–>数据展现(可视化，报表)。其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。

尽管“大数据”一词近年来屡遭热捧但很多人都还不知道什么是大数据更不知道大数据有甚卵用这两年，发现“大数据”这个词出现的越来越频繁了不仅企业，连国家都在部署大数据战略一番百度了之后Oh~ emmmmmmmmm~ +_+还是没搞懂大数据到底是个什么玩意儿直到有一天我发现一个秘密不管我在网上搜索什么页面都会跳出我要搜索的相关产品或关联事物然后，我恍然大悟！所谓大数据，就是算法！它能够“算”出我们“心中所

过去几年，“互联网+”颠覆了很多行业，互联网+医疗的兴起也改变了很多医生的工作方式和患者的就诊方式。

网络爬虫的应用场景多种多样，典型场景之一是网络上搜索引擎的后台爬虫，包括Baidu、Google、Bing等等。近来的一些关于网络爬虫不合理使用的事件又引起了大家关注，一个关键的问题是网络爬虫能抓取什么数据，也就是网络爬虫抓取边界（我自己创造的词）的界定问题。本文对当前一些观点进行归纳总结，并从法律和技术两个角度对数据抓取权限、网站访问方式和数据使用三个方面做了一些自己的思考，只是作为探讨。