ITPub博客

在开源情报（OSINT）领域，“数据过载”早已不是新问题，而是常态。每天，互联网产生海量信息，其中真正有价值的“信号”被淹没在无尽的“噪音”之中。分析师们疲于奔命，却常常陷入“看得见，找不到；找得到，看不完”的困境。

大数据技术体系太庞杂了，基础技术覆盖数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算（批处理、在线处理、实时流处理、内存处理）、多模态计算（图像、文本、视频、音频）、数据仓库、数据挖掘、机器学习、人工智能、深度学习、并行计算、可视化等各种技术范畴和不同的层面。

尽管大数据这一概念提出很早，但从为社会科学界熟知，到迅速转向反思与批判，却仅仅经历了短短几年的时间。为什么社会科学研究能够迅速对大数据做出响应?大数据在社会科学研究中有哪些应用?大数据应用于社会科学研究体现出哪一些价值?而它在应用中又有哪些悖论使其不能解决社会科学研究所面临的问题?本文试对以上问题进行分析。

对于科研机构而言，部署开源情报搜集系统不是选择题，而是应对未来科研竞争的必答题。当每一位科研人员都能熟练运用这一工具，将公开信息转化为创新势能，科研创新将不再受制于信息不对称，而是驶入加速发展的快车道。在这个“开放科学”的时代，开源情报正书写着科研范式变革的新篇章——让创新，从看见全世界开始。

每当提到区块链一词时，许多人都会将其与比特币等加密货币联系起来。这项技术通过加快交易速度、提供隐私和透明以及其他更多功能，确实改变了虚拟货币的世界。但是，区块链不仅限于加密货币，它是一项技术，并且可以应用于不同行业的多种其他应用程序中。大数据和区块链都是当今商业世界中的新兴技术。这些技术有可能从根本上改变组织未来的运作方式。

随着互联网技术和新媒体的高速发展，舆情已经成为了影响企业生存、发展的关键因素，舆情管理对企业的意义正日益凸显。企业舆情分析报告一方面是对舆情处理过程的有效总结，另一方面更是企业舆情管理能力和运营管理能力的重要体现。

在激烈的市场竞争下，从传统的线下营销到现在的网络营销，企业一直都在寻求新发展新突破。但是随着卖东西的人越来越多，企业的生意越来越难做。因此，收集竞品的情报，以己之长攻彼之短，以实现差异化的竞争策略成为当下企业的重要发展战略。

互联网上存在海量数据。如何将这些零散的数据抓取下来，存储在公司数据库中？如何从数据中挖掘价值，以洞察市场发展方向，助力业务不断增长？

科学前沿课题研究其实竞争非常激烈，世界范围内的若干个课题组你争我赶，明争暗斗，如果方法不当、信息不灵、行动迟缓，则可能落一步，步步落。也就是说，要想在科研战斗中首先占据前沿阵地，拨得头筹，除了加班加点、勤勉刻苦外，方法得当、信息灵通也是十分必要的。方法得当，事半功倍，这个大家都能理解。我这里主要说一下科研信息的搜集。

任何完整的大数据平台，一般包括以下的几个过程：数据采集–>数据存储–>数据处理–>数据展现(可视化，报表)。其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。

尽管“大数据”一词近年来屡遭热捧但很多人都还不知道什么是大数据更不知道大数据有甚卵用这两年，发现“大数据”这个词出现的越来越频繁了不仅企业，连国家都在部署大数据战略一番百度了之后Oh~ emmmmmmmmm~ +_+还是没搞懂大数据到底是个什么玩意儿直到有一天我发现一个秘密不管我在网上搜索什么页面都会跳出我要搜索的相关产品或关联事物然后，我恍然大悟！所谓大数据，就是算法！它能够“算”出我们“心中所

过去几年，“互联网+”颠覆了很多行业，互联网+医疗的兴起也改变了很多医生的工作方式和患者的就诊方式。

网络爬虫的应用场景多种多样，典型场景之一是网络上搜索引擎的后台爬虫，包括Baidu、Google、Bing等等。近来的一些关于网络爬虫不合理使用的事件又引起了大家关注，一个关键的问题是网络爬虫能抓取什么数据，也就是网络爬虫抓取边界（我自己创造的词）的界定问题。本文对当前一些观点进行归纳总结，并从法律和技术两个角度对数据抓取权限、网站访问方式和数据使用三个方面做了一些自己的思考，只是作为探讨。