当我们打开购物软件或社交软件，首页总会推送一些我们近期搜索过的物品、相关话题，这时候大家头脑里都会冒出一个词“大数据”，那究竟什么是大数据？对于大数据很多权威机构给出了自己的定义，比如Gartner对大数据的解释是：大数据是指高容量、高速度或高多样性的信息资产，它们需要借助成本效益高、创新的信息处理方式，以获取更深入的洞察、决策支持并实现流程自动化。
从这个定义中我们也可以看出，大数据的”大“不仅仅在于数量庞大，还在于种类上的多样性和复杂性。大数据区别于传统数据，它无法依靠传统的数据库来捕获、管理和处理，而需要采用更加灵活高效的处理框架（如：Hadoop，Kafka，Spark等）。
目前大数据的应用范围十分广泛，企业可利用这些数据制定决策，完善流程和政策，并打造以客户为中心的产品、服务和体验。不仅如此，气象卫星、物联网设备、交通摄像头、社交媒体动态，这些只是我们目前利用的一部分数据源。大数据可覆盖我们能够利用数字方式监控的任何地方和任何事物。
大数据的发展历程
虽然近十年，”大数据“才成为一个家喻户晓的概念，但其发展史可以追溯到上世纪80年代，未来学家托夫勒在其著作《第三次浪潮》中提出了”大数据“这一概念，并将其视为推动社会变革的关键力量。不过此时的”大数据“只是一个设想，其真正成长伴随互联网的迅猛发展。
进入21世纪，互联网逐步深入千家万户、各型企业以及机构，随之互联网数据也呈现爆发式增长态势，数据的多样性和复杂性也逐步增强。传统的数据库系统难以应付如此大量且多样化的数据，数据科学家开始研发新的模型架构以处理这些数据。也就是在这一时期Hadoop，Kafka等软件架构问世。
21世界的第二个十年，大数据迎来了其发展的“黄金时期”，包括我国在内的世界多个国家开始部署大数据战略。2014年大数据被写进政府工作报告，2016年其正式上升为国家战略规划。未来随着更多新技术（云计算、人工智能）的发展融合以及政策的支持，大数据将在更多的重要领域发挥其重要作用，真正实现托夫勒所设想的推动社会变革及升级。
大数据的演变
阿波罗制导计算机用不到 80 KB 的内存将第一艘宇宙飞船送上月球，这在今天看来似乎不可思议。自那时起，计算机技术呈指数级增长，大量数据也随之产生。事实上，自 20 世纪 80 年代以来，全球数据存储技术能力大约每三年就会翻一番。仅仅 50 多年前，当阿波罗 11 号升空时，全世界产生的数字数据量还只相当于现在一台普通笔记本电脑的存储量。2020 年，据 Statista 估计，全球生成或复制的数据量达到了 64.2 ZB；同时，“未来五年生成的数字数据量将比自数字化存储面世以来生成的总数据量的两倍还要多。”
大数据包括哪些类型：什么是结构化、非结构化和半结构化数据？
根据数据集的结构和建索引的难易程度，数据集通常被分为三类。
三种类型的大数据
- 结构化数据：这类数据最容易整理和搜索，主要包括财务数据、机器日志和人口统计明细等。结构化数据很好理解，类似于 Excel 电子表格中预定义的行列布局。这种结构下的数据很容易分门别类，数据库设计人员和管理员只需要定义简单的算法就能实现搜索和分析。不过，即使结构化数据数量非常大，也不一定称得上大数据，因为结构化数据本身比较易于管理，不符合大数据的定义标准。一直以来，数据库都是使用 SQL 编程语言管理结构化数据。SQL 是由 IBM 在 20 世纪 70 年代开发的，旨在帮助开发人员构建和管理当时正逐步兴起的关系型（电子表格式）数据库。
- 非结构化数据：这类数据包括社交媒体内容、音频文件、图片和开放式客户评论等。这些数据符合大数据定义中大而复杂的要求，也因此这些数据通常很难用标准的行列关系型数据库捕获。一直以来，如何利用这类大数据是企业在不断探索的问题。大多数情况下企业若想搜索、管理或分析大量非结构化数据，只能依靠繁琐的手动流程。毫无疑问，分析和理解这类数据能够为企业带来价值，但是执行成本往往太过高昂。而且，由于耗时太长，分析结果往往还未交付就已经过时。因为无法存储在电子表格或关系型数据库中，所以非结构化数据通常存储在 数据湖、 数据仓库和 NoSQL 数据库中。
- 半结构化数据：顾名思义，半结构化数据是结构化数据和非结构化数据的混合体。电子邮件就是一个很好的例子，因为其中的正文属于非结构化数据，而发件人、收件人、主题和日期等则属于结构化数据。使用地理标记、时间戳或语义标记的设备也可以同时提供结构化数据和非结构化内容。例如，一张未做标识的智能手机图片仍然可以告诉你，这是一张自拍照，以及拍摄的时间和地点。采用人工智能技术的现代数据库不仅能够即时识别不同类型的数据，还能够实时生成算法，有效地管理和分析各种相关的数据集。
大数据的来源
大数据的来源十分广泛，可以说我们每天都徜徉于大数据中。从无人机卫星到烤面包机，数据生成设备的数量正在以惊人的速度增长。但总的来说，数据源主要分为以下三类：
社交数据
顾名思义，社交数据来源于社交媒体评论、发帖、图片以及与日俱增的视频文件。随着全球 4G 和 5G 蜂窝网络的普及，预计到 2023 年，全球手机视频用户将增至 27.2 亿。虽然社交媒体及其使用趋势瞬息万变、难以预测，但作为数字数据的主要来源，其稳定增长趋势是不会改变的。
机器数据
物联网设备和机器都配有传感器，能够发送和接收数字数据。物联网传感器能够帮助企业采集和处理来自整个企业的设备、工具和装置的机器数据。从天气和交通传感器到安全监控，全球范围内的数据生成设备正在迅速增多。据 IDC 估计，到 2025 年，全球物联网设备数量将超过 400 亿，生成的数据量几乎占全球数字数据总量的一半。
交易数据
交易数据是世界上发展速度和增长速度最快的数据。例如，一家大型国际零售商每小时处理超过 100 万笔客户交易。想象一下，全球那么多采购和银行交易，生成的数据量会有多么惊人。此外，交易数据越来越多地由半结构化数据组成，包括图片和注释等，使得管理和处理难度不断增加。
大数据的五大特性
大型数据集不一定是大数据。要称为大数据，数据必须至少具备以下五项特性：
大数据的五大特性，简称 5V
- 数据量巨大：尽管数据量不是判断大数据的唯一要素，但绝对是一项主要特性。为了充分管理和利用大数据，企业需要采用高级算法和由人工智能驱动的分析工具。但在此之前，企业需要采用安全可靠的方式来存储、整理和检索数万亿字节的数据。大型企业通常都拥有如此规模的数据。
- 处理速度快：过去，数据生成后，必须先输入到传统数据库系统中（通常手动进行），然后才能用于分析或检索。如今，借助大数据技术，在数据生成之时，数据库就能即时处理、分析和配置数据，有时甚至在毫秒内就能完成。这样一来，企业就可以利用实时数据捕获财务机会，响应客户需求，预防欺诈，并处理对速度要求极高的任何其他活动。
- 种类多样化：如果数据集中只包含结构化数据，无论其规模多么庞大，都不是大数据。大数据通常由结构化、非结构化和半结构化数据组成。传统的数据库和数据管理解决方案缺乏灵活性且功能范围有限，根本无法应对大数据中各种不同且复杂的数据集。
- 准确可靠：尽管借助现代数据库技术，企业能够采集和理解大量不同类型的数据，但只有准确、相关和及时的数据才具有价值。对于仅存储结构化数据的传统数据库，语法错误和拼写错误屡见不鲜。而在非结构化数据方面，我们面临一系列全新的数据准确性挑战。人类偏见、社交干扰信息和数据来源问题都会影响数据质量。
- 交付价值： 毫无疑问，大数据分析产生的结果往往出人意料且极具吸引力。但是，对于企业而言，大数据分析提供的洞察必须能够帮助企业提高竞争力和韧性，并为客户提供更卓越的服务。现代大数据技术提供了数据采集和数据检索功能，能够帮助企业大幅提升利润和运营韧性。
随着大数据的进一步发展，在”5V“的基础之上，有增加了两个新的特性，即
数据可视化（Visualization）：为了能够使大数据的价值得到全面的利用，我们开始采用图形化的工具来直观地呈现大数据，从而使用户可以更容易理解数据之间的关系、数据的趋势，并进一步提取出更高层次的洞察，推动更加科学的决策。
变异性（Variability）：数据在传输和处理的过程也可能发生变化，其在空间、时间等维度上并不是一成不变的，这要求我们在利用大数据的时候要及时把握其格式、质量、价值等方面的变化，这对有效利用大数据至关重要。
大数据的优势
借助现代大数据管理解决方案，大数据分析工作更加智能化，企业能够以前所未有的速度和准确度将原始数据转化为相关洞察。
-
产品和服务开发：借助大数据分析，产品开发人员能够分析非结构化数据，如客户评论和文化趋势，并快速作出响应。
-
预测性维护：在一项全球调查中，麦肯锡 (McKinsey) 发现，通过对物联网机器生成的大数据进行分析，设备维护成本可以降低 40%。
-
客户体验：Gartner 在 2020 年对全球企业领导者开展的一项调查中发现，相比非成长型企业，成长型企业采集客户体验数据的积极性更高。借助大数据分析，企业可以打造更卓越的个性化客户体验。
-
韧性和风险管理：新冠疫情的发生让许多企业领导者猛然意识到，他们的企业运营在面临意外中断时多么不堪一击。大数据洞察能够帮助企业预测风险，并为意外事件做好准备。
-
节省成本和提高效率：当企业将高级大数据分析技术应用于企业的所有流程时，他们不仅能够发现效率低下之处，还能实施快速、有效的解决方案。
-
提高竞争力：利用大数据分析技术所得到的数据洞察能够帮助企业节约资金，提高客户满意度，打造更优质的产品，并革新业务运营。
大数据的挑战
大数据具有海量性、高速性、多样性等特点，这些特性在为其创造更多价值的同时也为其应用带来了一些挑战。
数据存储：面对大数据的海量性，数据的存储成了首要问题。虽然分布式存储为大数据提供了一种高效的存储方式，但目前我们所要应对的数据量正呈指数级增长，为了应对这一趋势，我们仍需寻找更加有效的数据存储途径。
数据处理与分析：大数据的高速性和多样性也使数据的处理和分析变得更加复杂。大数据往往来自不同的数据源，数据结构复杂，数据质量也良莠不齐。在利用数据前，这些数据需要经过多道的清洗、转化和整合。同时，其高速性也对其处理时间提出了更高的要求。如何解决速度与质量之间的矛盾是大数据面临的一大挑战。
数据隐私与安全：安全性是所有信息技术所要面对的重要问题，大数据中可能包含大量敏感信息，如个人隐私、商业秘密等，一旦泄露或被滥用，将给个人和企业带来巨大损失。因此，如何保护数据隐私，确保数据安全，是大数据应用中必须高度重视的问题。
人工智能和大数据
大数据管理依赖于能够处理并有效分析大量不同复杂信息的智能化大数据应用系统。在这方面，大数据和 人工智能相辅相成。如果没有人工智能帮助整理大数据并进行大数据分析，大数据就无法发挥实际用途。人工智能也有赖于大数据中包含的广泛数据集来交付可据以采取行动的分析结果。正如 Forrester Research 分析师 Brandon Purcell 所言：“数据是人工智能的命脉。人工智能系统需要从数据中学习，才能实现自身的功能。”
– Brandon Purcell，Forrester Research 分析师
除了大数据外，越来越多的企业开始使用“小数据”训练 AI 和机器学习算法。小数据集中蕴藏着宝贵的信息，比如营销调查、电子表格、电子邮件、会议纪要，甚至个人社交媒体帖子等数据集，但是这类数据集却经常被忽视。归根结底，用于训练算法的数据越多，输出结果就越好。
机器学习和大数据
机器学习算法能够定义传入的数据并识别其中的模式。这些洞察有助于企业制定明智的业务决策并实现流程自动化。机器学习的发展有赖于大数据，因为分析的数据集质量越高，系统不断学习、发展和调整自我的机会就越大。
云计算与大数据
云计算是一种分布式处理架构，通过互联网将数据分散到世界各地的服务器中进行处理与分析，并将最终的结果返回给用户。云计算为大数据提供了强大的计算能力和存储空间，同时云计算的服务模式也降低了企业利用大数据技术的门槛与成本。越来越多的大数据处理工具选择采用云端模式，以实现更加高效的数据处理和分析。
大数据技术
大数据架构
大数据架构就像建筑施工中的架构一样，为企业如何管理和分析数据提供了基础结构蓝图。大数据架构将大数据管理流程分为四个基本层级，首先是数据源，然后是数据存储，再是大数据分析，最后是使用层，在这个层级，分析结果以 商业智能的形式呈现。
大数据分析
大数据分析流程利用专门针对大数据特征构建的数据模型和算法，实现有意义的数据可视化。在麻省理工斯隆管理学院进行的一项 深入调研中，超过 2,000 名企业领导者介绍了他们的大数据分析情况。不出所料，那些积极制定和支持大数据管理战略的企业取得了最卓越的业务成果。
大数据和 Apache Hadoop
想象一下，10 个一角硬币和 100 个五分硬币混在一个大盒子里。再想象一下，10 个小盒子并排放着，每个盒子中有 10 个五分硬币和 1 个一角硬币。哪种情况更容易找到一角硬币？Hadoop 的工作原理与这基本相似。Hadoop 是一个开源框架，将很多计算机互联起来，组成一个网络，进行分布式大数据处理。所以，Hadoop 不是使用一台大型计算机存储和处理所有数据，而是将多台计算机聚集到一个几乎无限可扩展的网络中，并行分析数据。该流程通常使用 MapReduce 编程模型，通过编排分布式计算机来协调大数据处理。
数据湖、数据仓库和 NoSQL 数据库
传统 SQL 电子表格式数据库用于存储结构化数据。非结构化和半结构化大数据需要独特的存储和处理模式，因为这些数据不适于建索引和分类。数据湖、数据仓库和 NoSQL 数据库都是用来管理非传统数据集的数据库。数据湖主要存储尚未处理的大量原始数据。数据仓库主要存储已针对特定目的进行处理的数据。NoSQL 数据库则非常灵活，可以根据要处理的数据性质进行调整。这些系统都各有优缺点，许多企业会组合使用不同的数据存储库来满足自身需求。
内存数据库
传统的磁盘数据库是基于 SQL 和关系型数据库技术开发的。虽然这些数据库能够处理大量结构化数据，但并不适合存储和处理非结构化数据。对于内存数据库，数据处理和分析完全在 RAM 中进行，无需从基于磁盘的系统中检索数据。而且，内存数据库也是基于分布式架构构建。这意味着，与基于磁盘的单节点数据库模型相比，内存数据库可以并行处理数据，提高速度。
如何利用大数据？
如何使大数据的价值体现到企业运营中？只有通过大数据分析企业获得相关且可据以采取行动的洞察，达到帮助企业显著改善业务运营的目的，大数据的价值才真正得到体现。在为大数据转型做准备时，企业应确保其系统和流程都具备采集、存储和分析大数据的能力。
使用大数据的三大步骤
- 采集大数据。很多大数据是由来自各种不同数据源的大量非结构化数据组成。传统的磁盘数据库和数据集成机制根本无法处理这种数据。要想有效管理大数据，企业需要采用专为大数据采集打造的内存数据库解决方案和软件解决方案。
- 存储大数据。顾名思义，大数据的数据量非常大。许多企业都是采用本地存储解决方案管理现有数据。为了节约成本，他们希望可以继续利用这些存储库满足大数据处理需求。但是，大数据只有在不受大小和内存限制约束的情况下才能发挥最大效用。如果企业一开始没有将云存储解决方案融入大数据模型中，那么几个月后往往会追悔莫及。
- 分析大数据。如果不将人工智能和机器学习技术应用于大数据分析，就无法充分发挥大数据的潜能。大数据的五大特性之一是“处理速度快”。要想让大数据洞察有效且具有价值，速度至关重要。分析流程必须能够自我优化，并能够定期从经验中学习，而这些只有利用人工智能和现代数据库技术才能做到。
大数据应用
大数据提供的洞察和深度学习几乎能为任何企业或行业带来收益。但是，具有复杂运营职能的大型组织通常能够最有效地利用大数据
。
-
金融
Journal of Big Data 发表的一项 2020 年研究指出，大数据“在改变金融服务行业方面发挥着重要作用，尤其是在贸易和投资、税务改革、欺诈检测和调查、风险分析以及自动化等领域。”大数据还有助于推动金融行业转型。通过分析客户数据和反馈，企业能够获得宝贵的洞察，进而提升客户体验和满意度。交易数据集是世界上发展速度最快和规模最大的数据集。如今，越来越多的企业采用先进的大数据管理解决方案，这有助于银行和金融机构保护这些数据，并通过对客户和企业有利的方式使用这些数据。 -
医疗
大数据分析可以帮助医疗专业人员做出更准确的、基于证据的诊断。此外，大数据还有助于医院管理人员发现趋势，管理风险，并最大限度地减少不必要的支出，将更多的预算投入到患者护理和研究领域。在新冠疫情期间，全球的研究科学家都在努力寻找有效的防控措施，而大数据在这个过程中发挥着巨大作用。2020 年 7 月《科学家》(The Scientist) 杂志发表了一篇文章，介绍了医疗团队如何通过协作和分析大数据对抗新冠病毒：“我们以前所未有的方式利用大数据和数据科学工具和资源，改变了传统的临床科学研究方法。” -
运输和物流
亚马逊效应 (Amazon Effect) 指的是：随着亚马逊设立次日交付的标准，客户现在对他们在线订购的任何商品都要求达到这样的送货速度。美国 Entrepreneur（企业家）杂志指出，亚马逊效应带来的直接结果是，“‘最后一英里’物流竞赛将越来越激烈。”物流公司越来越依赖大数据分析来优化路线规划、装载整合和燃油效率提升措施。 -
教育
在疫情期间，世界各地的教育机构不得不重新设计课程和教学方法，来支持远程学习。在这个过程中，一个主要的挑战是：找到可靠的方法来分析和评估学生的成绩，以及线上教学的整体效果。2020 年，一篇关于大数据对教育和在线学习的影响的文章指出：“大数据让教师对开展个性化教育、发展混合式学习、革新评估系统和促进终身学习等方面更有信心。” -
能源和公用事业
根据美国劳工统计局的数据，公用事业企业通常都是依靠抄表员偶尔读取指针式仪表上的读数，花在抄表员身上的开支超过 14 亿美元。而智能仪表读取器每天可以提供多次数字数据，而且，借助大数据分析，企业还能够根据获得的洞察，提高能源使用效率，并提高定价和预测的准确性。此外，现场员工从读表任务中解放出来之后，通过捕获和分析数据，企业可以更快地将他们分配到更紧急的维修和升级任务中。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/70041355/viewspace-3029299/ ，如需转载，请注明出处，否则将追究法律责任。
