大数据架构是用于摄取和处理大量数据（通常称为“大数据”）的总体系统，因此可以针对业务目的进行分析。该体系结构可视为基于组织业务需求的大数据解决方案的蓝图。大数据架构旨在处理以下类型的工作：

• 批量处理大数据源。
• 实时处理大数据。
• 预测分析和机器学习。

精心设计的大数据架构可以节省公司资金并帮助您预测未来趋势，从而做出明智的业务决策。
大数据架构的好处
可用于分析的数据量每天都在增长。而且，流媒体资源比以往更多，包括流量传感器，健康传感器，事务日志和活动日志中提供的数据。但拥有数据只是成功的一半。您还需要能够理解数据并及时使用它来影响关键决策。使用大数据架构可以帮助您的企业节省资金并做出关键决策，包括：

• 降低成本。在存储大量数据时，Hadoop和基于云的分析等大数据技术可以显着降低成本。
• 做出更快，更好的决策。使用大数据架构的流组件，您可以实时做出决策。
• 预测未来需求并创造新产品。大数据可以帮助您衡量客户需求并使用分析预测未来趋势。

大数据架构的挑战
如果做得好，大数据架构可以节省公司资金并帮助预测重要趋势，但并非没有挑战。使用大数据时请注意以下问题。
数据质量
无论何时使用各种数据源，数据质量都是一项挑战。这意味着您需要做的工作是确保数据格式匹配，并且您没有重复数据或缺少会使分析不可靠的数据。在将数据与其他数据结合在一起进行分析之前，您需要分析和准备数据。
缩放
大数据的价值在于其数量。但是，这也可能成为一个重要问题。如果您尚未设计体系结构以进行扩展，则可能会很快遇到问题。首先，如果您不计划支持基础架构，那么支持基础架构的成本就会增加。这可能会给您的预算带来负担。其次，如果您不打算进行扩展，那么您的性能可能会显着下降。这两个问题都应该在构建大数据架构的规划阶段得到解决。
安全
虽然大数据可以为您提供对数据的深入了解，但保护这些数据仍然具有挑战性。欺诈者和黑客可能对您的数据非常感兴趣，他们可能会尝试添加自己的假数据或浏览您的数据以获取敏感信息。网络犯罪分子可以制作数据并将其引入您的数据湖。例如，假设您跟踪网站点击次数以发现流量中的异常模式并在您的网站上查找犯罪活动。网络犯罪分子可以穿透您的系统，为数据添加噪音，从而无法找到犯罪活动。相反，在您的大数据中可以找到大量的敏感信息，如果您没有保护周边，加密数据并努力匿名化数据以移除敏感信息，网络犯罪分子可以挖掘您的数据以获取该信息信息。

大数据架构是什么样的？
大数据架构因公司的基础架构和需求而异，但通常包含以下组件：

• 数据来源。所有大数据架构都从您的源开始。这可以包括来自数据库的数据，来自实时源（例如IoT设备）的数据，以及从应用程序（例如Windows日志）生成的静态文件。
• 实时消息摄取。如果有实时源，则需要在架构中构建一种机制来摄取数据。
• 数据存储。您需要存储将通过大数据架构处理的数据。通常，数据将存储在数据湖中，这是一个可以轻松扩展的大型非结构化数据库。
• 批处理和实时处理的组合。您需要同时处理实时数据和静态数据，因此应在大数据架构中内置批量和实时处理的组合。这是因为可以使用批处理有效地处理大量处理的数据，而需要立即处理实时数据以带来价值。批处理涉及长时间运行的作业，以过滤，聚合和准备数据以进行分析。
• 分析数据存储。准备好要分析的数据后，需要将它们放在一个位置，以便对整个数据集进行分析。分析数据存储的重要性在于，您的所有数据都集中在一个位置，因此您的分析可以是全面的，并且针对分析而非事务进行了优化。这可能采取基于云的数据仓库或关系数据库的形式，具体取决于您的需求。
• 分析或报告工具。在摄取和处理各种数据源之后，您需要包含一个分析数据的工具。通常，您将使用BI（商业智能）工具来完成这项工作，并且可能需要数据科学家来探索数据。
• 自动化。通过这些不同的系统移动数据需要通常以某种形式的自动化进行编排。数据的摄取和转换，批量移动和流处理，将其加载到分析数据存储，最后获得洞察力必须在可重复的工作流程中，以便您可以不断从大数据中获取洞察力。