ITPub博客

Apache Flink 是一款实时大数据分析引擎，同时支持流批执行模式，并与 Hadoop 生态可以无缝对接。2014 年，它被接纳为 Apache 孵化器项目，仅仅几个月后，它就成为了 Apache 项目。

ETL 是一种数据集成技术，其中数据从源系统中提取、转换并加载到统一的目标中。在云数据仓库兴起之前，ETL 是首选方法。

数据采集层主要负责收集各类数据，数据的来源分为两类，一类是埋点和业务日志以及服务日志，经由 LCS Agent 进行采集，另一类是数据库数据经由 Binlog 或 Checkpoint 数据集成等方式收集到消息队列中。

金融机构的“数字化、智慧化”战略落地，多数金融机构启用了全新的容器云平台，并花了大量时间和精力对关键业务进行了微服务改造，以适配云平台。

MapReduce 的另一个问题是，配置太复杂了。以至于错误的配置最终导致数据处理任务效率低下。

如何使用微服务架构来实现容器云平台的设计?在设计实现容器云平台支持微服务应用的时候，往往没有考虑到容器云平台自身的微服务组件划分。

可信执行环境的核心思想是构建一个独立于操作系统而存在的可信的、隔离的机密空间，数据计算仅在 该安全环境内进行，通过依赖可信硬件来保障其安全。

ETL是数仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

如果你正在运行实时的NoSQL安装，意识到速度或可扩展性正在成为一个越来越大的挑战，并且开始渴望云所能提供的几乎无限范围的数据库服务，从哪里开始?需要考虑什么才能成功实现飞跃?

典型的基于提取、转换、加载(ETL)的数据仓库使用 ODS 层、DWD 层和 DWS 层来容纳其关键功能。数据分析师可以灵活的查询 (Query) 数仓中的每一层，获取有价值的商业信息。

云存储的演练场景是整个演练体系中非常重要的环节，将同业务系统的所有云磁盘放置在一致性组下，业务恢复时选择测试选项。

云原生数据库发挥的作用，更像是“数字新基建”，它可以帮助企业更快速地拓展业务，摆脱底层基础架构繁琐的构建问题，让企业专注于业务创新，加快产品上市时间。

数仓主要是围绕着数据使用方与数据开发方诉求进行建设;因此在开始规划数仓建设时，需要先剖析各方需求、痛点与痒点，然后再在这些诉求设计解决方案与确定建设内容。

云计算安全架构对于云计算信息系统的安全建设具有重要的指导意义，在建设云计算信息系统时，要从环境安全部署、角色管控部署、安全防护部署、安全监控和管理部署多个角度对云计算信息系统进行全面防护，建立纵深防护体系，如图1所示为云计算安全部署参考架构。

一旦企业决定需要建设一个数据仓库，并确定了最合理的部署方案，下一步就是研究购买数据仓库平台的可用技术选项。整个过程，往往需要经过万全的考虑。

数据仓库在整个BI系统中起到了支柱的角色，更是海量数据收集、存储、分析的核心。对于保险服务机构来说，创建一个完全整合的、企业级的数据仓库环境是一项很大的挑战。

我们需要基于大促的应用表现，确定我们的应用在一定的业务条件下的性能基线，以及系统的成本预算。因此我们在大促前需要不断进行多次性能评估以及性能优化，需要确保应用的性能。

当前的技术进步解决了数据处理计算的规模问题，但还有问题悬而未决: 数据产生场景的变化、数据来源的扩散、数据用例和用户的多样性以及对变化的反应速度。Data Mesh或许可以解决这些问题。

了解容器和Kubernetes在组织内部的使用情况，可能有助于你找到转换一些现有虚拟机的良好起点。对于在数据中心中运行的工作负载，Red Hat OpenShift可以安装在裸金属服务器环境中，以运行容器和VM工作负载。

企业 IT 领域掀起实时数仓热潮。然而，只要稍做梳理就会发现，实时数仓格局未定，各种流派群雄逐鹿，还有很多需要进一步探讨的话题方向。