为何将数据作为产品

多年来，我们一直专注于开发符合业务需求的产品和工具。每种工具都满足特定要求并需要不同的数据，因此需要分配大量额外资源，包括IT基础设施、运营成本等。在构建数据功能时，我们可能遵循了一种被称为“开发数据功能，就有客户用”的方法，但这种方法忽视了数据用户的需求。

如果我们转变视角，从产品团队那里收集以用户为中心的见解，结果会怎样？如果我们将数据视为不仅仅是资产，而是产品本身，结果会怎样？数据作为产品的思维模式是数据网格的四大原则之一，数据网格是一种分散项目架构模型的数据管理方式。通过开发数据产品，我们旨在提供价值并帮助用户实现他们的目标。

例如，假设业务用户的最终目标是满足不同国家多个机构的报告要求。在这种情况下，我们可以采取相反的方法，首先开发一个数据模型来理解不同报告场景中的不同数据要求。

数据资产：

• 包含企业拥有的原始数据。

• 包括位置、描述和所有权详细信息。

• 大量存储在数据仓库中。

• 价值会受到市场波动的影响。

• 接受IT团队的定期库存检查并最终注销。

• 源自外部数据采集（例如iCertis）、通过dataOps进行数据准备以及来自内部系统的分类和ETL过程。

数据产品：

• 代表经过精心挑选的数据集合，旨在积极用于支持业务运营、决策和战略规划。

• 以客户为导向，包括路线图、生命周期和用户社区参与。

• 根据使用环境拥有可变的值。

• 由客户直接体验和利用。

• 包括位置、描述和所有权属性，以及全面的文档、业务规则和访问控制。

• 可通过数据市场访问，从而促进简化的访问和使用。

开发数据产品的原因：

确定是否创建数据产品或授予对存储在数据湖中的原始数据的访问权限需要一个战略决策框架。以下几点概述了关键考虑因素：

1.了解用户需求和用例：了解利用这些数据要实现的目标和结果。

·数据产品：当数据需要进行大量清理、聚合或其他转换才能使用时，数据产品可以简化此过程，提高效率。

·原始数据：在未来的分析需求不确定或多样化的情况下，原始数据可以提高适应性并探索各种分析方法。

2.识别受众：了解您的客户及其所拥有的技能。

·数据产品：如果用户缺乏有效分析或解释原始数据的技术技能，那么经过预处理的、用户友好的数据产品会更有价值。

·原始数据：相反，如果用户拥有强大的数据分析技能，并且需要超出产品所能提供的灵活性，那么原始数据访问提供了更合适的选择。

3.分析可行性和资源：评估开发数据产品的投资回报率（ROI）与授予原始数据访问权限相比，同时考虑与每种策略相关的开发工作、维护成本、基础设施要求和持续支持。

·数据产品：尽管在开发、维护和用户采用方面需要投入，但创建数据产品的好处往往超过成本。

·原始数据：提供原始数据访问权限通常更具成本效益，并且符合预算限制，同时仍能满足用户需求。

4.标准化和一致性：

·数据产品：对于多个用户需要进行相同数据分析的场景，数据产品可以保证一致性，减少重复工作。

·原始数据：相反，如果用户需要完全控制他们的分析方法和数据操作，原始数据访问是必不可少的。

进行这些改变需要什么

实施DaaP（数据即产品）需要的不仅仅是方法的改变；它还需要组织内部的文化和行为转变。要真正从以用户为中心的数据产品中获益，公司必须采用更加以产品为中心、以客户为中心的文化。这包括建立专注于为用户提供价值的跨职能团队。

这些团队由数据工程师、数据科学家、质量保证专家和设计师组成，他们齐心协力开发满足客户需求的产品。最重要的是，他们从失败中吸取教训，根据反馈和摩擦点不断改进方法。

DaaP的基本原则包括确保数据可发现、可寻址、可自我描述、可互操作、可信赖且安全。为了有效实施DaaP，组织可以遵循以下结构化方法：

1.建立业务目标：

• 利益相关者参与：与利益相关者合作，掌握正在解决的核心问题。

• 指标定义：确定关键绩效指标(KPI)来衡量数据产品的成功。

• 明确目标：明确定义我们的数据产品要实现的目标。

• 资源评估：评估必要的资源，包括时间、人才和技术。

• 路线图开发：创建结构化的时间表并设立里程碑来指导项目。

2.数据收集：

·来源识别：确定数据的来源及其可访问性。

·数据质量保证：通过全面的验证和确认过程确保数据的完整性。

·数据采集：利用合适的工具或脚本收集所需的数据。

·试点测试：进行初步测试，以确保收集数据的适用性和相关性。

·数据备份：实施强大的备份系统以保障原始数据的完整性。

3.数据清理和转换：

·标准化：将数据转换为统一的格式，以确保一致性和兼容性。

·特征工程：通过创建有助于数据分析和建模的新特征来增强数据集。

·验证：验证转换后数据的质量和准确性是否符合预定义的标准。

4.数据建模：

·探索性分析：进行深入分析以了解数据集内的特征和模式。

5.原型设计：

·特征选择：确定原型的最小特征集以满足基本要求。

·用户测试：收集有限受众的反馈，以评估原型的可用性和有效性。

·迭代：根据用户反馈进行改进，进一步完善原型。

·利益相关者评审：将原型呈现给利益相关者进行评估和批准。

·成本评估：确保原型可以在分配的预算内开发成成熟的产品。

6.生产部署：

·可扩展性：验证数据管道的可扩展性，以适应不断增加的数据量。

·集成：将数据产品无缝集成到现有的用户群和基础设施中。

·发布：向用户群推出数据产品，确保顺利过渡和采用。

·文档：创建全面的技术和用户文档以帮助理解和使用产品。

·培训：为最终用户和管理员提供培训课程，使他们熟悉产品的功能和特性。

7.持续监控和改进：

·绩效评估：持续评估数据产品是否符合定义的关键绩效指标（KPI）。

·反馈机制：实施系统以不断收集用户反馈，促进持续改进。

·更新管理：定期部署更新和补丁以解决错误并引入新功能。

·定期审查：进行定期评估，以确保产品与不断发展的业务目标保持一致。

总之，采用“数据即产品”方法有很多好处，包括更好地满足用户需求、提高产品质量和提高组织效率。通过优先交付有价值的数据产品，组织可以充分发挥其数据资产的潜力。