ITPub博客

首页 > 数据库 > 数据库开发技术 > 开展精益的数据治理:步骤、方法与实践

开展精益的数据治理:步骤、方法与实践

原创 数据库开发技术 作者:lixiaoya84 时间:2024-01-01 13:34:27 0 删除 编辑



在当今数字化时代,数据已经成为企业最重要、最有价值的资产之一。然而,随着数据的快速增长和复杂性的提高,如何有效管理和治理数据成为了企业面临的重要挑战。为此,精益的数据治理成为了一种关键的方法和实践。

本文就数据治理常见的问题、精益数据治理方法论,以及实践步骤来说明精益数据治理如何开展。‍‍‍‍‍‍‍

  • 数据治理的重要性
  • 常见数据治理的方法和困境‍‍‍‍‍‍‍‍‍
  • 精益数据治理的方法论
  • 精益数据治理的实线步骤‍‍‍‍‍‍‍‍‍


01

—

数据治理的重要性‍‍‍‍


数据治理的重要性‍
数据治理的主要目的是为了让数据从不可用状态变成可用状态,那么它为什么重要了,如果不进行数据治理,会怎样了?

1、数据质量下降:没有规范的数据治理过程会导致数据质量下降,包括数据的准确性、完整性、一致性和可靠性等方面。低质量的数据会给企业带来决策错误和操作风险。

2、数据可信度降低:未经过合适的数据治理控制,数据可能会被篡改、损坏或丢失。这会削弱数据的可信度,使得企业在做出决策时缺乏信心。

3、合规风险增加:数据治理有助于确保企业遵守法规和合规要求,包括数据隐私和安全法规。如果没有进行数据治理,企业可能会面临法律风险、罚款以及声誉损失。

4、数据孤岛和碎片化:没有合适的数据治理策略,数据可能会分散在不同的系统、部门和团队中,形成数据孤岛。这种碎片化的数据不仅难以获取和共享,还无法形成完整的业务视图。

5、错失商业机会:数据治理能够帮助企业实现数据的共享和合作,促进不同部门之间的协作。没有数据治理,企业很可能错失创造新的商业价值和增长机会的机会。

综上所述,数据治理对于提高数据质量、可信度和合规性至关重要,同时也能帮助企业充分利用和挖掘数据价值,实现更好的商业结果和竞争优势。


02

—

常见数据治理的方法和困境

常见的数据治理方法‍‍
常见的数据治理模式,自下而上,以数据架构为重,开展的数据数据治理,这种模式重在数据架构,层层向上治理数据,至数据应用层。这种模式从底层数据切入,基于现有数据基础,盘点、建设、治理、应用层层展开,对企业整体的数据思维、数据治理水平要求较高,通常适用于数据量重、业务应用轻大型技术型企业,或政府机构,或新建、自研系统较多的企业。



常见的数据治理的困境
企业在进行数据治理时面临一些挑战:
1)投入困难:对于一些行业或中小企业来说,专门投入资源(例如专人、专项、专门的工具平台)进行数据治理可能非常困难。
2)价值不明显:传统的数据治理可能只是为了治理而治理,很难量化其与成本降低、收入增加、效率提高和决策改进之间的关系,价值难以突显。

3)执行难题:传统的数据治理通常采用自上而下的方法,制定计划、组建组织、建立多个标准流程,但在执行层面可能会出现难以控制的问题,不如人意。

针对这些问题,有一些轻量级的数据治理方案适合那些资源有限、业务变化快、短期需要见效果或数据管理水平还不高的组织。



04

—

精益数据治理的方法论

精益数据治理的方法论

精益的数据治理是一种基于精益原则的数据管理方法。它旨在最大限度地减少浪费,提高数据质量和价值,并确保数据能够为业务决策和创新发挥最大的作用。

一、在开展精益的数据治理时,步骤是关键的。首先是识别和建立清晰的业务目标和数据治理目标。这有助于明确数据治理的重要性,并为后续的实践奠定基础。

二、根据业务目录,确定数据资产,数据资产是数据治理的源头,通过数据探查,了解为了达到业务目录,所需的数据资产在数据平台加工的数据资源范围,

三、通过数据探查,了解数据资源是否满足加工要求,如果不满足加工有求,明确数据痛点和问题,常见的问题如下:‍

  • 数据质量问题

  • 数据命名和定义冲突

  • 业务规则冲突

  • 数据安全和隐私保护问题

  • 数据策略、标准架构和流程不一致

  • 数据不一致

四、接下来是建立数据质量控制机制。这涉及制定数据质量指标和标准,建立数据质量监控和反馈机制,并采取必要的纠正和改进措施,以确保数据质量符合要求。

另外,精益的数据治理还包括建立数据访问和安全控制措施。这包括定义和管理数据访问权限,确保数据的安全性和保密性,并建立数据共享和合作的机制。

最后,精益的数据治理需要建立一个持续改进的机制。这意味着在数据治理过程中,不断收集反馈和评估数据治理的效果,并根据需要进行调整和改进,以保持数据治理的有效性和适应性。

总之,精益的数据治理是一个以业务目标为导向的综合性的过程,涉及多个方面,包括数据清理、整合、质量控制、访问和安全控制,以及持续改进。通过实施精益的数据治理,企业可以更好地管理和利用数据,为业务决策和创新提供有力支持,提升竞争力和业绩。



05

—

精益数据治理实践步骤

精益数据治理实践步骤:以实际案例来说明‍‍‍‍


为了提升产品的良品率,需要计算不同产线下的废品率,通过监控废品率来提升产品的质量。‍


一、确定指标


指标名称
定义 计算公式
废品率
报废产品数量占总生产数量的比率
评价周期内报废产品数 量/总生产数量*100(从ERP获取一个月的废品数/总的入库数,是人工填的总的销售数)

二、明确展示指标需要的字段以及数据范围‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍



废品率报表 acc_date string 日期
scrap_rate double 废品率
kpi_lib_id string 目标库id
klt_org_code string 考评对象id
scrapped_products_amount double 报废产品数
total_products_amount double 报废产品数
aim_value double 目标值
contemporaneous_value double 同期值
yoy double 同比
ifstandard string 是否达标
deviation double 偏差率
dept_name string 机构name
dept_code string 机构id
type string 日期类型
other string 其他
other1 string 其他1


三、通过数据探查,确定加工这个报表的数据范围的数据质量是否存在问题‍‍‍‍


数据探测,两张表 每日加工数量表和每日报废数量表,发现如下问题:


字段名称 问题 对应治理模块
kpi_lib_id id重复 主数据模块
dept_name 机构名称不标准‍‍‍‍‍‍‍ 数据标准:编码标准‍‍‍‍‍
total_products_amount 取值为空,为空率为3% 数据标准:数据元标准


四、开展数据治理工作,配合数据治理工具,将问题字段的数据修正,并建立数据质量规则,监控两表有问题的字段,以防再次发生问题。‍‍‍‍‍

五、修正以后的数据满足数据统计分析的要求,开始加工数据,进行指标的展示。

以上是一个完整的以提高产品的良品率为目标而监控废品率指标的数据治理活动开展的步骤。通过明确的业务目标,让业务部门,it部门和数据团队的对数据治理的目的有统一的目标认识。从而达到快速的推进数据治理活动。‍‍‍‍‍‍‍‍‍‍


对应的数据治理工具体系参考如下文章系列:

数据治理体系之一-数据安全

数据治理体系之二-元数据管理
‍‍

数据治理体系之三-数据标准

数据治理体系之四-质量管理

数据治理体系之五-主数据管理



06

—

小结


精益数据治理的实施,使数据治理不再笨重,更具可行性。重申以下实践要点:
1)确保与业务价值对齐。没有价值,就不要进行治理;尽量避免过度工作。
2)减少不必要的步骤。在治理实施中,减轻业务人员、开发人员和治理人员的负担。
3)快速且有效。在战略层面有统一的目标、框架和节奏,但在战术层面上,要分别解决问题,追求快速结果。”


欢迎加入【数据行业交流群】社群,长按以下二维码加入专业微信群,商务合作加微信备注商务合作




往期历史热门文章:

基于DataOps的数据开发治理:实现数据流程的自动化和规范化

数据平台:湖仓一体、流批一体、存算分离的核心问题及原因解析

数据治理体系该怎么建设?

实时数仓&流批一体技术发展趋势

数据仓库、数据中台、大数据平台的关系?

数字化转型如何促进业务的发展

数据中台中的核心概念解析

数据治理中的数据标准的作用?

全面数字化转型:打造全新营销模式



原文作者:Ruby的数据漫谈;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2021-06-18

  • 博文量
    252
  • 访问量
    132834