首页 > 数据库 > 数据库开发技术 > 开展精益的数据治理:步骤、方法与实践
在当今数字化时代,数据已经成为企业最重要、最有价值的资产之一。然而,随着数据的快速增长和复杂性的提高,如何有效管理和治理数据成为了企业面临的重要挑战。为此,精益的数据治理成为了一种关键的方法和实践。
本文就数据治理常见的问题、精益数据治理方法论,以及实践步骤来说明精益数据治理如何开展。

01
—
数据治理的重要性
数据治理的重要性1、数据质量下降:没有规范的数据治理过程会导致数据质量下降,包括数据的准确性、完整性、一致性和可靠性等方面。低质量的数据会给企业带来决策错误和操作风险。
2、数据可信度降低:未经过合适的数据治理控制,数据可能会被篡改、损坏或丢失。这会削弱数据的可信度,使得企业在做出决策时缺乏信心。
3、合规风险增加:数据治理有助于确保企业遵守法规和合规要求,包括数据隐私和安全法规。如果没有进行数据治理,企业可能会面临法律风险、罚款以及声誉损失。
4、数据孤岛和碎片化:没有合适的数据治理策略,数据可能会分散在不同的系统、部门和团队中,形成数据孤岛。这种碎片化的数据不仅难以获取和共享,还无法形成完整的业务视图。
5、错失商业机会:数据治理能够帮助企业实现数据的共享和合作,促进不同部门之间的协作。没有数据治理,企业很可能错失创造新的商业价值和增长机会的机会。
综上所述,数据治理对于提高数据质量、可信度和合规性至关重要,同时也能帮助企业充分利用和挖掘数据价值,实现更好的商业结果和竞争优势。

02
—
常见数据治理的方法和困境
常见的数据治理方法
常见的数据治理的困境3)执行难题:传统的数据治理通常采用自上而下的方法,制定计划、组建组织、建立多个标准流程,但在执行层面可能会出现难以控制的问题,不如人意。
针对这些问题,有一些轻量级的数据治理方案适合那些资源有限、业务变化快、短期需要见效果或数据管理水平还不高的组织。

04
—
精益数据治理的方法论
精益数据治理的方法论
精益的数据治理是一种基于精益原则的数据管理方法。它旨在最大限度地减少浪费,提高数据质量和价值,并确保数据能够为业务决策和创新发挥最大的作用。
一、在开展精益的数据治理时,步骤是关键的。首先是识别和建立清晰的业务目标和数据治理目标。这有助于明确数据治理的重要性,并为后续的实践奠定基础。
二、根据业务目录,确定数据资产,数据资产是数据治理的源头,通过数据探查,了解为了达到业务目录,所需的数据资产在数据平台加工的数据资源范围,
三、通过数据探查,了解数据资源是否满足加工要求,如果不满足加工有求,明确数据痛点和问题,常见的问题如下:
数据质量问题
数据命名和定义冲突
业务规则冲突
数据安全和隐私保护问题
数据策略、标准架构和流程不一致
数据不一致
四、接下来是建立数据质量控制机制。这涉及制定数据质量指标和标准,建立数据质量监控和反馈机制,并采取必要的纠正和改进措施,以确保数据质量符合要求。
另外,精益的数据治理还包括建立数据访问和安全控制措施。这包括定义和管理数据访问权限,确保数据的安全性和保密性,并建立数据共享和合作的机制。
最后,精益的数据治理需要建立一个持续改进的机制。这意味着在数据治理过程中,不断收集反馈和评估数据治理的效果,并根据需要进行调整和改进,以保持数据治理的有效性和适应性。
总之,精益的数据治理是一个以业务目标为导向的综合性的过程,涉及多个方面,包括数据清理、整合、质量控制、访问和安全控制,以及持续改进。通过实施精益的数据治理,企业可以更好地管理和利用数据,为业务决策和创新提供有力支持,提升竞争力和业绩。

05
—
精益数据治理实践步骤
精益数据治理实践步骤:以实际案例来说明
为了提升产品的良品率,需要计算不同产线下的废品率,通过监控废品率来提升产品的质量。
一、确定指标
| 指标名称 |
定义 | 计算公式 |
| 废品率 |
报废产品数量占总生产数量的比率 |
评价周期内报废产品数 量/总生产数量*100(从ERP获取一个月的废品数/总的入库数,是人工填的总的销售数) |
二、明确展示指标需要的字段以及数据范围
| 废品率报表 | acc_date | string | 日期 |
| scrap_rate | double | 废品率 | |
| kpi_lib_id | string | 目标库id | |
| klt_org_code | string | 考评对象id | |
| scrapped_products_amount | double | 报废产品数 | |
| total_products_amount | double | 报废产品数 | |
| aim_value | double | 目标值 | |
| contemporaneous_value | double | 同期值 | |
| yoy | double | 同比 | |
| ifstandard | string | 是否达标 | |
| deviation | double | 偏差率 | |
| dept_name | string | 机构name | |
| dept_code | string | 机构id | |
| type | string | 日期类型 | |
| other | string | 其他 | |
| other1 | string | 其他1 |
三、通过数据探查,确定加工这个报表的数据范围的数据质量是否存在问题
数据探测,两张表 每日加工数量表和每日报废数量表,发现如下问题:
| 字段名称 | 问题 | 对应治理模块 |
| kpi_lib_id | id重复 | 主数据模块 |
| dept_name | 机构名称不标准 | 数据标准:编码标准 |
| total_products_amount | 取值为空,为空率为3% | 数据标准:数据元标准 |
对应的数据治理工具体系参考如下文章系列:

06
—
小结
欢迎加入【数据行业交流群】社群,长按以下二维码加入专业微信群,商务合作加微信备注商务合作

往期历史热门文章:
基于DataOps的数据开发治理:实现数据流程的自动化和规范化
原文作者:Ruby的数据漫谈;如有侵权,请联系管理员删除。