ITPub博客

首页 > 大数据 > 数据挖掘 > 知识库 + 专家规则双方案驱动质量规则智能推荐

知识库 + 专家规则双方案驱动质量规则智能推荐

原创 数据挖掘 作者:星环科技 时间:2026-06-15 17:41:35 0 删除 编辑

行业痛点-质量问题永远在报表里暴露

数据质量的代价,往往不是在数据入库时被发现,而是在决策会议上当着全场的面爆发。

📊 规则冷启动难:编写有效的质量规则需同时具备业务知识和技术能力。这类人才稀缺,导致规则要么缺失,要么泛化到没有业务意义(全是 NULL 检查),新项目上线后质量监控长期"裸奔"。

🔔 告警噪声严重:规则粒度粗、阈值设置不合理,导致每天产生大量误报。数据团队陷入"告警疲劳",真正的质量问题反而被淹没。

🔄 规则维护成本高:表结构变化、业务逻辑迭代后,质量规则需同步更新,但往往滞后数周甚至数月,规则失效后无人察觉。

🐢 规则上线链路长:一条质量规则从监控需求提出到真正生效,要经历需求分析→规则模板创建→参数调试→规则配置→任务运行五个环节,周期以周计。覆盖度始终追不上业务增长,大量字段长期处于"无规则监控"状态。

Agent 介绍

Astro 数据质量 Agent 提供双方案并行的规则推荐机制:知识库方案基于五级数据分类体系和内置质量规则模板,适合已有分类体系的客户快速匹配行业最佳实践;专家规则方案融合数据标准技术属性、采样数据特征和内置专家规则库(正则、码值、时间格式、时间对比),适合冷启动场景。

推荐结果覆盖完整性、唯一性、规范性、一致性、准确性、及时性六大质量维度,支持一键推送至 TDS 并自动创建质量检查任务,实现从规则推荐到任务执行到质量报告的端到端闭环。

一. 双方案驱动的质量规则推荐流程

系统支持三种输入方式:

  • TDS元数据选择

  • 本地Excel上传

  • 自然语言输入表名

流程分为两条路径:

1. 知识库方案(适合已有分类体系的客户)

  • 获取/确认四级分类(业务大类)

  • 匹配五级分类(字段细类)知识库

  • 召回对应质量规则模板

2. 专家规则方案(适合冷启动、无全量分类的客户)

  • 提取数据标准技术属性

  • 采样数据特征分析

  • 内置专家规则库匹配

两条路径的结果经过分类驱动规则匹配与多源融合规则推荐后,进行规则合并去重(智能去重算法,规则来源可解释),最终输出规则推荐结果。

二、端到端闭环流程

规则推荐结果生成后,进入以下闭环流程:

  • 在线确认/编辑

  • 推送TDS

  • 创建质量任务

  • 执行检查

  • 生成质量报告

三、两种方案对比

对比维度 知识库方案 专家规则方案
适用场景 已有分类体系的客户 冷启动,无全量分类
推荐依据 四级/五级分类 + 规则模板 标准技术属性 + 采样数据
规则类型 业务类 + 技术类 技术类为主(正则/码值/时间)
可解释性 推荐理由(分类→模板) 规则来源(标准/专家/采样)


对比分析——传统方式 vs. Astro Agent


技术优势

双方案驱动,让质量管理从规则稀缺到智能推荐

1. 知识库 + 专家规则双方案,适配不同客户成熟度

已有数据分类体系的客户,通过知识库方案快速匹配行业规则模板;尚未建立分类体系的客户,专家规则方案融合数据标准、采样数据和内置规则库,同样能快速产出高质量规则。两种方案可在同一个 Agent 中按需切换。

2. 端到端闭环:从推荐到报告

规则推荐完成后,支持在线预览和编辑确认,一键推送至 TDS 并自动创建质量检查任务。任务执行完成后生成结构化质量报告,包含异常明细、通过率、问题分布等关键指标。全流程无需切换系统。

3. 主动 + 被动双模式运营

用户可以主动选择元数据发起规则推荐;系统也支持配置定时任务,自动扫描新增或变更的元数据,触发规则推荐流程,以工单形式推送给治理人员。两种模式确保质量规则覆盖不留死角。

4. 规则来源可解释,支持透明审计

每条推荐规则都标注来源(知识库模板匹配 / 数据标准关联 / 专家规则匹配 / 采样数据推断),支持配置文件动态调整专家规则逻辑。规则不是黑箱输出,业务人员可追溯每条规则的生成依据。

实战场景

从规则稀缺到规则自动化

  • 元数据选择 → 规则推荐 → 任务执行

选择 TDS 元数据或上传 Excel,Agent 自动输出执行步骤。用户确认四级分类后,Agent 推荐质量规则并在线展示。用户可删除不需要的规则,确认后选择"批量录入规则到 TDS 并创建和启动任务",任务执行完成即可查看质量检查报告。

  • 自然语言提问 → 模糊匹配 → 精准推荐

直接输入"为个人客户信息表推荐质量规则",Agent 自动模糊匹配用户有权限的工作区下的数据表,用户通过序号确认后进入推荐流程。降低使用门槛,业务人员也能快速发起质量检查。

  • 跨团队协作 → 工单分发 → 协同确认

规则推荐结果可通过工单、邮件、企业微信推送给业务方或管理层。接收方可直接确认或修改规则,所有操作保留版本历史,形成完整的协作轨迹和审计记录。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69994106/viewspace-3173750/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2021-01-28

  • 博文量
    222
  • 访问量
    158443