ITPub博客

首页 > 数据治理 > 数据治理 > 什么是企业数据的外部获取?

什么是企业数据的外部获取?

原创 数据治理 作者:DGworkshop 时间:2020-09-16 16:06:08 0 删除 编辑

结合公司各级单位对外部数据的共享应用需求,确定外部数据采购的优先级, 研究制定公司外部数据采购、数据接入、数据存储、数据共享应用等外部数据获取及应用管理机制, 明确各部门在外部数据采购过程中承担的职责界面,确定外部数据管理的具体工作任务和工作目标,形成公司外部数据获取及应用管理机制。


一、外部数据采购管理

外部数据采购管理工作内容主要包括外部数据采购过程管理、外部数据采购技术管理、外部数据采购安全管理和外部数据采购质量管理。


(一)外部数据采购过程管理

根据《外部数据需求登记表》中的数据需求实施优先级,结合公司现有资源情况,在和数据采购相关部门充分沟通基础上由数据管理部门制订《外部数据采购方案》,方案中包含采购内容、计划等,经本单位审核后与数据提供第三方签订数据采购合同,开展外部数据购买。通常外部数据是根据业务部门提交的《外部数据需求登记表》制定采购方案,也可以设置数据产品经理,由其跟踪业务前瞻性发展方向、业务痛点以及数据的切入点,提前进行外部数据采购。


(二)外部数据采购技术管控

公司信息中心需要建立标准化的外部数据验证方法,然后根据制定的验证方法对外部数据采购开展技术管控工作。(1)明确外部数据验证环境、明确各方职责。(2)明确数据验证的样本量、数据加密标准、样本匹配标准等。(3)明确对外部数据价值评价的指标,从多个维度对其进行评估,明确验收通过的标准。


(三)外部数据采购安全管控

数据管理部门对外部数据源的合法性开展分类评估工作:(1)建立外部数据源的白名单、灰名单、黑名单制度。通过事前调查和事后跟踪的方式,持续及时更新名单库。对确认合法的数据源纳入白名单,对确认不合法的数据源纳入黑名单,对暂时无法确认的纳入灰名单。在持续的跟踪评估过程中,根据数据源的最新情况进行名单分类调整。(2)建立名单使用策略。在数据引入决策时,对白名单直接购买,对灰名单保持接触,但在未转入白名单之前,不引入;对黑名单数据源直接否决。


(四)外部数据采购质量管控

要保证数据的生命力,由于数据来源于外部数据源,因此,要在源头上保证数据的质量和稳定性,需要采取以下策略:(1)数据管理部门需要建立数据质量和稳定性的约束机制,在数据采购合同中,明确数据源的义务,并且设定较重的惩罚机制。(2)数据管理部门和公司信息中心需要建立数据定期核查机制。公司信息中心可以定期开展数据核查工作,检查外部数据源的质量情况,并把核查结果反馈到数据管理部门,由数据管理部门根据核查结果通知数据提供方进行整改或进行数据提供方的更换。(3)数据管理部门和公司信息中心需要建立数据不稳定应急预案。针对可能出现的数据中断、数据口径变更、数据错误制定详细的应对策略。


二、外部数据接入管理

外部数据接入管理工作由公司数据管理部门统筹管理,公司信息中心负责组织实施。外部数据接入基于“安全”、“高效”、“稳定”、“可追溯”的原则开展。外部数据接入工作主要包括外部数据接入过程管控、外部数据接入技术管控、外部数据接入质量管控和外部数据接入安全管控四部分内容。


(一)外部数据接入过程管理

公司信息中心全面负责执行外部数据的接入工作。外部数据接入不应影响源端业务系统正常使用。外部数据接入过程分为三个阶段:接入前、接入中、接入后。

1、接入前。由公司信息中心编制《外部数据接入申请》和《外部数据接入方案》经本单位和数据管理部门审核后与数据接入第三方签订数据接入合同和技术协议,开展数据接入。

外部数据接入方案和申请内容应包括数据接入方式、接入频率、数据接入明细操作步骤、接入计划、容量需求及其满足方式等内容。公司信息中心应事先评估数据接入软硬件资源需求是否满足,在满足的情况下方可发起数据接入申请。


2、接入中。双方严格按照合同、技术协议约定开展数据接入工作。在数据接入过程中,依据约定的数据接入范围,数据接入方式,数据接入频率等进行数据推送或者数据开放。


3、接入后。由公司信息中心开展接入数据校验工作。信息中心依据接入的数据及业务规则编写数据校验规则,进行数据校验。数据校验完成后,将结果和《问题数据清单》反馈给数据提供方。如校验结果不符合要求,则要求数据提供方进行整改,并对整改后的数据进行重新推送。直到所有接入的数据全部符合要求。


(二)外部数据接入技术管控

公司外部数据接入技术管控主要包含:外部数据接入质量管控和外部数据接入安全管控。

在公司外部数据接入前,公司信息中心和外部数据供给方应商定并确定合适的数据接入技术,包含但不限于数据接口技术,数据请求技术,数据加密技术和数据脱敏技术等。通过接口方式接入第三方数据的应遵守公司的数据接口标准规范。公司信息中心在外部数据接入方案编制环节应明确接口的类型,接口协议,接口请求方式和接口参数等且接口参数不可包含敏感信息。


(三)外部数据接入安全管控

外部数据接入安全管控指在数据接入过程中数据请求、存储和使用要充分考虑到安全因素。(1)公司信息中心从第三方数据通道获取数据时,向第三方数据源提供的相关参数不能包含关键业务信息的敏感参数。(2)公司信息中心获取外部数据后,要存储在经过严格权限设计的数据库中,对于数据的存储、迁移、归档等动作要有一套完整且安全的流程规划。(3)数据需求方在数据使用时也要遵守双方的约定、数据计算不能改变源数据、使用敏感数据时要首先经过脱敏等,同时需要遵守公司数据安全的相关规定。


(四)外部数据接入质量管控

公司信息中心需建立外部数据接入常态监测机制,在数据接入前,需在合同或者技术协议中明确数据质量的要求,在数据接入后要及时对接入的数据依据约定的质量要求进行合规性校验,以及监测数据接入支撑工具运行情况,确保数据接入及时、完整、准确。


公司信息中心在数据接入后数据合规性校验时发现接入数据存在质量问题时,及时填写《数据质量问题清单》向外部数据供给方反馈。外部数据供给方在接到公司信息中心《数据质量问题清单》后及时完成数据问题整改和问题数据的重新推送。


三、外部数据存储管理

外部数据存储管理工作的主要内容包含外部数据采集和汇总工作、外部数据资源目录的建立及维护。


(一)外部数据采集和汇总

外部数据采集和汇总是指构建外部数据统一接入、应用的外部数据管理平台。(1)针对既有外部数据:公司信息中心牵头将分散在不同业务信息系统的外部数据进行整合汇聚,形成统一的外部数据资源中心。按照“数据一个源”的要求,实现外部数据的一次采集、多处使用。公司信息中心负责外部数据采集和汇总工作,地市信息中心配合调测和维护数据汇集接口;(2)针对新的外部数据:外部数据管理平台是公司外部数据的统一存储和管理平台,原则上所有新的外部数据均应接入或存储在外部数据管理平台。关于采用文件等形式通过线下方式或在业务部门管理系统手工填报录入的外部数据,业务部门在获取数据的同时应将数据接入到外部数据管理平台,业务系统可持有外部数据副本。


(二)外部数据资源目录

由于外部数据源的分散独立、标准不同意、模型差别大,数据管理部门应积极推进建立外部数据资源目录。各业务部门及地市信息中心根据数据管理部门下发的目录编制标准和要求,梳理各业务领域的数据资产,形成外部数据资源目录清单提交数据管理部门进行集中管理、统一发布、动态更新、共享使用,有效支撑快捷查询和定位数据。本着“谁提供、谁负责”的原则,各数据提供部门应当对所梳理的外部数据资源目录、提供的外部数据进行持续管理,确保其真实、准确、完整。因外部数据变化需要对目录进行调整的,外部数据提供部门需及时进行更新、维护并发布。外部数据需求部门对数据资源目录和获取的外部数据有疑义或者发现有错误的,应当及时反馈外部数据提供部门,数据管理部门协调相关部门予以校核。


四、外部数据共享管理

各部门外部数据均为公司资产,各部门均有权利提出外部数据共享需求。共享的外部数据均应来源于外部数据管理平台,禁止绕开数据外部数据管理平台开展数据共享。


(一)外部数据共享目录

坚持“以共享为原则、不共享为例外”,数据管理部门建立健全公司数据共享管理制度。根据相关法律、法规或规章制度,在外部数据资源目录的基础上,梳理涉及国家、企业敏感信息和个人隐私信息等不宜在公司内部直接共享的数据,纳入公司外部数据共享负面清单。其余外部数据按照共享程度的不同可以分为无条件共享类数据、有条件共享类数据和不共享类数据三个等级: (1)无条件共享类数据:是指可以直接提供给公司各部门、所属各单位的外部数据;无条件共享的数据不得涉及任何商业机密和敏感信息; (2)有条件共享类数据:是指数据内容敏感,仅对公司内部特定人员提供的数据,或仅能部分提供给公司内部所有人员的数据; (3)不共享类数据:是指仅限本部门特定人员使用的数据,原则上不对其他人员提供。


数据管理部门负责外部数据共享目录管理工作,对数据共享目录编制提供指导,就规范性进行审查、发布清单等,并在公司范围内提供便捷的目录查询服务。业务部门负责提出本专业数据共享负面清单,对列入负面清单的数据应详细注明原因,对有条件共享类数据标明共享条件。公司信息中心负责编制数据共享负面清单技术信息,经业务数据管理专家确认通过后,提报数据管理部进行审核发布,最终由公司信息中心负责在外部数据管理平台统一配置、定期更新维护。


外部数据共享目录是公司数据共享的依据,其内容应包括业务域、数据资源分类、数据项名称、数据共享模式、数据共享条件、数据归属部门等。


(二)外部数据共享过程管理

地市公司存在外部数据共享需求,应依据外部数据共享目录向地市信息中心提报数据共享需求,地市信息中心汇总需求并识别是否需要公司信息中心协助;如不需要则由地市信息中心协调解决,如需要则由地市公司统一向公司信息中心提报数据共享需求。信息中心对各部门及单位外部数据共享需求的判定结果,各部门如有异议可直接反馈至数据管理部门协调解决。外部数据需求方在获取到共享数据后不得以任何方式将数据共享给第三方;一旦发现,依据公司相关规定数据需求方需承担数据扩散及泄密责任。数据提供方负责就外部共享数据提供详细解读及协助,以帮助数据需求方有效开展数据共享和应用,充分发挥外部数据价值。


五、主要职责与分工

企业的外部数据管理组织架构主要包括数据管理部门、公司信息中心。

(一)数字管理部门

数据管理部门是公司外部数据的归口管理部门,主要职责包括:(1)负责制定外部数据采购方案、确保外部数据资源配置和数据质量等;(2)负责对外部数据源的合法性开展评估工作(3)负责制定并发布公司外部数据资源目录编制标准和要求;(4)负责建立健全公司数据共享管理制度;(5)负责指导、监督外部数据管理规章制度执行,按需提出改进要求;(6)负责协调解决公司外部数据管理的重大问题;(7)参与外部数据共享申请的评审和审批。

(二)公司信息中心

公司信息中心通常是公司外部数据需求管理的归口执行部门,主要职责包括:(1)负责组织开展对外部数据采购进行技术管控;(2)负责落实外部数据接入管理;(3)负责建设、管理、运营外部数据管理平台;(4)负责组织开展外部数据共享需求评审,并向数据需求方反馈评审结果;(5)负责落实外部数据资源目录和共享目录的管理规章制度。


六、保障与评价

(一)数据管理组织

数据管理是重要的基础性工作,涉及到各个专业部门,各二级单位和业务部门的协同配合,需要建立统一组织、职责明确、共同参与的数据管理机制;由数据管理部门牵头,各部门协同建立并完善公司数据管理组织,增设数据管理职称序列和岗位序列,满足人才成长需要,打通从业员工发展通道。


(二)数据管理工具

公司信息中心作为公司数据管理工作的技术支撑和执行部门,负责在数据管理部门、业务部门等的协同下研发、建设、完善并优化公司的数据管理系统,支撑公司数据管理各项工作。


(三)数据管理培训

数据管理部门作为公司数据管理的归口部门,负责组织开展常态化的数据管理培训工作,帮助业务部门、信息中心等提升数据管理能力,培训内容包括但不限于数据管理专业知识培训、数据安全管理培训、数据管理岗位培训等;各部门负责组织内部数据管理培训,提升内部员工数据管理能力,加强组织数据管理责任意识。


(四)数据管理评价

数据管理部门负责评价要求、评价指标和评价模板的设计和更新,征求各部门意见后提交公司审批通过后发布。公司信息中心根据评价要求编制评价报告并发布。数据管理部门负责编制数据管理季度工作报告,数据管理季度报告应反应数据管理相关工作情况,分析数据管理工作本季度取得的成绩,总结本季度数据管理工作薄弱点,并以此为基础制定下一季度的工作重点及开展方案。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69983448/viewspace-2721679/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 企业数据素养
请登录后发表评论 登录
全部评论

注册时间:2020-09-08

  • 博文量
    9
  • 访问量
    5520