ITPub博客

首页 > 大数据 > 数据分析 > 大数据共享交换平台的功能需求

大数据共享交换平台的功能需求

原创 数据分析 作者:大数据小知识 时间:2020-08-17 13:39:23 0 删除 编辑

  大数据平台是集开发、配置、部署、管理、监控、安全于一体的数据交换全生命周期管理的数据交换平台。平台可快速构建、运行和管理分布式应用系统间、云环境下应用系统之间等数据交换共享任务,可满足各种大型应用、各种复杂的网络环境下的业务需求,尤其适用于跨部门、跨地域、跨层级的数据交换共享应用。

大数据共享交换平台的功能需求


  数据交换共享平台


  传统大数据平台的一些常见问题:


  1.数据孤岛问题


  传统方式建设企业系统时,不同部门或团队通常会构建独立的数据库,导致的问题有:同一份数据存在于多个业务系统内且内容不一致,缺少统一的数据标准、数据管理流程及可靠的管理工具,出现质量问题时往往无法有效追溯并修正。


  2.烟囱开发问题


  “烟囱”式架构是传统企业系统开发的弊病,不同团队独立建设、独立开发服务和应用,带来安全、运维、升级、部署等通用功能的重复开发和投入问题,这种开发的低复用率带来了巨大资源的浪费,难以形成技术合力,也不利于团队间的研发管控和质量提升。


  3.技术门槛问题


  大数据和AI的应用与运维十分昂贵,无论是对于平台建设、团队建设还是业务探索而言都会带来不小的开销。将数据服务化、资产化、在线化,以方便客户、技术开发人员和数据科学家使用,降低技术门槛是当务之急。


  数据交换共享平台功能需求


  1、统一的资源目录管理:


  支持统一的元数据管理,包括元数据的模型设计、模型审核、模型实施、模型验证,以及模型版本管理、关系管理等;


  支持资源的检索与定位,便于服务的重用与维护;


  2、全面灵活的数据采集:


  采用调度中心+决策中心相结合的分布式数据采集处理架构,支持多样化的采集策略和多种抽取、汇总方式;


  支持可视化任务编排、配置、规则定义及发布;


  针对结构化资源和非结构化资源,以数据映射、数据裁剪、数据过滤的工具化手段进行数据处理;


  3、集中式数据质量管控


  支持数据质量核查规则配置与管理,在数据采集清洗过程中完成数据质量核查与告警;


  支持对数据质量告警的监控和数据质量问题的可视化呈现;


  提供知识库管理和查询,支持数据血统分析和影响分析;


  4、安全便捷的数据交换共享服务


  支持以数据服务的形式封装数据,提供统一的数据开发共享能力;


  数据服务封装和开发,支持WebService协议、FTP协议和数据库等各类接口;


  支持服务发布、订阅及审核管理,同时支持对服务调用情况进行监控,以确保平台采集管理的数据正常实现交换共享;


  大数据共享交换平台的功能需求.中琛魔方大数据分析平台()表示大数据平台让数据的运用更灵活,让数据共享交换变得随时随地、按需和便捷,充分调度计算设施、存储设备、应用程序等资源,满足用户多元化、复杂的需求,降低了开发、管理的难度。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69936596/viewspace-2712245/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
中琛魔方大数据分析平台(www.zcmorefun.com)

注册时间:2019-07-01

  • 博文量
    896
  • 访问量
    437419