ITPub博客

首页 > 大数据 > 数据分析 > 亿级数据,秒级响应!看Smartbi如何助力经济普查,把脉时代经济!

亿级数据,秒级响应!看Smartbi如何助力经济普查,把脉时代经济!

原创 数据分析 作者:思迈特BI研究院 时间:2020-11-23 09:54:06 0 删除 编辑

距离第一次经济普查工作已经整整 15 年,该项工作是我国经济发展进入 21 世纪进行的一项对重大国情国力的全面调查,是党中央国务院为正确认识国情,准确把握国力,科学制定国策而采取的一项重要举措。


然而,我国经济普查历史次数少,对普查数据的挖掘研究多停留在传统统计类软件。虽然数据分析技术应用于经济普查的研究已经趋于成熟,但面对数据“海量”的特点,很多数据分析平台处理起来也逐渐显得“捉襟见肘”。


因此,为了应对性能问题,在本次某省的经济普查项目建设中, Smartbi全面支撑并服务该省经济普查数据处理、普查资料开发和数据分析挖掘工作,确保1秒内响应亿级数据。



一、项目背景


为保障该省统计局在服务经济普查数据处理、普查资料开发和数据分析挖掘工作,本次项目主要对普查基础信息数据管理系统开发、数据底册处理服务、数据处理平台审核汇总服务三部分进行全面建设。


Smartbi所有软件部分均遵循经济普查相关报表制度和国家行业标准,并按照信息系统等级保护三级要求进行建设。主要如下:


1、 采用规范、高效的数据存储管理模式,建设以第四次经济普查原始数据为基础并适用于经济普查、农业普查和人口普查的普查基础信息数据管理系统,包括数据库管理、数据分析工具和可视化展示等;


2、为满足四经普业务工作需要, 提供数据底册处理服务。包括前期普查清查、普查名录的整理,相关部门的数据清洗比对,以及后期普查名录资料与基本单位名录资料整理更新工作;


3、为进一步提高普查原始数据质量, 满足市、区县和乡镇三级统计机构同步在线数据审核需求,提供普查数据处理报表审核、数据汇总和接口开发等技术服务。



二、建设内容


经济普查工作是在国家统计局直接指导下有步骤,有计划开展的,大致业务流程分为 采集、传输、处理、管理(共享)和应用(分析) 等过程。



普查基础信息数据管理系统包含 数据管理 和 分析应用 两个子系统,完成对数据的管理存储、并提供业务需要的专业数据分析工具、以及可视化展示系统和统计产品。



系统体系主要分为五层


1、数据源层: 本次普查,规模以上企业通过联网直报、规模以下企业和个体户使用手持移动采集终端进行数据采集,数据类型分为调查对象业务数据和记录采集过程相关数据。


2、数据获取层: 将分布的数据抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为分析处理、数据挖掘的基础。


3、数据存储层: 存储了经过清洗处理后的可用于系统的数据,该层直接面向应用系统,要求高可靠、高并发、高精度。


4、功能应用层: 该层实现对数据的深加工,根据业务需要提供多个功能,包含即席查询、透视分析、电子表格、业务主题、数据挖掘。从生产数据集中挖掘出数据内在的价值,为业务系统提供数据和决策支持。


5、用户访问层: 该层主要负责用户和最终数据处理结果的输出功能,提供数据展示和数据共享服务。



三、 业务方案


Smartbi对本次底层物理表进行了语义建模,搭建 8大业务主题,供工作人员构建自己的分析报表。



1、调查单位基本情况 :国民经济行业的法人单位及所属产业活动单位,以及其他第三产业重点耗能法人单位的基本情况。


2、财务状况 :分析企业一定时期内的经营成果和现金流量,了解国民经济的运行状况,满足财政、税务、工商、审计等部门监督企业经营管理,及时调整产业政策。


3、 固定资产投资项目情况 :计划总投资500万元及以上项目财务支出方案完成投资额(万元)、完成额及项目个数。


4、 科技活动 :调查企业办研发机构情况、研发产出及相关情况、研发人员情况、研发费用情况、研发资产情况。


5、 从业人员及工资总额 :综合分析各个地区、各个行业的人员分布及工资待遇情况,对不同地区和行业的从业人员及工资进行监控,为政府调控人力工资分配格局。


6、 生产经营状况 :分析企业的产品在商品市场上进行生产、销售和服务的发展现状,对企业的生产经营活动进行统计,及早发现问题,提高企业经营效益。


7、 能源和水消费 :综合能源消费量、能源生产销售与库存以及能源购进消费库存与加工利用转换。


8、 信息化和电子商务 :信息化情况以及电子商务交易情况。



四、 项目价值


1、Smartbi帮助该省统计局建立了语义模型,方便业务人员自行拖动维度、指标进行数据统计分析;


2、搭建起了一整套大数据BI分析平台,各区县统计局、行业处室可以依托本平台进行后续人口普查、农业普查等统计工作;

     

3、制作的统一口径的四经普年鉴下发到各区县统计局和行业处室,减少了各区县和行业处室各自制作统计年鉴的重复工作量,提高了工作效率。



在当前大数据时代下,我们应该对于大数据技术进行合理的应用,并且围绕经济普查工作的开展需求和特点,引入性能更加强大的大数据分析平台,发挥技术优势,提升经济普查的开展效能,为下一阶段经济普查工作水平的提升和发展奠定坚实的技术基础。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69977036/viewspace-2735948/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2020-06-18

  • 博文量
    40
  • 访问量
    24325