ITPub博客

首页 > 大数据 > 数据分析 > 揭秘如何从0到1构建零售自助BI平台?

揭秘如何从0到1构建零售自助BI平台?

原创 数据分析 作者:智在碧得 时间:2025-01-22 10:22:24 0 删除 编辑

1 零售项目自助BI实践

项目团队主要围绕 数据仓库开发及 BI平台建设这两大核心板块进行零售项目自助BI实践。 在数据仓库开发板块,项目团队通过数据入仓与清洗、构建数据模型与开发主题宽表以及数据集成,实现稳固且高效的数据底座开发,确保数据的准确性、完整性和可用性。在BI平台建设板块,通过数据权限管控与自数据集开发,赋予用户高度的灵活性和自主性,使他们能够根据自身需求快速生成和分析报表,满足多样化的业务分析场景需求。

01 数据仓库开发

在零售自助BI项目初期,数据的入仓、清洗、建模与分析不仅是实现业务智能化的基石,也是驱动决策优化和用户体验提升的核心动力。为此,项目团队分阶段进行数据仓库开发 ,以实现稳固且高效的数据仓库开发。


阶段一:数据入仓


零售业务涵盖一件代发、门店订单、企业订单、批发单、POS交易单、会员卡订单等多种订单类型,这些订单数据分散存储在MySQL、SQL Server、 StarRocks等多种关系型数据库中。为此,项目团队借助阿里云的DataWorks大数据开发治理平台,通过高效的ETL流程,定期将超过220张业务数据表同步至数据仓库中,确保数据的一致性和完整性。


阶段二:数据清洗、构建模型、开发主题宽表


在阶段二,项目团队先是对已入仓数据进行清洗,剔除无效数据,确保数据的准确性和完整性。随后,项目团队按逻辑构建了DWD和DWS两层共46个数据模型,每个模型都紧密关联特定的业务主题,实现数据的深度整合与高效利用。


紧接着,项目团队围绕这些业务主题开发了36个应用层宽表,涵盖了订单、商品、供应商、消费用户、经销商及直播促销活动等关键领域,为用户提供更加直观、易于理解的数据视图。


为方便用户能灵活地进行数据统计,所有主题宽表均采用了最小颗粒度的明细数据形式。同时,结合业务实际和用户自助开发的便捷性需求,项目团队对部分常用宽表如订单宽表进行了冗余设计,将其他主题表中的常用字段囊括进来。此外,项目团队还根据各宽表的业务需求进行了个性化更新时效设定,如订单主题表每小时更新一次,直播促销活动表每15分钟更新一次,而供应商、商品等主题表则保持每天更新的频率。这样的个性化更新时效设定,不仅提升了数据的可用性,更极大地优化了用户的查询体验。


阶段三:数据集成


StarRocks是一个高性能的分析型数据库,支持实时、多维和高并发的数据分析。因此,在阶段三时,项目团队将已开发好的主题宽表同步至StarRocks集群中,并将其作为自助BI平台的集成数据源,以有效支撑自助BI平台报表数据的存储和运算功能,更为用户带来了更加流畅、高效的数据分析体验。


图片


02 BI平台建设


在完成数据仓库开发后,项目团队分两个阶段推进BI平台建设——通过数据权限管控与自助BI平台数据集开发,赋予用户高度的灵活性和自主性,使他们能够根据自身需求快速生成和分析报表,满足多样化的业务分析场景。


阶段一:数据权限管控


为了保障数据安全,项目团队根据用户角色来精细化管理集成后的数据权限:


  • 区域用户:统一开通“区域查看”角色,此角色允许查看总部及区域的所有报表;


  • 总部用户:开通“总部查看”角色,此角色可查看总部及区域的所有报表;


  • 报表编辑人员:总部可指定用户开通“报表编辑”角色,此角色不仅可查看所有报表,还可对报表进行开发和编辑,并将报表授权给“区域查看”或“总部查看”角色。


图片


阶段二:自助BI平台数据集开发


在自助BI平台建设过程中,项目团队以StarRocks作为数据源,开发了订单、商品、供应商、消费用户及经销商等25个系统数据集。这些数据集不仅为用户提供丰富的自助开发资源,还针对最细颗粒度的明细数据配置了详细的数据字典说明,极大地提升了数据的可读性和易用性,便于用户快速理解和使用。


同时,为确保数据的一致性和准确性,项目团队为每个数据集制定了严格的名称和内部字段命名规范,要求用户在操作过程中严格遵守,避免命名混乱对报表开发造成不良影响,尽可能保障数据的准确性和稳定性。


此外,自助BI平台还具备强大的数据集成能力。用户可以在平台上以数据集宽表为基础,轻松导入线下的Excel数据集,并灵活关联多个宽表,构建出丰富的组合数据集。通过直观的拖拉拽操作,用户可以自由选择现有字段,并运用基础函数新增计算字段,实现数据的自由统计和分析。在此基础上,用户还可以自由开发独立报表和多样化的数据模块,并将它们巧妙地组合成直观的数据看板。


图片


目前,自助BI平台用户已成功开发出44个高效能的组合数据集,并在此基础上创建了超过140张自助报表,全面满足了日常的数据需求。


图片

用户自助二维表


图片

用户自助图表

2 项目收益


01 自助开发,降低成本


零售自助BI平台上线运行后,用户无需开发团队协助,即可轻松自助开发报表。截至2024年底,用户已通过平台自助开发140+张报表。


不仅如此,原商城系统上的51张常用报表也已迁至零售自助BI平台,用户可在平台上一站式查看及维护原有报表,无需再向开发团队提出新的报表开发需求,有效减少了对报表开发的投入。


以实际成效为例,通过自助BI平台,项目团队成功减少了年均33张新报表的开发工作,以及110+张报表数据的维护工作,节省了约数十万元的成本支出。


02 效率更高,耗时更少


零售自助BI平台在报表开发、维护、取数及数据导出方面性能卓越。以一次性取数为例,相较于传统报表取数需1天的时间,零售自助BI平台将这一过程缩短至2小时。此外,在百万级数据导出场景下,传统报表导出需耗时1天,而零售自助BI平台则能在0.5小时内完成。具体见下表所示:


图片


03 覆盖面广,使用率高

自助BI平台目前已广泛覆盖零售、酒类、家装、整合营销等大零售领域的各个业务部门,成为用户获取数据的首选工具。特别是在上线三个月内,自助报表数量就激增了140张,这一迅猛的增长态势也意味着用户对自助BI平台取数能力的认可,也预示着用户正逐步形成使用该平台进行数据分析和决策的习惯。

3 展望未来

作为碧桂园服务首/个自助BI项目,零售自助BI项目实现了从零到一的突破,并为2025年主营域、财务域及其他领域项目实施自助BI提供了重要的参考:


  • 主营域自助BI推广:主营运营及工单板块因其数据量适中且维度组合多样,用户对数据分析的灵活性有着较高的需求,而自助BI能够提供强大的数据分析工具,使用户能够自由组合数据维度,快速生成多样化的分析报告,从而满足业务决策中对于数据灵活性和时效性的高要求;


  • 财务域自助BI推广:财务资金现金流分析当前均为固化的报表模板,无法快速适应新业务或管理需求的迭代,其次数据量庞大,数据加工时间耗时长,导致经营分析滞后,而自助BI可实现各种维度的自由交叉分析,极大地提升数据分析的灵活性和时效性,从而有效应对现金流分析的挑战。


未来,项目团队将持续秉承“用户至上”的原则,充分利用自助BI模式,以有限的资源,服务更广泛的用户群体,推动碧桂园服务数据分析能力的快速提升。


本文作者: 碧桂园服务大数据技术与应用团队,赖威

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70037944/viewspace-3070184/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2024-04-08

  • 博文量
    18
  • 访问量
    18009