ITPub博客

首页 > 大数据 > 数据分析 > Excel必学 | 上亿数据也能秒速处理?快来看看Smartbi怎么做的吧

Excel必学 | 上亿数据也能秒速处理?快来看看Smartbi怎么做的吧

原创 数据分析 作者:思迈特BI研究院 时间:2020-08-09 16:34:18 0 删除 编辑

我是一名电商公司里的物流数据分析人员,每天需要和各种各样的数据和表格打交道,是一名名副其实的“表姐”,不仅需要制作和更新公司里的日报、周报和月报,有时候也要为公司的会议准备各种数据材料。 #excel#

公司有着非常多的业务部门,每次统计数据时都需要从业务部门的系统里进行取数,导完数据后再复制到EXCEL里进行分析,整个过程耗时耗力。由于公司的业务量非常大,每天会产生几十兆的数据量,这些数据日积月累起来非常庞大,经常性会把EXCEL给压垮,每次看着EXCEL表格打开时缓慢的进度条,心里都在暗暗叫苦,如果这个时候运气不好,出现了卡死,那一瞬间你会感觉人生彻底失去了意义。

Excel必备 | 上亿数据也能秒导入?快来看看怎么做的吧

看着别人每天都准时下班,自己手上却还有着一堆未做完的报表,只能含着泪加班去做报表。好不容易做好了,然后发给老板看,结果老板说有个数据不对,要求重做,顿时…心里有一万匹马在奔腾,不要说了,我想静静。

Excel必备 | 上亿数据也能秒导入?快来看看怎么做的吧

经历了万般的折磨之后,我终于按奈不住了,我要改变这种璀璨心灵的现状,寻找一个可以彻底解决EXCEL诸多弊端的方法。

EXCEL弱点

EXCEL一直是非常流行的个人计算机数据处理工具,它可以处理多种多样的数据,操作非常简单,支持丰富的函数、统计图表,在工作中更是非常得力的生产力工具。然而随着时代的不断演进,现如今由于大家对于数据工具的要求越来越高,EXCEL的不足也逐渐暴露出来,包括数据库连接、数据安全、性能问题、数据权限等种种问题一直困扰着人们。例如EXCEL获取数据源相对麻烦,需要从各种系统中提取数据;又如EXCEL在处理十万行以上数据量时非常吃力,性能问题凸显;又如Excel分析模板很难在新BI软件上实现,智慧资产不能延续…这些问题不仅影响了数据数据分析的效率,也无形中给企业增加了许多管理以及时间上的成本。

解决思路

要解决EXCEL的弱点,首先还是要解决数据库的取数问题,EXCEL目前是没有办法和业务部门的系统数据库进行相连的,只能是从系统中把数据源导出后再复制到EXCEL里进行相应的分析,整个过程耗时耗力。其次是EXCEL在处理十万行以上的数据量时,性能低,经常出现卡死的情况,所以要这一步要解决EXCEL的性能问题。最后是EXCEL无法实现在线分享、数据权限等问题,对比其他数据工具相形见绌。以上种种问题可以通过数据库、PYTHON或者BI软件相结合进行解决,但是大部分使用EXCEL的用户都是不懂得写代码的,对于只会简单使用excel的业务人员来说,无疑是非常困难的,所以在这里推荐一款由Smartbi公司开发出来的EXCEL插件神器:智分析。

智分析是什么?

智分析是一款EXCEL插件,下载安装后,使用它可以在Excel/WPS中发挥出非常厉害的功能。它结合了Excel的优点,解决了Excel的问题,实现了Excel云分析,真正做到赋能企业一线业务用户,让人人都是自助分析师,促进企业的全民数字化运营。

Excel必备 | 上亿数据也能秒导入?快来看看怎么做的吧

Excel必备 | 上亿数据也能秒导入?快来看看怎么做的吧

智分析直连数据库,轻松解决取数的问题

智分析具有强大的数据库能力,支持国内外主流的关系型数据库读写、本地文本文件读写、大数据存储工具读写,包括关系数据库、多维数据库、Nosql数据库与文本数据库。用户需要数据时可以直接从数据库中取数,不用像Excel那样,手动从数据库中导出数据,再复制粘贴到表格中,不仅解决了EXCEL的取数问题,也解决了EXCEL性能上问题。以下为智分析连接数据库与制作报表的步骤:

第一步:建立数据链接

如果数据库的地址可以通过公网IP或者域名直接访问,也可以创建数据库连接,下面我们以MySQL数据库为例,点击MySQL数据库类型,在连接窗口选择数据库类型,并填写连接串、用户密码,且允许加载excel数据:

Excel必备 | 上亿数据也能秒导入?快来看看怎么做的吧

第二步:新建数据集,Excel中拖曳数据字段

打开数据集面板,把数据库里的相关数据字段拖曳过去,替换成刚刚已创建好的数据库里的数据,点击刷新后,便能完成从数据库中取数:

Excel必备 | 上亿数据也能秒导入?快来看看怎么做的吧

第三步:制作可视化图表

根据EXCEL自身强大和丰富的图表组件,设计出个性化的可视化报表:

Excel必备 | 上亿数据也能秒导入?快来看看怎么做的吧

第四步:Web发布与查看

在excel里点击发布,可在智分析云平台上对发布的报表进行查看,也可以通过分享把二维码分享给别人进行查看:

Excel必备 | 上亿数据也能秒导入?快来看看怎么做的吧

数据权限管理

在企业业务人员和管理人员对日常业务管理过程和企业数据查看分析中,要满足对数据的精细化管理和业务的不同权限管控,都会有企业不同角色的人员或者不同地区的人员对同一数据集合设置数据范围的权限筛选规则。主要价值在于对企业数据的安全性管理和业务的精细化管控,有效避免了数据泄漏风险,提升企业业务管理完整性。例如金源公司有华南、华北2个销售区域,最终实现的效果是各自区域的人只能看到所属区域的销售数据,总部用户看到所有数据。

Excel必备 | 上亿数据也能秒导入?快来看看怎么做的吧

自助仪表盘

自助仪表盘是在页面中通过文字、图形、表格等可视化形式,结合交互动态效果展现数据的一类报表展现形式。智分析具有丰富的线上仪表盘组件,只要通过拉拽图形和自由布局,就能实现POWER BI或者tableau一模一样的大屏效果,让你做出的数据一下子高大上起来,是不是非常酷炫呢?通过动态的图表设计,只要点点手指头,就能轻松掌握各个时间维度、各个业务部门的指标趋势,比起静态数据更能挖掘出业务中存在的问题。

Excel必备 | 上亿数据也能秒导入?快来看看怎么做的吧

智分析登录网址:


总结

用了智分析之后,不仅解决了EXCEL自身缺陷的诸多问题,还实现了报表连接数据库、web端分享、数据权限的强大功能,从此再也不会被数据量大、经常修改报表这些问题而困扰了,不会写代码一样可以轻松驾驭数据库和BI这些高大上的数据工具,这款轻量级的插件对EXCEL来说是质的飞跃,必将会成为数据分析师手上的一款利器。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69977036/viewspace-2710318/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2020-06-18

  • 博文量
    39
  • 访问量
    16174