ITPub博客

首页 > 大数据 > 数据分析 > Spark 高难度对话 SQL Server 后记

Spark 高难度对话 SQL Server 后记

原创 数据分析 作者:dblenis 时间:2018-11-02 00:38:07 0 删除 编辑

GIIS (Global Information Industry Summit)峰会已经结束一周了。


从拉斯维加斯回来的 L 却依然兴奋,被冷冰的 SQL Server , Oracle 门票价挫伤之后,阴差阳错进入了另一片广袤的技术天地。


对于技术宅,莫过激起他研究到底的雄心,而此时的大数据生态正好给了 L 一味兴奋剂,而且剂量不低于 500CC.


目睹了 Spark 与 SQL Server 之间亦友亦敌的对话之后,L 毅然决定深入去了解 big data 的整个生态链。


天天 捧着 300 多页的 Spark User Guide 在汇智中心的 Starbucks 啃。





类似的 Guide, L 捧回来很多,装满十字徽章电脑包。 不幸的是在浦东国际机场下飞机时,背带断了一根。


L 想都没想,拿起给媳妇儿带的菲拉格慕大耳朵包,直接塞满。


“破包就是娇气,塞完 Hive 就鼓鼓囊囊了,还特么 2000 美金,200 块都比它耐用”


L 没想到的是,媳妇儿看到念叨了 1 年的菲拉格慕后,让他坐了一上午的仙人球,直到晚饭时,才把刺儿拔完。




连续几天, L 都没怎么睡好觉了,只是对 L 来说,现在没有什么比看完一沓足足有马克杯那样高的资料来的更重要。


所以平时休闲喝的热焦马,也变成加了 2 份 shot 咖啡的热美式。指尖快速在新买的 12.9 寸的 iPad Pro 上敲打,速充在一旁随时候命。


“ Spark 其实也是个半吊子的实时计算引擎,采用微批次,缩短 ETL 间隔时间,加载数据到内存来完成分布式计算”


“而且,Spark SQL 的威力要发挥,还是基于空间换时间的策略,先在 Hive 上把数据预装载,分区得当,接着用 Spark SQL 的 Hive 适配器,读取数据”


“嗯,最佳实践一定是这样.....”


L 嘬了一口美式,一声短叹之后,拿起 iPad Pencil 在屏幕上画了张草图:





“有了这张图,以后再回顾就方便啦”


直到 L 改满意了, 喝完最后一滴美式,拿起媳妇儿给他缝好的十字徽章电脑包,径直走向 X 投资大厦。


在 L 快速挪动的步伐中,他早已想好了下一个研究对象,那就是 Spark SQL 的前道工序,Hive.


“ 我应该把 Hive 搭建起来,再玩 Spark SQL. 单机 Spark 实在太玩具了。”

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31553767/viewspace-2218463/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
SQL 的世界,也可以很精彩

注册时间:2018-09-08

  • 博文量
    12
  • 访问量
    5297