-
编辑 删除
Hive 面试总结
一、Hive的和RDMBS的区别：二、Hive中数据倾斜问题：1、数据倾斜的原因：（1）、key分布不均匀。（2）、业务数据本身的原因。（3）、建表考虑不周。（4）、某些SQL本身就有数据倾斜。2、如何避免数据的倾斜：（1）给key一个随机的值，打散key。（2）Hive中的参数调节：①hive.m
-
编辑 删除
数据分析利器之hive优化十大原则
hive之于数据民工，就如同锄头之于农民伯伯。hive用的好，才能从地里（数据库）里挖出更多的数据来。用过hive的朋友，我想或多或少都有类似的经历：一天下来，没跑几次hive，就到下班时间了。hive在极大数据或者数据不平衡等情况下，表现往往一般，因此也出现了presto、spark-sql等替代
-
编辑 删除
HIVE入门（概述、hive的体系结构）
第一章概述1-1课程概述什么是hive？答：hive构建在hadoophdfs上的数据仓库。什么是数据仓库？答：数据仓库实际上就是一个数据库，数据仓库的特点：引入冗余，分析数据；数据库的特点：避免冗余，捕获数据。1-2数据仓库简介什么是数据仓库？答：数据仓库是一个面向主题的，集成的，不可更新的，随时
-
编辑 删除
大数据平台架构
前面提到各种大数据技术的原理与架构，大数据计算通过将可执行的代码分发到大规模的服务器集群上进行分布式计算，以处理大规模的数据，即所谓的移动计算比移动数据更划算。但是这样的计算方式必然不会很快，即使一个规模不太大的数据集上的一次简单计算，MapReduce也可能需要几分钟，Spark快一点，也至少需要
-
编辑 删除
大数据仓库Hive原理与架构
前面讲到，MapReduce计算模型可以解决绝大多数的数据分析与数据挖掘任务，那么对于如下我们常见的一条SQL分析语句，MapReduce如何编程实现？SELECTpageid,age,count(1)FROMpv_usersGROUPBYpageid,age;这是一条非常常见的SQL统计分析语句，
-
编辑 删除
Service Mesh浅谈
什么是ServiceMesh？ServiceMesh是一种用来在分布式应用程序的不同组件之间共享数据的平台。要理解ServiceMesh，必须要理解三个问题：为什么要构建分布式应用程序？不同组件之间共享数据有什么挑战？ServiceMesh如何解决这些挑战？分布式应用的泛滥—分布式并非是理想的构建应
