-
【大数据】Mysql 作业题（仅适合初学者！）
Mysql作为大数据的一门重要的语言，需要勤联系，本次为34道作业题练习；
-
大数据培训Spark SQL字段血缘扩展实战案例
一、背景字段血缘是在表处理的过程中将字段的处理过程保留下来。为什么会需要字段血缘呢？有了字段间的血缘关系，便可以知道数据的来源去处，以及字段之间的转换关系，这样对数据的质量，治理有很大的帮助。Spark SQL 相对于 Hive 来说通常情况下效率会比较高，对于运行时间、资源的使用上面等都会有较大的收益。平台计划将 Hive 任务迁移到 Spark SQL 上，同时也需要实现字段血缘的功能。二、前
-
【问题排查】 start-all.sh集群启动报错：没有那个文件或目录
问题描述 start-all.sh集群启动报错：hadoop001: mv: 无法获取"/opt/module/hadoop-2.7.3/logs/hadoop-root-datanode-hadoop001.out.3" 的文件状态(stat): 没有那个文件或目录
-
【问题排查】sqoop将mysql导入hive异常：No suitable driver
问题描述 安装Sqoop后，将mysql导入hive异常： No suitable driver found for jdbc:mysql:/192.168.5.102:3306/test
-
大数据培训Flink怎样保证数据是一致性的
一致性的三种级别当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是“正确性级别”的另一种说法，即在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比。在流处理中，一致性分为 3 个级别。 at-most-once：数据最多被处理一次。这其实是没有正确性保障的委婉说法——故障发生之后，计数结果可能丢失。at-least-once：数据最少被处理一次。这表示计数结
-
大数据培训Hive架构思想与设计原理
HiveMapReduce 虽然只有 map 和 reduce 这两个函数，但几乎可以满足任何大数据分析和机器学习的场景。不过，复杂的计算可能需要使用多个 job 才能完成，这些 job 之间还需要根据其先后依赖关系进行作业的编排，开发比较复杂。在 Hadoop 出现之前，大部分的数据分析人员基本都用 SQL 语句分析数据库中的数据，如果让这些数据分析人员重新学习一下 Hadoop 支持的开发语言
-
放弃小县城编制独自来到广东打拼
我是卢松松，点点上面的头像，欢迎关注我哦!我爸妈那个年代还分配工作，我妈读的中专，毕业分配到县医院儿科工作。但是我家太穷了，十多年前我妈工资一个月就几百块(2022年也才2000块。)我家住的单位发的家属院，就三间房，没有房产证，扒了就睡大街了(前年回老家已经扒了)。我妈想出去打工，我爸不愿意，说我妈一个女的30了，长的矮(我妈150)，心比天高，命比纸薄。他们吵了一架，我妈找同事借了700块钱，
-
SpringBoot2.x版本整合SpringSecurity、Oauth2进行password认证
很多人在进行项目开发时都会用到Oauth2.0结合SpringSecurity或者Shiro进行权限拦截以及用户验证，网上也有很多的案例，前几天项目里边需要用到，顺便整合了进来，特此写篇博客，记录下过程。项目结构如下：首先准备pom.xml<?xml version="1.0" encoding="UTF-8"?> <
-
大数据培训Spark SQL底层执行流程
一、Apache SparkApache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。二、Spark SQL发展历程 我们知
-
常见开源分布式文件系统架构对比
什么是文件系统？文件系统是计算机中一个非常重要的组件，为存储设备提供一致的访问和管理方式。在不同的操作系统中，文件系统会有一些差别，但也有一些共性几十年都没怎么变化：数据是以文件的形式存在，提供 Open、Read、Write、Seek、Close 等API 进行访问；文件以树形目录进行组织，提供原子的重命名（Rename）操作改变文件或者目录的位置。文件系统提供的访问和管理方法支撑了绝大部分的计
-
大数据培训Hive面试核心知识点分享
以下文章来源于大数据羊说1请谈一下 Hive 的特点hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 sql 查询功能，可以将 sql 语句转换为MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计
-
大数据培训Hive如何控制map个数与性能调优参数
以下文章来源于涤生大数据1 Hive有哪些参数，如何查看这些参数Hive自带的配置属性列表封装在HiveConfJava类中，因此请参阅该HiveConf.java文件以获取Hive版本中可用的配置属性的完整列表。具体可以下载hive.src通过eclipse查看。全部属性有上千个吧，一般Hive的自带属性都是以hive.开头的，每个属性且自带详细的描述信息，其次Hive官网也有，但是
-
大数据培训-Hive高频面试题分享
以下文章来源于大数据技术指南一、Hive面试题1、hive内部表和外部表的区别未被external修饰的是内部表，被external修饰的为外部表。区别:内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse）， 外部表数据的存储位置由自己制定（如果没有LOCATION，
-
开源面试题社区平台上线了
为什么做这个平台？选择做这个社区平台有以下几个缘故：1、只要你跳槽，你就会被面试，八股文总要背的。（出来混早晚要还的）2、即使你不跳槽，只要你不躺平，想着法子想提升自己，open your horizons，最好的办法就是多和大佬交流，多看看别人遇到的问题。3、如果你总是当面试者，想尝试一下当面试官的感觉，你会向面试者问哪些问题？4、相信很多人手中多多少少都有些面试题手册，也可能是几年前的，也可能
-
大数据培训Hive 提高查询效率的方法
以下文章来源于数据社1、开启FetchTask一个简单的查询语句，是指一个没有函数、排序等功能的语句，当开启一个Fetch Task功能，就执行一个简单的查询语句不会生成MapRreduce作业，而是直接使用FetchTask，从hdfs文件系统中进行查询输出数据，从而提高效率。设置的方式：Hive.fetch.task.conversion 默认为minimal修改配置文件hive-site.x
-
大数据培训hive和mapreduce的区别
1.hive本身只是在hadoop map reduce 或者spark 计算引擎上的封装，应用场景自然更局限，不可能满足所有需求。有些场景是不能用hive来实现，就需要map reduce或者spark rdd编程来实现。2.结构复杂的日志文件，首先要经过ETL处理（使用mapreduce），得到的数据再有hive处理比较合适。直接让hive处理结构复杂的数据估计很难处理。小结：业务比较复杂的，
-
大数据培训十大Hive调优技巧
1.多次INSERT单次扫描表默认情况下，Hive会执行多次表扫描。因此，如果要在某张hive表中执行多个操作，建议使用一次扫描并使用该扫描来执行多个操作。比如将一张表的数据多次查询出来装载到另外一张表中。如下面的示例，表my_table是一个分区表，分区字段为dt，如果需要在表中查询2个特定的分区日期数据，并将记录装载到2个不同的表中。INSERT INTO temp_table_2020111
-
大数据培训flink8 个高频面试实战题分享
01生产环境中，如何快速判断哪个算子存在反压呢？或者说哪个算子出现了性能问题？将这个问题拆解成多步来分析： 如何知道算子是否有反压？在 Flink web ui 中，定位到一个具体的算子之后，查看 BackPressure 模块，通过颜色和数值来判断任务的繁忙和反压情况。若颜色为红色，表示当前算子繁忙，有反压的情况；若颜色为绿色，标识当前算子不繁忙，没有反压。 2.举个实际 Flin
-
大数据培训hive数仓存储格式详解
Hive简介Hive 是基于 Hadoop 的一个数据仓库工具，用来进行数据提取、转化、加载。这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。hive 数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供 SQL 查询功能，能将 SQL 语句转变成 MapReduce 任务来执行。一、文件存储格式在HIVE中，常见的文件存储格式有1 TextFile2 Parquet
-
大数据培训面试Flink八股文分享
1. 简单介绍一下FlinkFlink是一个面向流处理和批处理的分布式数据计算引擎，能够基于同一个Flink运行，可以提供流处理和批处理两种类型的功能。 在 Flink 的世界观中，一切都是由流组成的，离线数据是有界的流；实时数据是一个没有界限的流：这就是所谓的有界流和无界流。2. Flink的运行必须依赖Hadoop组件吗Flink可以完全独立于Hadoop，在不依赖Hadoop组件下运行。但是
