有个小伙伴今天给我说，他在面试大数据开发的岗位，面试了好几个公司都没成功。我听他说了下面试的具体事情，给他总结了一下，大数据面试题看的不够。今天我们就来做一个大数据面试题的梳理。
大数据开发作为这两年一个火热的工作岗位，不光是企业的要求严格，竞争力也是比较大的。不管薪资多少，大数据的几个技术栈肯定是要熟练掌握的，下面我们就来看看一些企业面试时最常问的几个问题：
一、 基础方向面试题：
1、 spark sql 数据优化中，需要注意哪些方面？
a . 使用临时视图减少落到磁盘， 不落到磁盘盘是 spark 的一个优势，中间步骤 全部用 temporary view 代替临时 table ，减少读写 hdfs 的操作
b .spark 下建表 文件格式选择， spark 默认为 textfile, 可根据需求使用 squenceFile or ORCFile
c .select 指定字段，代替 select *
d .spark 其他技术，如 broadcast, bucket
e . 另外 spark sql 优化还可通过查看 sparkUI 找到哪一步耗时最长，针对性优化
2 、如何自定义一个函数供 HiveSql 使用，具体步骤分为哪几步？
Hive 使用 python 编写的自定义函数 UDF 进行 ETL 的步骤：
在hive 里面加载 py 文件
add file /usr/local/src/test.py
在HQL 中使用 TRANSFORM 函数动态执行 Python 文件 :
select TRANSFORM(sex) USING ‘ python test.py ’ as sex from test;
二、 大数据开发面试题：
1 、 讲述一个自己掌握的核心技术，以及如何应用？
最优解答：
J2EE ：大数据采集单元，大数据分析单元的主要工作，如何做出服务，如何 SpringBoot 集成 Hadoop ， Spark 。
Hadoop ：多少个节点，高并发，高可用的实际问题中解决数据倾斜，数据处理，数据统计，数据离线分析等。
Spark ：实时处理中的数据处理，比如算子 , 复杂的 SQL 语句等。
机器学习 ：分析的数据集生成，数据处理，数据建模，数据预测，数据模型调优。
系统设计：设计数据流，分业务和分模块说。
· 个人价值：代码行数，关键问题处理等。
以上就是关于大数据开发的一些面试题了，还有很多的面试题需要大家多看看，想要得到一个好的工作，面试前的一些准备是很重要的。 如果想了解更多详情，请点击成都加米谷大数据官网吧！
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/70005624/viewspace-2790638/ ，如需转载，请注明出处，否则将追究法律责任。
