大数据都学什么? 大数据(big data) ,指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产,下面给大家看一下大数据都需要学点什么。
第一阶段为JAVASE+MYSQL+JDBC ,主要学习一些 Java 语言的概念,如字符、流程控制、面向对象、进程线程、枚举反射等,学习 MySQL 数据库的安装卸载及相关操作,学习 JDBC 的实现原理以及 Linux 基础知识,是大数据刚入门阶段。
第二阶段为分布式理论简介,主要讲解CAP 理论、数据分布方式、一致性、 2PC 和 3PC 、大数据集成架构。涉及的知识点有 Consistency 一致性、 Availability 可用性、 Partition tolerance 分区容忍性、数据量分布、 2PC 流程、 3PC 流程、哈希方式、一致性哈希等。
第三阶段为数据存储与计算(离线场景),主要讲解协调服务ZK(1T) 、数据存储 hdfs(2T) 、数据存储 alluxio(1T) 、数据采集 flume 、数据采集 logstash 、数据同步 Sqoop(0.5T) 、数据同步 datax(0.5T) 、数据同步 mysql-binlog(1T) 、计算模型 MR 与 DAG(1T) 、 hive(5T) 、 Impala(1T) 、任务调度 Azkaban 、任务调度 airflow 等。
第四部分为数仓建设,主要讲解数仓仓库的历史背景、离线数仓项目- 伴我汽车( 5T )架构技术解析、多维数据模型处理 kylin ( 3.5T )部署安装、离线数仓项目 - 伴我汽车升级后加入 kylin 进行多维分析等;
第五阶段为分布式计算引擎。主要讲解计算引擎、scala 语言、 spark 、数据存储 hbase 、 redis 、 kudu ,并通过某 p2p 平台项目实现 spark 多数据源读写。
第六阶段为数据存储与计算(实时场景),主要讲解数据通道Kafka 、实时数仓 druid 、流式数据处理 flink 、 SparkStreaming ,并通过讲解某交通大数让你可以将知识点融会贯通。
第七阶段为数据搜索,主要讲解elasticsearch ,包括全文搜索技术、 ES 安装操作、 index 、创建索引、增删改查、索引、映射、过滤等。
第八阶段为数据治理,主要讲解数据标准、数据分类、数据建模、图存储与查询、元数据、血缘与数据质量、Hive Hook 、 Spark Listener 等。
第九阶段为BI 系统,主要讲解 Superset 、 Graphna 两大技术,包括基本简介、安装、数据源创建、表操作以及数据探索分析。
第十节段为数据挖掘,主要讲解机器学习中的数学体系、Spark Mlib 机器学习算法库、 Python scikit-learn 机器学习算法库、机器学习结合大数据项目。
大数据课程体系是衡量一家大数据培训是否专业的重要评价标准。大数据培训课程是否科学和专业,直接决定着课程是否能够满足企业的用人要求、学员能否容易吸收等问题; 同时好的课程能够让学员在最短的时间里学到最多的和最有用的大数据知识。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69913864/viewspace-2716332/ ,如需转载,请注明出处,否则将追究法律责任。