ITPub博客

首页 > 大数据 > Hadoop > 大数据技术学习路线

大数据技术学习路线

Hadoop 作者:白金大神 时间:2018-11-21 12:51:30 0 删除 编辑

背景

近年来大数据BigData、人工智能AI、物联网Iot等行业发展迅猛,很多人都想要从事大数据技术开发工作,但是,请问要 怎么做 路线是什么?从哪里开始学?学哪些? 这是一个大问题。对于我自己来说,最近也在学一些大数据开发相关的技术,所以之前整理了一份 《大数据技术学习路线》 ,希望对你有所帮助。

学习规划

总共分为五大部分,分别是:

  • 大数据技术基础

  • 离线计算Hadoop

  • 流式计算Storm

  • 内存计算Spark

  • 机器学习算法

目前我学完了约60%的内容,但还有很多需要多实践、和深研的地方,我也在继续学习,和摸索当中。希望你早日能成为大数据技术开发中的一员,然后大家一起学习,和技术交流。

技术说明

这里我只列举了 技术点 ,给你提供了一个学习方向,具体实现内容可以借助网络去学习了,相信这方面你应该懂得了如何借助网络力量,然后进行自我学习了。

大数据技术基础

linux操作基础

  • linux系统简介与安装

  • linux常用命令–文件操作

  • linux常用命令–用户管理与权限

  • linux常用命令–系统管理

  • linux常用命令–免密登陆配置与网络管理

  • linux上常用软件安装

  • linux本地yum源配置及yum软件安装

  • linux防火墙配置

  • linux高级文本处理命令cut、sed、awk

  • linux定时任务crontab

shell编程

  • shell编程–基本语法

  • shell编程–流程控制

  • shell编程–函数

  • shell编程–综合案例–自动化部署脚本

内存数据库redis

  • redis和nosql简介

  • redis客户端连接

  • redis的string类型数据结构操作及应用-对象缓存

  • redis的list类型数据结构操作及应用案例-任务调度队列

  • redis的hash及set数据结构操作及应用案例-购物车

  • redis的sortedset数据结构操作及应用案例-排行榜

布式协调服务zookeeper

  • zookeeper简介及应用场景

  • zookeeper集群安装部署

  • zookeeper的数据节点与命令行操作

  • zookeeper的java客户端基本操作及事件监听

  • zookeeper核心机制及数据节点

  • zookeeper应用案例–分布式共享资源锁

  • zookeeper应用案例–服务器上下线动态感知

  • zookeeper的数据一致性原理及leader选举机制

java高级特性增强

  • Java多线程基本知识

  • Java同步关键词详解

  • java并发包线程池及在开源软件中的应用

  • Java并发包消息队里及在开源软件中的应用

  • Java JMS技术

  • Java动态代理反射

轻量级RPC框架开发

  • RPC原理学习

  • Nio原理学习

  • Netty常用API学习

  • 轻量级RPC框架需求分析及原理分析

  • 轻量级RPC框架开发

离线计算Hadoop

hadoop快速入门

  • hadoop背景介绍

  • 分布式系统概述

  • 离线数据分析流程介绍

  • 集群搭建

  • 集群使用初步

HDFS增强

  • HDFS的概念和特性

  • HDFS的shell(命令行客户端)操作

  • HDFS的工作机制

  • NAMENODE的工作机制

  • java的api操作

  • 案例1:开发shell采集脚本

MAPREDUCE详解

  • 自定义hadoop的RPC框架

  • Mapreduce编程规范及示例编写

  • Mapreduce程序运行模式及debug方法

  • mapreduce程序运行模式的内在机理

  • mapreduce运算框架的主体工作流程

  • 自定义对象的序列化方法

  • MapReduce编程案例

MAPREDUCE增强

  • Mapreduce排序

  • 自定义partitioner

  • Mapreduce的combiner

  • mapreduce工作机制详解

MAPREDUCE实战

  • maptask并行度机制-文件切片

  • maptask并行度设置

  • 倒排索引

  • 共同好友

federation介绍和hive使用

  • Hadoop的HA机制

  • HA集群的安装部署

  • 集群运维测试之Datanode动态上下线

  • 集群运维测试之Namenode状态切换管理

  • 集群运维测试之数据块的balance

  • HA下HDFS-API变化

  • hive简介

  • hive架构

  • hive安装部署

  • hvie初使用

hive增强和flume介绍

  • HQL-DDL基本语法

  • HQL-DML基本语法

  • HIVE的join

  • HIVE 参数配置

  • HIVE 自定义函数和Transform

  • HIVE 执行HQL的实例分析

  • HIVE最佳实践注意点

  • HIVE优化策略

  • HIVE实战案例

  • Flume介绍

  • Flume的安装部署

  • 案例:采集目录到HDFS

  • 案例:采集文件到HDFS

流式计算Storm

Storm从入门到精通

  • Storm是什么

  • Storm架构分析

  • Storm架构分析

  • Storm编程模型、Tuple源码、并发度分析

  • Storm WordCount案例及常用Api分析

  • Storm集群部署实战

  • Storm+Kafka+Redis业务指标计算

  • Storm源码下载编译

  • Strom集群启动及源码分析

  • Storm任务提交及源码分析

  • Storm数据发送流程分析

  • Storm通信机制分析

  • Storm消息容错机制及源码分析

  • Storm多stream项目分析

  • 编写自己的流式任务执行框架

Storm上下游及架构集成

  • 消息队列是什么

  • Kakfa核心组件

  • Kafka集群部署实战及常用命令

  • Kafka配置文件梳理

  • Kakfa JavaApi学习

  • Kafka文件存储机制分析

  • Redis基础及单机环境部署

  • Redis数据结构及典型案例

  • Flume快速入门

  • Flume+Kafka+Storm+Redis整合

内存计算Spark

scala编程

  • scala编程介绍

  • scala相关软件安装

  • scala基础语法

  • scala方法和函数

  • scala函数式编程特点

  • scala数组和集合

  • scala编程练习(单机版WordCount)

  • scala面向对象

  • scala模式匹配

  • actor编程介绍

  • option和偏函数

  • 实战:actor的并发WordCount

  • 柯里化

  • 隐式转换

AKKA与RPC

  • Akka并发编程框架

  • 实战:RPC编程实战

Spark快速入门

  • spark介绍

  • spark环境搭建

  • RDD简介

  • RDD的转换和动作

  • 实战:RDD综合练习

  • RDD高级算子

  • 自定义Partitioner

  • 实战:网站访问次数

  • 广播变量

  • 实战:根据IP计算归属地

  • 自定义排序

  • 利用JDBC RDD实现数据导入导出

  • WorldCount执行流程详解

RDD详解

  • RDD依赖关系

  • RDD缓存机制

  • RDD的Checkpoint检查点机制

  • Spark任务执行过程分析

  • RDD的Stage划分

Spark-Sql应用

  • Spark-SQL

  • Spark结合Hive

  • DataFrame

  • 实战:Spark-SQL和DataFrame案例

SparkStreaming应用实战

  • Spark-Streaming简介

  • Spark-Streaming编程

  • 实战:StageFulWordCount

  • Flume结合Spark Streaming

  • Kafka结合Spark Streaming

  • 窗口函数

  • ELK技术栈介绍

  • ElasticSearch安装和使用

  • Storm架构分析

  • Storm编程模型、Tuple源码、并发度分析

  • Storm WordCount案例及常用Api分析

Spark核心源码解析

  • Spark源码编译

  • Spark远程debug

  • Spark任务提交行流程源码分析

  • Spark通信流程源码分析

  • SparkContext创建过程源码分析

  • DriverActor和ClientActor通信过程源码分析

  • Worker启动Executor过程源码分析

  • Executor向DriverActor注册过程源码分析

  • Executor向Driver注册过程源码分析

  • DAGScheduler和TaskScheduler源码分析

  • Shuffle过程源码分析

  • Task执行过程源码分析

机器学习算法

python及numpy库

  • 机器学习简介

  • 机器学习与python

  • python语言–快速入门

  • python语言–数据类型详解

  • python语言–流程控制语句

  • python语言–函数使用

  • python语言–模块和包

  • phthon语言–面向对象

  • python机器学习算法库–numpy

  • 机器学习必备数学知识–概率论

常用算法实现

  • knn分类算法–算法原理

  • knn分类算法–代码实现

  • knn分类算法–手写字识别案例

  • lineage回归分类算法–算法原理

  • lineage回归分类算法–算法实现及demo

  • 朴素贝叶斯分类算法–算法原理

  • 朴素贝叶斯分类算法–算法实现

  • 朴素贝叶斯分类算法–垃圾邮件识别应用案例

  • kmeans聚类算法–算法原理

  • kmeans聚类算法–算法实现

  • kmeans聚类算法–地理位置聚类应用

  • 决策树分类算法–算法原理

  • 决策树分类算法–算法实现

尾记

看完有信心能坚持学习吗?如果你的答案是肯定的,那就当下开始行动吧!Fighting~


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31561593/viewspace-2220916/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 大数据学习路线
请登录后发表评论 登录
全部评论

注册时间:2018-11-09

  • 博文量
    9
  • 访问量
    3142