关注并标星 3分钟秒懂大数据

每天1次，打卡阅读

获取AI大数据技术、面经、内推信息

hello，大家好，我是阿周，上周我们讲解了AirFlow的一些基本概念，请看文章：学会AirFlow调度工作流平台，让你告别加班，老板还会升值加薪，但是只知道理论知识是不行的，所以接下来我将带领大家一块安装部署，通过实战学会airflow。

1、Anaconda环境准备

由于Airflow2.1.2版本依赖于python3高阶版本，但是服务器中一般默认python2.7.5版本，如下图：

所以，我们直接通过部署miniconda,创建虚拟python3环境就可以满足airflow的要求。

1.1、下载miniconda版本

yum install -y wgetwget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.s

1.2 安装 minicopnda

直接在服务器中安装下载的miniconda

sh Miniconda3-latest-Linux-x86_64.sh

1.3、一直按 enter 键，然后输入 yes，最后输入n

1.4 配置conda环境变量

1.4.1 配置conda环境变量

vi /etc/profile

#刷新配置source /etc/profile

1.5、配置conda 镜像源

conda config --set show_channel_urls yesvi  ~/.condarc##添加下面内容

channels:  - https://mirrors.ustc.edu.cn/anaconda/pkgs/free/  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free  - defaultsshow_channel_urls: true

1.6、安装jupyter （miniconda3默认没有jupyter ,完整版的Anaconda3有jupyter,所以根据版本忽略）

pip install jupyter

1.7、配置jupyter

""" 第一步 生成配置文件 """jupyter notebook --generate-config --allow-root     //配置文件生成在：/root/.jupyter/jupyter_notebook_config.py""" 第二步 生成密码 """jupyter notebook password       //密码设置的是 123456  自己设置   文件生成在 /root/.jupyter/jupyter_notebook_config.json""" 第三步 编辑/root/.jupyter/jupyter_notebook_config.py文件 """vim  /root/.jupyter/jupyter_notebook_config.pyc.NotebookApp.ip = '192.168.244.161'c.NotebookApp.open_browser = Falsec.NotebookApp.port = 8888c.NotebookApp.password = 'argon2:$argon2id$v=19$m=10240,t=10,p=8$Z4FzhnirRGrPwhwg2oWa9A$b5KuKRMr9l+zyK2I0W6KCA' //该密码在上面有生成

1.8、关闭防火墙

systemctl stop firewall

2、Mysql数据库安装

在上面文章讲过，AirFlow只是一个调度平台，他的存储需要依赖于外部系统，官网建议使用Mysql作为存储，所以下面在服务器中安装mysql。

依赖包自取：

链接：https://pan.baidu.com/s/1oO_38Wj5Ut1xcy9_EW7dOA
提取码：2bnw

上传集群截图如下：

2.1 查看自己的集群中是否安装mysql数据库

 rpm -qa | grep mysql

这个命令就会查看该操作系统上是否已经安装了mysql数据库

2.2 若安装，通过 remove 卸载

yum -y remove  mysql

2.3 依次安装6个rpm包安装命令如下：

rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

2.4 启动mysql,并设置开机自启动

systemctl start mysqldsystemctl enable mysqld

2.5 安装成功后首先将数据库设置成无密码状态，需要修改配置

 vi /etc/my.cnf

添加 skip-grant-tables 可保证为无密码状态（题外话如果想要左边有行号输入 :set nu 就可以显示）

skip-grant-tables

2.6 重启mysql服务器，保证生效

systemctl restart mysqld

2.7 进入数据库，按enter键进入

mysql -u root -p

2.8 选择数据库

use mysql;

2.9 修改密码为 123456

update user set authentication_string=password("123456") where user='root';

2.10 刷新，并退出

flush privileges;quit;

2.11 重新进入数据库，设置密码，修改配置

mysql -u root -p   密码123456

2.12 选择数据库

use mysql;

use mysql; 会报错，说让你重新设置密码.执行下面这一步，设置密码：

set password = PASSWORD('123456');

2.13 更新配置，刷新，退出

ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;flush privileges;quit;

2.14 再次登录数据库，创建airflow数据库

mysql -u root -p  123456 use mysql;create database airflow default character set = 'utf8';

2.15 对mysql 数据库赋权，任何服务器都可以连接它，执行下面几步操作

select host from user where user = 'root';update user set host='%' where user = 'root'; set global explicit_defaults_for_timestamp =1;flush privileges; quit;

2.16 设置允许外网访问当前的mysql

2.16.1 上面安装数据库前关闭了防火墙，需要先打开防火墙

systemctl start firewalldsystemctl status firewalld

2.16.2 目前防火墙是否对外开发了3306端口

firewall-cmd --list-all

2.16.3 查看3306端口是否开放

firewall-cmd --query-port=3306/tcp

no 表示没有开放

2.16.4 开放3306端口

firewall-cmd --permanent --add-port=3306/tcp

2.16.5 重启防火墙

service firewalld restart

2.16.6 再次.查看3306端口是否开放

firewall-cmd --query-port=3306/tcp

2.16.7 查看目前防火墙

firewall-cmd --list-all

3、mysql-connector-java-5.1.39 上传整理

3.1、在对话框中都创建java目录

mkdir /usr/share/java

3.2上传jar包，百度云如下：

链接：https://pan.baidu.com/s/1kbZ04-Ts6npSpCLCwiqrFA

提取码：c4hk

将 mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下

3.3 修改jar名称

mv mysql-connector-java-5.1.39.jar   mysql-connector-java.jar

4、创建AirFlow环境

由于上面我们已经安装好Miniconda,所以现在可以创建任意python版本的项目。

4.1、新建AirFlow项目。使用python3.7.5

# 新建项目conda create -n airflow python==3.7.5#进入创建的airflow项目中source activate airflow

4.2、安装airflow依赖

pip install apache-airflowpip install apache-airflow[mysql]

4.3、生成airflow映射目录

airflow -h

4.4、进入airflow目录中，修改airflow.cfg配置

#配置连接mysql   30行sql_alchemy_conn = mysql://root:123456@192.168.244.182:3306/airflow#配置登录ip和端口号  460行web_server_host = 192.168.244.182#设置airflow用户名和密码#在[webserver]下面配置  447行authenticate = Trueauth_backend = airflow.contrib.auth.backends.password_auth

4.5、执行命令，设置airflow登录页面用户名和密码

#用户名：admin#邮箱 admin@qq.com#密码：adminairflow users create  --lastname user --firstname admin --username admin --email admin@qq.com --role Admin --password admin

4.6、初始化airflow 数据库

airflow db init

4.7关闭防火墙

systemctl stop firewalldsystemctl disable firewalld

4.7、启动airflow集群

airflow webserver --port 8080

4.8、输入用户名admin,密码：admin

以上就是 AirFlow的详细安装教程！，下篇文章介绍AirFlow的使用方式，以及案例介绍。觉得好的，点赞，在看，分享三连击，谢谢！！！

End

最近整理了一份计算机类的书籍，包含python、java、大数据、人工智能、算法等，种类特别齐全。

获取方式：关注公众号：3分钟秒懂大数据，回复：福利，就可以获得这份超级大礼！，小伙伴们快来领取吧。

点个在看你最好看

ITPub博客

史上最完整的AirFlow2.1.2版本安装教程

1.1、下载miniconda版本

1.5、配置conda 镜像源

1.6、安装jupyter （miniconda3默认没有jupyter ,完整版的Anaconda3有jupyter,所以根据版本忽略）

1.7、配置jupyter

1.8、关闭防火墙

由于上面我们已经安装好Miniconda,所以现在可以创建任意python版本的项目。

4.1、新建AirFlow项目。使用python3.7.5

4.4、进入airflow目录中，修改airflow.cfg配置

4.5、执行命令，设置airflow登录页面用户名和密码

4.6、初始化airflow 数据库

4.7关闭防火墙

4.7、启动airflow集群

4.8、输入用户名admin,密码：admin

最新文章

ITPub博客

史上最完整的AirFlow2.1.2版本安装教程

1.1、 下载miniconda版本

1.5、 配置conda 镜像源

1.6、 安装jupyter （miniconda3默认没有jupyter ,完整版的Anaconda3有jupyter,所以根据版本忽略）

1.7、 配置jupyter

1.8、关闭防火墙

由于上面我们已经安装好Miniconda,所以现在可以创建任意python版本的项目。

4.1、 新建AirFlow项目 。使用python3.7.5

4.4、 进入airflow目录中，修改airflow.cfg配置

4.5、 执行命令，设置airflow登录页面用户名和密码

4.6、 初始化airflow 数据库

4.7关闭防火墙

4.7、 启动airflow集群

4.8、 输入用户名admin,密码：admin

最新文章

1.1、下载miniconda版本

1.5、配置conda 镜像源

1.6、安装jupyter （miniconda3默认没有jupyter ,完整版的Anaconda3有jupyter,所以根据版本忽略）

1.7、配置jupyter

4.1、新建AirFlow项目。使用python3.7.5

4.4、进入airflow目录中，修改airflow.cfg配置

4.5、执行命令，设置airflow登录页面用户名和密码

4.6、初始化airflow 数据库

4.7、启动airflow集群

4.8、输入用户名admin,密码：admin