airflow 安装教程

安装步骤

1、conda create -n 环境名称 python=3.7

2、export AIRFLOW_HOME=~/data/data_nas_private/airflow 04上存放位置 设置环境变量 个人喜好，自动设定

3、AIRFLOW_VERSION=2.2.4

4、PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"

5、CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"

6、pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"

7、airflow db init 生成数据库

注：在执行此条命令时，一定要进入该目录，并且在指定环境下

8、airflow users create --username wangweiliang[用户] --firstname Peter --lastname Parker --role Admin[用户角色] --email spiderman@superhero.org

9、airflow webserver --port 开放端口 注: -D 在后台运行

10、 airflow scheduler 注：不启动则没有任务会运行 ，新的任务也不回显示在页面中

Airflow.cfg 文件设置

11、 default_timezone = Asia/Shanghai #时区设置 如果要做定时任务就更换一下，原本是utc时间

12、executor = SequentialExecutor #如果是分布式，则选择 CeleryExecutor

13、sql_alchemy_conn = mysql+pymysql://user:password@ai.cityface.tech:12502/airflowtest 数据库，在suzhou01上使用docker 安装了一个MySQL作为airflow的系统数据库,用户名 root 密码 123456，如有需要则自行创建数据库

task 任务

14、在airflow 目录下创建dags 文件，dags 文件放置编写任务

分布式部署

15、 broker_url = redis://:password@192.168.10.100:10099/db # 存放任务

16、result_backend = redis://:password@192.168.10.100:10099/db # 存放运行记录

17、在调度机上执行以下命令

• airflow webserver --port 开放端口

• airflow scheduler

• airflow celery worker

18、在生产机上执行如下命令

• airflow celery worker