You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
wangweiliang2022 b89e251eac update 4 months ago
README.md update 4 months ago

README.md

airflow 安装教程

安装步骤

1、conda create -n 环境名称 python=3.7

2、export AIRFLOW_HOME=~/data/data_nas_private/airflow 04上存放位置 设置环境变量 个人喜好,自动设定

3、AIRFLOW_VERSION=2.2.4

4、PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"

5、CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"

6、pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"

7、airflow db init 生成数据库

注:在执行此条命令时,一定要进入该目录,并且在指定环境下

8、airflow users create --username wangweiliang[用户] --firstname Peter --lastname Parker --role Admin[用户角色] --email spiderman@superhero.org

9、airflow webserver --port 开放端口 注: -D 在后台运行

10、 airflow scheduler 注:不启动则没有任务会运行 ,新的任务也不回显示在页面中

Airflow.cfg 文件设置

11、 default_timezone = Asia/Shanghai #时区设置 如果要做定时任务就更换一下,原本是utc时间

12、executor = SequentialExecutor #如果是分布式,则选择 CeleryExecutor

13、sql_alchemy_conn = mysql+pymysql://user:password@ai.cityface.tech:12502/airflowtest 数据库,在suzhou01上使用docker 安装了一个MySQL作为airflow的系统数据库,用户名 root 密码 123456,如有需要则自行创建数据库

task 任务

14、在airflow 目录下创建dags 文件,dags 文件放置编写任务

分布式部署

15、 broker_url = redis://:password@192.168.10.100:10099/db # 存放任务

16、result_backend = redis://:password@192.168.10.100:10099/db # 存放运行记录

17、在调度机上执行以下命令

  • airflow webserver --port 开放端口
  • airflow scheduler
  • airflow celery worker

18、在生产机上执行如下命令

  • airflow celery worker