Tutorial ¿Cómo configurar Airflow en un servidor Ubuntu? Parte 1

Para configurar Airflow en un servidor Ubuntu, sigue estos pasos:

Instala Python en el servidor Ubuntu si aún no lo has hecho. Puedes hacerlo ejecutando el siguiente comando:

Por lo general las distribuciones de Linux ya traen por defecto Python instalado, así que sin problema puedes saltar el paso anterior.

Instala Apache Airflow y sus dependencias usando pip. Puedes hacerlo ejecutando el siguiente comando:

Configura la base de datos de Airflow. Puedes hacerlo ejecutando los siguientes comandos incorporando tus credenciales:

airflow db init
airflow users create --username admin --password admin --firstname FIRST_NAME --lastname LAST_NAME --role Admin --email admin@example.com

El primer comando inicializa la base de datos de Airflow y el segundo comando crea un usuario administrador para Airflow. Toma en consideración que esta configuración se realiza por defecto sobre SQLite así que tendrás un entorno configurado para desarrollo no para ´producción, para lo cual deberás configurar otro motor de base de datos que utilice AirFlow.

Inicia el servidor web de Airflow ejecutando el siguiente comando:

airflow webserver -p 8080

Esto iniciará el servidor web de Airflow en el puerto 8080.

Inicia el scheduler de Airflow ejecutando el siguiente comando en otra ventana de terminal:

El scheduler es responsable de programar y ejecutar las tareas en Airflow.

Accede a la interfaz web de Airflow en tu navegador web navegando a http://<IP del servidor Ubuntu>:8080. Ingresa con las credenciales de usuario que creaste anteriormente.

Crea un archivo DAG (directed acyclic graph) para definir y programar tus tareas en Airflow. Puedes crear el archivo DAG en un directorio específico que hayas configurado en el archivo de configuración de Airflow.

A partir de aca te recomendamos leer y seguir la documentación oficial de AirFlow en How-to Guides

Verifica que tus tareas se ejecuten correctamente en Airflow y realiza cualquier ajuste necesario en el archivo DAG. Siguiendo estos pasos, deberías poder configurar Airflow en un servidor Ubuntu y comenzar a programar y ejecutar tareas. Ten en cuenta que es importante seguir las mejores prácticas de seguridad al configurar tu servidor y Airflow.

En el siguiente tutorial mostraremos como cambiar la base de datos default que utiliza Airflow de SQLite a Postgresql.