Airflow adalah platform yang digunakan untuk merancang, menjadwalkan, dan memantau alur kerja (workflow). Ini membantu mengkoordinasikan pekerjaan antara berbagai sistem yang mungkin Anda miliki, memungkinkan Anda untuk memiliki gambaran yang lebih baik tentang apa yang terjadi di setiap tahap.
Berikut adalah beberapa langkah yang bisa Anda ikuti untuk mempelajari Airflow:
Pahami Konsep Dasar:
-
DAG (Directed Acyclic Graph)
Sebuah representasi dari semua pekerjaan yang ingin Anda jalankan, disusun sedemikian rupa sehingga mencerminkan hubungan antara tugas-tugas tersebut.
-
Operator
Kelas Python yang bertindak sebagai template untuk tugas-tugas tertentu. Misalnya, PythonOperator digunakan untuk menjalankan kode Python, MySQLOperator untuk menjalankan kode SQL, dll.
-
Task
Sebuah parameterisasi dari operator; tugas adalah sebuah operator dengan argumen tertentu.
-
Task Instance
Tugas tertentu yang berjalan pada waktu tertentu, memiliki status tertentu.
Pasang Airflow:
-
Anda bisa menginstal Airflow menggunakan pip:
pip install apache-airflow.
Membuat DAG:
-
Buat file Python dalam folder DAG Anda yang menentukan DAG. DAG biasanya terdiri dari berbagai tugas dan perintah untuk menjalankan tugas-tugas tersebut.
Menjalankan Airflow:
-
Jalankan web server Airflow:
airflow webserver -p 8080 -
Jalankan scheduler Airflow:
airflow scheduler
Memonitor dan Men-debug Alur Kerja:
-
Anda bisa memantau alur kerja menggunakan Airflow UI, yang memungkinkan Anda melihat status tugas saat ini dan menjadwalkan kembali tugas jika diperlukan.
Belajar Lebih Lanjut:
-
Anda bisa belajar lebih lanjut tentang penggunaan operator khusus, pengaturan dependensi antara tugas, dan penggunaan variabel dan penghubung (hook) untuk menyimpan kredensial dan data lainnya.
Airflow memiliki dokumentasi yang sangat baik dan komunitas yang aktif, jadi Anda bisa mencari di sana jika Anda memiliki pertanyaan lebih lanjut.
Perlu diingat bahwa belajar Airflow bisa jadi cukup kompleks tergantung pada sejauh mana Anda ingin menggunakannya, tetapi dengan pemahaman yang baik tentang konsep dasarnya dan latihan, Anda akan bisa memanfaatkannya dengan efektif.
Mengatasi error ketika menjalankan “airflow webserver -p 8080”
Biasanya muncul error seperti berikut:
"airflow.exceptions.AirflowConfigException: Cannot use relative path: `sqlite:///./airflow.db` to connect to sqlite. Please use absolute path such as `sqlite:////tmp/airflow.db`."</p>
Error ini terjadi karena konfigurasi basis data SQLite dalam pengaturan Airflow Anda menggunakan jalur relatif (sqlite:///./airflow.db) daripada jalur absolut seperti yang diperlukan oleh Airflow (sqlite:////tmp/airflow.db).
Untuk mengatasinya, Anda perlu mengubah jalur relatif ke jalur absolut dalam konfigurasi Airflow Anda.
Ikuti langkah-langkah berikut untuk mengatasi masalah ini:
-
Buka file konfigurasi Airflow Anda. File ini biasanya bernama
airflow.cfgdan berada di~/airflowdi direktori home Anda.
-
Cari bagian dalam file tersebut yang berisi
sql_alchemy_conn. Baris ini harus tampak seperti ini:sql_alchemy_conn =sqlite:///./airflow.db -
Ubah baris tersebut menjadi jalur absolut. Misalnya, jika Anda ingin basis data Anda berada di direktori home Anda, Anda bisa mengubahnya menjadi:
sql_alchemy_conn= sqlite:////home/your_username/airflow/airflow.db
Ganti your_username dengan nama pengguna Anda. Jalur ini mungkin berbeda tergantung pada sistem operasi Anda dan konfigurasi spesifik Anda.
-
Simpan dan tutup file.
-
Mulai ulang server web dan scheduler Airflow.
Perhatikan bahwa setelah melakukan perubahan ini, semua data yang ada di basis data lama Anda tidak akan otomatis dipindahkan ke basis data baru. Anda mungkin perlu melakukan ini secara manual tergantuan pada kebutuhan Anda.