DAGs. ב-Airflow, DAG – או a Directed Acyclic Graph – הוא אוסף של כל המשימות שאתה רוצה להפעיל, מאורגנות בצורה שמשקפת את מערכות היחסים והתלות שלהן.
איך עושים DAGs בזרימת אוויר?
כדי ליצור DAG ב-Airflow, אתה תמיד צריך לייבא את מחלקת ה-DAG לאחר מחלקת ה-DAG, מגיעים היבוא של אופרטורים. בעיקרון, עבור כל מפעיל שאתה רוצה להשתמש בו, עליך לבצע את הייבוא המתאים. לדוגמה, ברצונך לבצע פונקציית Python, עליך לייבא את PythonOperator.
איפה Airflow מחפשת DAGs?
Airflow מחפש ב- your DAGS_FOLDER אחר מודולים המכילים אובייקטי DAG במרחב השמות הגלובלי שלהם ומוסיף את האובייקטים שהיא מוצאת ב-DagBag.
איך Airflow מאחסנת DAGs?
Apache Airflow Metadata Database:
מסד הנתונים של המטא נתונים מאחסן תצורות, כגון משתנים וחיבורים הוא גם מאחסן מידע משתמש, תפקידים ומדיניות. לבסוף, המתזמן מנתח את כל ה-DAGs ומאחסן מטא נתונים רלוונטיים כגון מרווחי לוח זמנים, סטטיסטיקות מכל ריצה והמשימות שלהם.
האם Airflow הוא כלי ETL?
Airflow הוא לא כלי ETL כשלעצמו. אבל הוא מנהל, בונה ומארגן צינורות ETL באמצעות משהו שנקרא גרפים אציקליים מכוונים (DAGs). … מסד הנתונים של המטא נתונים מאחסן זרימות עבודה/משימות (DAGs).
