دوره‌ی مدیریت و زمان‌بندی جریان‌های داده با Airflow
Orchestrating Data Pipelines with Airflow
مدیریت و زمان‌بندی جریان‌های داده با Apache Airflow: DAG، Operator، Sensor، Hook، آزمون، پایش و یک پروژه‌ی پایانی که Airflow، PySpark و Kubernetes را به هم متصل می‌کند. این دوره برای تیم‌های سازمانی، به‌صورت حضوری یا آنلاین و به زبان فارسی برگزار می‌شود.
- سطح
- متوسط
- مدت دوره
- ۲ روز (۱۶ ساعت)
- درس در ۸ بخش
- ۳۶
- شیوه‌ی برگزاری
- حضوری یا آنلاین
آنچه شرکت‌کنندگان می‌آموزند
- طراحی و نوشتن DAG در Airflow با TaskFlow API و Operatorهای کلاسیک
- انتظار برای سامانه‌های بیرونی و اتصال به آن‌ها با Sensor، Hook و Connection
- آزمون، ثبت رویداد، پایش و هشدار در صورت شکست DAG
- اجرای یک پردازش PySpark روی Kubernetes از درون DAG در Airflow
کار عملی: یک DAG واقعی در Airflow که پردازش PySpark شرکت CityFlow را روی Kubernetes اجرا می‌کند
سرفصل دوره
۸ بخش و ۳۶ درس، در ۲ روز آموزشی (۱۶ ساعت، هر روز ۸ ساعت). سرفصل، مدت و تمرین‌ها متناسب با سطح و نیاز تیم شما تنظیم می‌شود.
- ۱
جریان داده (Data Pipeline) چیست؟
۵ درس- جریان داده چیست؟
- ساخت دستی یک جریان داده
- چرا Cron کافی نیست
- آشنایی مفهومی با Airflow
- پروژه‌ی راهنمادار: طراحی DAG روی کاغذ
- ۲
آشنایی با Airflow
۵ درس- معماری Airflow
- نصب و اجرای محلی Airflow با Docker
- اولین DAG
- آشنایی با رابط کاربری Airflow
- پروژه‌ی راهنمادار: گزارش روزانه‌ی CityFlow به‌صورت یک DAG واقعی
- ۳
نوشتن DAG
۵ درس- TaskFlow API
- Operatorها
- وابستگی‌ها
- تلاش مجدد، Catchup و Backfill
- پروژه‌ی راهنمادار: انشعاب و تلاش مجدد در کنار هم
- ۴
Sensor، Hook و Connection
۵ درس- Sensorها
- Hookها
- Connectionها و Variableها
- ترکیب Sensor و Hook
- پروژه‌ی راهنمادار: انتظار و سپس بارگذاری
- ۵
مدیریت جریان ETL
۵ درس- طراحی DAG
- وظیفه‌ی دریافت داده
- وظایف اعتبارسنجی و تبدیل
- وظیفه‌ی بارگذاری
- پروژه‌ی راهنمادار: جریان ETL واقعی CityFlow
- ۶
آزمون، ثبت رویداد و پایش DAG
۵ درس- آزمون واحد برای وظایف
- خواندن گزارش‌ها
- پایش DAG
- هشدار هنگام شکست
- پروژه‌ی راهنمادار: ابزارگذاری DAG ETL شرکت CityFlow
- ۷
Airflow، Spark و Kubernetes
۵ درس- معماری کلی
- ارسال Pod از درون DAG
- اتصال یک پردازش PySpark
- پایش اجرای پردازش
- پروژه‌ی راهنمادار: Airflow، Spark و Kubernetes به‌صورت کامل
- ۸
پروژه‌ی پایانی
۱ درس- پروژه‌ی پایانی: جریانی که خودش را به‌طور کامل اجرا می‌کند
شیوه‌های برگزاری
حضوری در محل سازمان
برگزاری کلاس در سازمان شما، با تمرین روی ابزارها و نمونه‌هایی نزدیک به کار روزانه‌ی تیم. زمان و مکان با هماهنگی تعیین می‌شود.
آنلاین و زنده
کلاس‌های تعاملی آنلاین با پرسش و پاسخ، تمرین گروهی و بازخورد مستقیم؛ مناسب تیم‌هایی که در چند شهر یا دورکار هستند.
کارگاه کوتاه یا دوره‌ی جامع
از کارگاه یک‌روزه برای یک موضوع مشخص تا دوره‌ی چندماهه برای آماده‌کردن تیم در یک مسیر شغلی کامل.
دوره‌های مرتبط
همه‌ی دورههابرگزاری دوره‌ی مدیریت و زمان‌بندی جریان‌های داده با Airflow در سازمان شما
تعداد شرکت‌کنندگان، سطح تیم و زمان مدنظر را بفرستید تا برای نیازسنجی و هماهنگی برنامه‌ی دوره با شما تماس گرفته شود.