دوره‌ی تحلیل داده با DuckDB
DuckDB for Data Analysis
تحلیل سریع داده با SQL روی سیستم محلی با DuckDB؛ از کوئری مستقیم روی فایل CSV بدون مرحله‌ی بارگذاری تا Join، داده‌های JSON، داده‌های راه دور، داشبورد و یک پروژه‌ی پایانی واقعی. این دوره برای تیم‌های سازمانی، به‌صورت حضوری یا آنلاین و به زبان فارسی برگزار می‌شود.
- سطح
- مقدماتی تا متوسط
- مدت دوره
- ۴ روز (۳۲ ساعت)
- درس در ۱۱ بخش
- ۵۴
- شیوه‌ی برگزاری
- حضوری یا آنلاین
آنچه شرکت‌کنندگان می‌آموزند
- نصب و اجرای DuckDB از خط فرمان و پایتون روی هر سیستم‌عامل
- اجرای کوئری SQL مستقیماً روی فایل‌های CSV، JSON و Parquet، بدون بارگذاری و بدون سرور پایگاه داده
- Join، تجمیع و تحلیل کارایی کوئری‌ها با توابع پنجره‌ای و EXPLAIN
- ساخت اپلیکیشن‌ها و داشبوردهای داده‌ی محلی با Streamlit و Apache Superset
کار عملی: جریان کامل تحلیل داده با DuckDB برای فروشگاه Thistlewood Goods
سرفصل دوره
۱۱ بخش و ۵۴ درس، در ۴ روز آموزشی (۳۲ ساعت، هر روز ۸ ساعت). سرفصل، مدت و تمرین‌ها متناسب با سطح و نیاز تیم شما تنظیم می‌شود.
- ۱
آشنایی با DuckDB
۶ درس- چرا DuckDB؟ تحلیل سریع با SQL جاسازی‌شده
- مقایسه‌ی DuckDB با Postgres، SQLite و pandas
- نصب DuckDB (خط فرمان و پایتون) و اتصال
- اولین کوئری‌ها روی یک فایل واقعی
- رابط کاربری DuckDB: بررسی بصری داده
- پروژه‌ی راهنمادار: بررسی کامل یک فایل CSV
- ۲
مبانی SQL به روش DuckDB
۶ درس- جدول‌ها، سطرها و انواع داده
- فیلتر و مرتب‌سازی با WHERE و ORDER BY
- تجمیع با GROUP BY
- Join کردن جدول‌ها
- CTE و زیرکوئری
- پروژه‌ی راهنمادار: پاسخ به پرسش‌های کسب‌وکار با SQL
- ۳
خواندن مستقیم فایل‌ها: CSV، Parquet و چندین فایل
۶ درس- کوئری روی CSV بدون بارگذاری
- Parquet: قالب محبوب DuckDB
- خواندن هم‌زمان چندین فایل با الگوهای Glob
- تشخیص خودکار Schema و زمان تعیین دستی آن
- خروجی‌گرفتن از نتایج با COPY
- پروژه‌ی راهنمادار: اسکریپت دریافت داده از چندین فایل
- ۴
ماندگاری داده: حافظه در برابر فایل پایگاه داده
۵ درس- پایگاه داده‌ی درون‌حافظه‌ای در برابر ماندگار
- بارگذاری داده در جدول‌ها
- View در برابر جدول
- کار با چند پایگاه داده (ATTACH)
- پروژه‌ی راهنمادار: ساخت پایگاه داده‌ی تحلیلی محلی
- ۵
کار با JSON و داده‌های تودرتو
۵ درس- خواندن مستقیم فایل‌های JSON
- کوئری روی Struct و List در SQL
- تبدیل JSON تودرتو به جدول
- ذخیره‌ی نتایج به‌صورت JSON
- پروژه‌ی راهنمادار: ساختاردهی یک خروجی تودرتو
- ۶
SQL پیشرفته برای تحلیل
۵ درس- توابع پنجره‌ای: ROW_NUMBER، RANK و سایر توابع
- جمع تجمعی و میانگین متحرک
- PIVOT و UNPIVOT
- توابع تاریخ و زمان
- پروژه‌ی راهنمادار: گزارش تحلیل فروش
- ۷
DuckDB در اکوسیستم پایتون
۵ درس- API پایتون: اتصال‌ها و Relationها
- کوئری مستقیم روی DataFrameهای pandas و Polars
- دریافت نتایج به‌صورت pandas، Polars یا Arrow
- اسکریپت یا خط فرمان: کدام و کی؟
- پروژه‌ی راهنمادار: جریان پردازش پایتونی مبتنی بر DuckDB
- ۸
کوئری روی داده‌های راه دور و بزرگ‌تر از حافظه
۵ درس- افزونه‌ی httpfs: کوئری روی فایل‌ها از طریق HTTP و S3
- Parquet پارتیشن‌بندی‌شده و Predicate Pushdown
- خواندن مستقیم یک مجموعه‌داده‌ی عمومی از URL
- مدیریت داده‌های بزرگ‌تر از RAM
- پروژه‌ی راهنمادار: کوئری روی فایل راه دور بدون دانلود
- ۹
کارایی و تحلیل اجرای کوئری
۵ درس- EXPLAIN و خواندن طرح اجرای کوئری
- راز سرعت DuckDB: اجرای ستونی و برداری
- ایندکس و ترتیب: چه زمانی واقعاً کمک می‌کنند
- تحلیل و رفع یک کوئری کند
- پروژه‌ی راهنمادار: افزایش سرعت یک گزارش واقعی
- ۱۰
ساخت اپلیکیشن و داشبورد داده‌ی محلی
۵ درس- از کوئری تا اپلیکیشن: اپلیکیشن داده‌ی محلی چیست
- داشبورد محلی با Streamlit و DuckDB
- تبدیل یک کوئری به ابزار خط فرمان قابل استفاده‌ی دوباره
- نصب Apache Superset با Docker و اتصال به DuckDB
- پروژه‌ی راهنمادار: ساخت یک داشبورد واقعی در Superset
- ۱۱
پروژه‌ی پایانی
۱ درس- پروژه‌ی پایانی: جریان تحلیل داده با DuckDB برای Thistlewood Goods
شیوه‌های برگزاری
حضوری در محل سازمان
برگزاری کلاس در سازمان شما، با تمرین روی ابزارها و نمونه‌هایی نزدیک به کار روزانه‌ی تیم. زمان و مکان با هماهنگی تعیین می‌شود.
آنلاین و زنده
کلاس‌های تعاملی آنلاین با پرسش و پاسخ، تمرین گروهی و بازخورد مستقیم؛ مناسب تیم‌هایی که در چند شهر یا دورکار هستند.
کارگاه کوتاه یا دوره‌ی جامع
از کارگاه یک‌روزه برای یک موضوع مشخص تا دوره‌ی چندماهه برای آماده‌کردن تیم در یک مسیر شغلی کامل.
دوره‌های مرتبط
همه‌ی دورههابرگزاری دوره‌ی تحلیل داده با DuckDB در سازمان شما
تعداد شرکت‌کنندگان، سطح تیم و زمان مدنظر را بفرستید تا برای نیازسنجی و هماهنگی برنامه‌ی دوره با شما تماس گرفته شود.