دوره‌ی ترنسفورمرها از پایه
Transformers from Scratch
ساخت یک ترنسفورمر فقط با NumPy و قاعده‌ی زنجیره‌ای: توجه نقطه‌ای مقیاس‌شده، توجه چندسر، رمزگذاری موقعیت، بلوک ترنسفورمر، ماسک علّی و یک GPT کوچک که آموزش داده می‌شود و متن تولید می‌کند؛ با نوشتن دستی همه‌ی ضرب‌های ماتریسی و گرادیان‌ها. این دوره برای تیم‌های سازمانی، به‌صورت حضوری یا آنلاین و به زبان فارسی برگزار می‌شود.
- سطح
- پیشرفته
- مدت دوره
- ۳ روز (۲۴ ساعت)
- درس در ۹ بخش
- ۴۱
- شیوه‌ی برگزاری
- حضوری یا آنلاین
آنچه شرکت‌کنندگان می‌آموزند
- پیاده‌سازی توجه نقطه‌ای مقیاس‌شده و توجه چندسر در NumPy
- افزودن رمزگذاری موقعیت و بردارهای توکن و ساخت یک بلوک کامل ترنسفورمر
- به‌کارگیری ماسک علّی برای تبدیل معماری به یک GPT
- آموزش یک GPT کوچک در سطح کاراکتر با پس‌انتشار دست‌نویس
- تولید متن و کنترل آن با راهبردهای نمونه‌گیری
کار عملی: یک مدل GPT کوچک و کارا، ساخته‌شده از پایه با NumPy
سرفصل دوره
۹ بخش و ۴۱ درس، در ۳ روز آموزشی (۲۴ ساعت، هر روز ۸ ساعت). سرفصل، مدت و تمرین‌ها متناسب با سطح و نیاز تیم شما تنظیم می‌شود.
- ۱
از دنباله‌ها تا سازوکار توجه
۵ درس- محدودیت‌های شبکه‌های بازگشتی
- ایده‌ی توجه: جست‌وجوی وزن‌دار
- شباهت، امتیاز و وزن‌های Softmax
- از جست‌وجو تا توجه یادگرفته‌شده
- پروژه‌ی راهنمادار: یک لایه‌ی توجه از نوع بازیابی
- ۲
خودتوجهی از پایه
۵ درس- Q، K و V: سه تصویرسازی
- توجه نقطه‌ای مقیاس‌شده
- ماتریس توجه: چه کسی به چه کسی توجه می‌کند
- پس‌انتشار در لایه‌ی توجه
- پروژه‌ی راهنمادار: کلاس لایه‌ی خودتوجهی
- ۳
توجه چندسر
۵ درس- چرا یک سر کافی نیست
- تقسیم به چند سر
- توجه موازی و الحاق نتایج
- پس‌انتشار در توجه چندسر
- پروژه‌ی راهنمادار: لایه‌ی توجه چندسر
- ۴
رمزگذاری موقعیت و بردارهای توکن
۵ درس- چرا توجه به اطلاعات موقعیت نیاز دارد
- بردارهای توکن (Token Embedding)
- رمزگذاری موقعیت سینوسی
- بردارهای موقعیت یادگرفته‌شده
- پروژه‌ی راهنمادار: لایه‌ی Embedding همراه با موقعیت
- ۵
بلوک ترنسفورمر
۵ درس- اتصال‌های باقیمانده
- نرمال‌سازی لایه
- شبکه‌ی پیش‌خور
- سرهم‌کردن بلوک
- پروژه‌ی راهنمادار: کلاس بلوک ترنسفورمر
- ۶
ماسک علّی و GPT
۵ درس- ایده‌ی خودرگرسیو
- ماسک علّی
- پشته‌ی فقط‌رمزگشا
- سر مدل زبانی و تابع زیان
- پروژه‌ی راهنمادار: سرهم‌کردن یک GPT کامل
- ۷
آموزش یک GPT کوچک
۵ درس- دسته‌بندی و بارگذاری داده
- بهینه‌ساز Adam
- حلقه‌ی آموزش
- پایش آموزش و بیش‌برازش
- پروژه‌ی راهنمادار: آموزش GPT کوچک
- ۸
تولید متن و نمونه‌گیری
۵ درس- رمزگشایی حریصانه و محدودیت‌های آن
- نمونه‌گیری با دما
- نمونه‌گیری Top-k
- نمونه‌گیری Top-p (هسته‌ای)
- پروژه‌ی راهنمادار: یک تولیدکننده‌ی متن
- ۹
پروژه‌ی پایانی
۱ درس- پروژه‌ی راهنمادار: ساخت و آموزش GPT کوچک خودتان
شیوه‌های برگزاری
حضوری در محل سازمان
برگزاری کلاس در سازمان شما، با تمرین روی ابزارها و نمونه‌هایی نزدیک به کار روزانه‌ی تیم. زمان و مکان با هماهنگی تعیین می‌شود.
آنلاین و زنده
کلاس‌های تعاملی آنلاین با پرسش و پاسخ، تمرین گروهی و بازخورد مستقیم؛ مناسب تیم‌هایی که در چند شهر یا دورکار هستند.
کارگاه کوتاه یا دوره‌ی جامع
از کارگاه یک‌روزه برای یک موضوع مشخص تا دوره‌ی چندماهه برای آماده‌کردن تیم در یک مسیر شغلی کامل.
دوره‌های مرتبط
همه‌ی دورههابرگزاری دوره‌ی ترنسفورمرها از پایه در سازمان شما
تعداد شرکت‌کنندگان، سطح تیم و زمان مدنظر را بفرستید تا برای نیازسنجی و هماهنگی برنامه‌ی دوره با شما تماس گرفته شود.