פורטל הסטודנטים

מאז הופעתם הראשונה בשנת 2017 במאמר "ATTENTION IS ALL YOU NEED" VASWANI ET AL. 2017 הפכו הטרנספורמרים למודל הסטנדרטי לרוב יישומי הלמידה העמוקה. בקורס יכוסו המרכיבים השונים של הטרנספורמר והחלק הייחודי של כל אחד מהם אחד מהם בתפקוד המודל וכן שיטות מובילות מבוססות טרנספורמר למגוון רחב של משימות ויישומים. ילמדו נושאים כגון למידה מחיזוקים, שילוב תחומי מודליות, ראייה ממוחשבת, למידה תחת הקשר (ICL) מנקודת מבט של טרנספורמרים לצד נושאים יותר ספציפיים לארכיטקטורה כגון דלילות, הגדלת קנה מידה של מודלים, אופטימיזציות של הארכיטקטורה וכן דברים כגון ההבדל בין סוגי המודלים )ENCODER-DECODER VS. ENCODER-ONLY VS. DECODER-ONLY(. תוצאות למידה: בסיום הקורס הסטודנטיות והסטודנטים יהיו מסוגלים: 1. להכיר את עקרונות הבסיס של למידה עמוקה ולהסביר מודלים שונים בהקשר של טרנספורמרים ומנגנון ה ATTENTION באופן כללי._ 2. לאמן רשתות עמוקות ולנתח את האתגרים העולים מתהליך זה.___ 3. לבנות/לשפר רשתות מבוססות טרנספורמר וליישמן על תחומים שונים.__ 4. להסביר ולפרש את הסיבות להצלחה וכישלון ברשתות מנקודת מבט תאורטית תוך שימוש בעקרונות מנחים כגון יריעות.____

פקולטה: מדעי המחשב
|תואר ראשון |תארים מתקדמים

מקצועות קדם

(236299 - מבוא לעיבוד שפות טבעיות ו- 236756 - מבוא למערכות לומדות) או (236756 - מבוא למערכות לומדות ו- 236781 - למידה עמוקה על מאיצים חישוביים)