מידע כללי
סוכנים אוטונומיים הפועלים בסביבה מורכבת נדרשים לתפקד תחת תנאים מאתגרים של אי-וודאות, הנובעים ממידע חלקי, רועש ומושהה, מאי-ידיעת מודל העולם, מכשלי מערכת וצווארי בקבוק בתקשורת. גישה אפשרית לצורך התמודדות עם בעיות אלה משלבת ניסוי ( EXPLORATION )ומיצוי ( EXPLOITATION ). באופן גס, מיצוי מאופיין ע"י ניצול ידע קודם שנאגר תוך כדי פעילות כדי לקדם מטרה רצויה, בעוד ניסוי מתמקד בחיפוש אופני-פעולה חדשים בעלי פוטנציאל רווח עתידי. האיזון המיטבי בין ניסוי למיצוי תופס מקום בסיסי בתחומי הבקרה האופטימלית ולמידה ע"י חיזוקים מאז שנות הששים המוקדמות, עם חשיבות גדלה והולכת בשנים האחרונות. למרות זאת, מלבד במקרים מוגבלים, קיימת הבנה חלקית על איזון מושכל ושיטתי בין ניסוי ומיצוי. בקורס זה נתאר את האיזון בין ניסוי למיצוי במגוון מערכות לומדות, מתוך ניסיון לחלץ עקרונות פעולה כלליים, ולפתוח פתח לתכנון מושכל של איזון זה בבעיות מאתגרות בלמידת מכונה. תוצאות למידה: הבנת האיזון הנדרש בין ניסוי למיצוי במערכות לומדות, שליטה בתאוריה הבסיסית במערכות לומדות פשוטות, יכולת לתכנן איזון מושכל בין ניסוי למיצוי במערכות מורכבות יותר, קריאת הספרות השוטפת.