שיעור פרטי בלמידת חיזוק עם AI
ללמוד איך סוכן לומד מניסוי וטעייה: מ-bandit ועד Q-learning, PPO ו-RLHF
המורה: נועה
- התוכנית עודכנה 11.2026
- עברית, ועוד 5 שפות
- 3 רמות: מתחילים · ממשיכים · מתקדמים
- 36 שיעורים · כ־20 שעות של שיעורים
למידת חיזוק
ללמוד איך סוכן לומד מניסוי וטעייה: מ-bandit ועד Q-learning, PPO ו-RLHF
12 שיעורים · 3 פרקים · שיעור חי פרטי עם המורה על הלוח
מה תדעו לעשות בסוף
- להבחין בין למידה מפוקחת, לא מפוקחת ולמידת חיזוק ולזהות בעיה שמתאימה ל-RL
- לצייר את לולאת הסוכן והסביבה ולזהות בה מצב, פעולה ותגמול בכל צעד
- לחשב תשואה של אפיזודה, עם היוון ובלעדיו
- לנסח בעיה יומיומית כבעיית RL ולבחור תגמול שמתגמל את המטרה ולא את הדרך
- להעריך ערך של פעולה מממוצע התגמולים ולעדכן אותו צעד אחר צעד בנוסחת העדכון
- להפעיל ε-greedy עם ε מנומק ולהסביר למה בחירה חמדנית נתקעת
- להשוות בין ε-greedy, אופטימיות ו-UCB ולחשב regret פשוט
- לכתוב לולאת אפיזודה בסגנון Gymnasium עם reset ו-step ולצבור בה תשואה
- לנסח בעיה כ-MDP מלא ולזהות מתי תכונת מרקוב מופרת
- לחשב ערך של מצב ממסלולים פשוטים ולהסביר מה מודדות V^π ו-Q^π
- לבדוק בעזרת משוואת Bellman אם טבלת ערכים עקבית
- לגזור מדיניות אופטימלית מתוך Q* או V* ומודל
- להריץ ביד הערכת מדיניות ואיטרציית ערך על גריד קטן
- לבצע ביד עדכון TD(0) ולהשוות TD ל-Monte Carlo מבחינת הטיה ושונות
- לבצע עדכוני SARSA ו-Q-learning על טבלת Q ולנבא את ההבדל ביניהם בבעיית הצוק
- לתכנן לולאת Q-learning עם היפר-פרמטרים ולהסביר מתי נדרש קירוב פונקציה ו-DQN
- להסביר מתי מדיניות פרמטרית עדיפה על Q-learning ולנסח מדיניות softmax
- לגזור את עדכון REINFORCE בעזרת log-derivative trick
- להקטין שונות ב-REINFORCE בעזרת reward-to-go, baseline ו-advantage
- לתאר ארכיטקטורת Actor-Critic ולהסביר את פשרת bias-variance ב-GAE
- לחשב את מטרת ה-clipping של PPO עבור דוגמה נתונה
- לתאר את שלושת שלבי ה-RLHF ולחשב loss של reward model לזוג תשובות
- להסביר למה עונש KL חיוני ולבחור בין PPO-RLHF, DPO, RLAIF ותגמול ניתן לאימות
- לזהות specification gaming ו-reward hacking ולבחור הגנות לשרשרת RLHF
בסוף כל רמה המורה בודק שזה באמת ברור, לא רק שעברנו על החומר
נושאים קשורים
הקורס כולל
- שיעורים חיים 1:1 עם מורה פרטי AI על לוח
- 20 שעות של שיעורים חיים אחד על אחד
- 36 שיעורים על לוח משותף, כל אחד עם יעד ברור
- תרגול ובדיקת הבנה בכל שיעור
- סיכום אחרי כל שיעור, שנשמר בהיסטוריה
- תעודת סיום לכל רמה
- מחשב, טאבלט או טלפון
- עברית, ועוד 5 שפות
תוכנית הקורס
3 רמות · 10 פרקים · 36 שיעורים · 19 שע׳ 40 דק׳ בסך הכול
מתחיליםלמידת חיזוק — מתחילים: סוכן, תגמול וחקירה3 פרקים • 12 שיעורים • 6 שע׳ 25 דק׳
הלומד/ת מנסח/ת בעיה קטנה כסוכן, סביבה, פעולות ותגמולים, מסביר/ה למידה מניסוי וטעייה דרך בעיית ה-bandit, ובוחר/ת איזון מנומק בין חקירה לניצול.
מה זו למידת חיזוק: סוכן, סביבה ותגמול4 שיעורים • 2 שע׳ 5 דק׳
- 1ללמוד מהתוצאות: מה מייחד למידת חיזוקתבחין/י בין למידה מפוקחת, לא מפוקחת ולמידת חיזוק, ותזהה/י בעיה שמתאימה ל-RL.שיעור ניסיוןכ־30 דק׳
- 2לולאת הסוכן והסביבהתצייר/י את לולאת ה-RL ותזהה/י בה מצב, פעולה ותגמול בכל צעד של דוגמה אמיתית.כ־30 דק׳
- 3מטרה = סכום תגמולים: תשואה והיווןתחשב/י תשואה של אפיזודה, עם היוון ובלעדיו, ותסביר/י למה הסוכן מקריב תגמול מיידי למען העתיד.כ־30 דק׳
- 4ניסוח בעיה: מצבים, פעולות ותגמוליםתנסח/י בעיה יומיומית כבעיית RL ותבחר/י תגמול שמתגמל את המטרה ולא את הדרך.כ־35 דק׳
ניסוי וטעייה: בעיית המכונות המזלות5 שיעורים • 2 שע׳ 35 דק׳
- 5בעיית ה-bandit: ללמוד מה שווה כל פעולהתעריך/י את ערכה של כל פעולה מממוצע התגמולים שהתקבלו, ותסביר/י למה ההערכה רועשת בהתחלה.כ־30 דק׳
- 6עדכון הדרגתי: ישן + צעד × (יעד − ישן)תעדכן/י הערכה צעד אחר צעד בנוסחת העדכון ותבחר/י גודל צעד לבעיה קבועה או משתנה.כ־30 דק׳
- 7חקירה מול ניצול ו-ε-greedyתסביר/י למה בחירה חמדנית נתקעת, ותפעיל/י ε-greedy עם ε מנומק.כ־35 דק׳
- 8חקירה חכמה: אופטימיות ו-UCBתשווה/י בין ε-greedy, ערכים התחלתיים אופטימיים ו-UCB ותבחר/י שיטה לתרחיש נתון.כ־30 דק׳
- 9למדוד למידה: עקומות, regret ואקראיותתקרא/י עקומת למידה, תחשב/י regret פשוט ותסביר/י למה משווים שיטות על פני ריצות רבות.כ־30 דק׳
מ-bandit לבעיות רב-שלביות3 שיעורים • 1 שע׳ 45 דק׳
- 10תגמול מאוחר ובעיית ייחוס האשמהתסביר/י למה תגמול מאוחר מקשה על הלמידה ותזהה/י אילו צעדים באפיזודה 'אשמים' בתוצאה.כ־30 דק׳
- 11הלולאה בקוד: סביבה בסגנון Gymnasiumתכתוב/י לולאת אפיזודה בסגנון Gymnasium עם reset ו-step ותצבור/י בה את התשואה.כ־35 דק׳
- 12פרויקט מסכם: מעצבים בעיית RLתעצב/י בעיית RL קטנה מלאה — מצבים, פעולות, תגמול ושיטת חקירה — ותצביע/י על דרך שבה אפשר 'לרמות' את התגמול.כ־40 דק׳
ממשיכיםממשיכים: תהליכי החלטה מרקוביים, פונקציות ערך ו-Q-learning4 פרקים • 12 שיעורים • 6 שע׳ 35 דק׳
הלומד מנסח בעיה כ-MDP, מחשב ערכים ומדיניות עם משוואות Bellman, ומריץ ביד ובקוד קצר SARSA ו-Q-learning, כולל הבנה מתי צריך קירוב פונקציה.
המודל: MDP, מדיניות וערך4 שיעורים • 2 שע׳ 5 דק׳
- 1תהליך החלטה מרקובי: המסגרת המלאהתנסח/י בעיה כ-MDP מלא עם מצבים, פעולות, הסתברויות מעבר, תגמול ומקדם היוון, ותזהה/י מתי תכונת מרקוב מופרת.כ־30 דק׳
- 2מדיניות ופונקציות ערך V ו-Qתסביר/י מהי מדיניות ומה מודדות V^π ו-Q^π, ותחשב/י ערך של מצב ממסלולים פשוטים.כ־30 דק׳
- 3משוואת Bellman: ערך = תגמול + ערך הבאתכתוב/י את משוואת Bellman ל-V^π ול-Q^π ותבדוק/י באמצעותה אם טבלת ערכים עקבית.כ־35 דק׳
- 4אופטימליות: V*, Q* והמדיניות החמדניתתסביר/י את משוואת האופטימליות של Bellman ותגזור/י מדיניות אופטימלית מתוך Q* או V* ומודל.כ־30 דק׳
תכנון עם מודל: תכנות דינמי2 שיעורים • 1 שע׳ 5 דק׳
- 5הערכת מדיניות ושיפור מדיניותתריץ/י ביד הערכת מדיניות איטרטיבית ושלב שיפור, ותסביר/י למה איטרציית מדיניות מתכנסת.כ־35 דק׳
- 6איטרציית ערך ומגבלות התכנוןתריץ/י איטרציית ערך על גריד קטן, תשווה/י אותה לאיטרציית מדיניות ותסביר/י מתי תכנות דינמי לא ישים.כ־30 דק׳
ללמוד מניסיון: Monte Carlo ו-TD4 שיעורים • 2 שע׳ 10 דק׳
- 7Monte Carlo: ללמוד מאפיזודות שלמותתעריך/י V ו-Q מתוך אפיזודות שלמות ותסביר/י איך שומרים על חקירה בבקרת Monte Carlo.כ־30 דק׳
- 8Temporal Difference: לנחש מתוך ניחושתבצע/י עדכון TD(0) ביד, תסביר/י מהי שגיאת TD ותשווה/י TD ל-Monte Carlo מבחינת הטיה ושונות.כ־35 דק׳
- 9SARSA: בקרה on-policyתבצע/י עדכוני SARSA על טבלת Q ותסביר/י למה הוא לומד את ערך המדיניות שהוא באמת מריץ.כ־30 דק׳
- 10Q-learning: בקרה off-policyתבצע/י עדכוני Q-learning, תסביר/י מה הופך אותו ל-off-policy ותנבא/י את ההבדל מול SARSA בבעיית הצוק.כ־35 דק׳
מעבר לטבלה ופרויקט2 שיעורים • 1 שע׳ 15 דק׳
- 11קירוב פונקציה ו-DQNתסביר/י למה טבלת Q לא מתרחבת, איך רשת נוירונים מחליפה אותה ומה תפקידם של Replay Buffer ו-target network.כ־35 דק׳
- 12פרויקט: Q-learning על בעיה משלךתנסח/י בעיה קטנה כ-MDP, תתכנן/י לולאת Q-learning עם היפר-פרמטרים, ותזהה/י דרך שבה התגמול שלה ניתן לניצול.כ־40 דק׳
מתקדמיםלמידת חיזוק מתקדמת: Policy Gradients, RLHF ובטיחות3 פרקים • 12 שיעורים • 6 שע׳ 40 דק׳
ללמוד מדיניות ישירות בעזרת policy gradients ו-PPO, להסביר את שרשרת ה-RLHF למודלי שפה, ולזהות ולמתן מצבים של תגמול שגוי ו-reward hacking.
Policy Gradients: ללמוד את המדיניות עצמה5 שיעורים • 2 שע׳ 45 דק׳
- 1למה ללמוד מדיניות ישירותלהסביר מתי מדיניות פרמטרית עדיפה על Q-learning ולנסח מדיניות softmax או גאוסית לבעיה נתונה.כ־30 דק׳
- 2משפט ה-Policy Gradient ו-REINFORCEלגזור את עדכון REINFORCE בעזרת log-derivative trick ולהסביר אינטואיטיבית למה הוא מעלה הסתברות של פעולות טובות.כ־35 דק׳
- 3שונות, baseline ו-advantageלהסביר למה REINFORCE רועש ולהקטין שונות בעזרת reward-to-go, baseline ופונקציית advantage.כ־30 דק׳
- 4Actor-Critic, A2C ו-GAEלתאר ארכיטקטורת Actor-Critic, להשתמש ב-TD error כאומדן advantage ולהסביר את פשרת bias-variance ב-GAE.כ־35 דק׳
- 5PPO: צעדים בטוחים במרחב המדיניותלהסביר למה צעד גדול מדי הורס מדיניות, ולחשב את מטרת ה-clipping של PPO עבור דוגמה נתונה.כ־35 דק׳
RLHF: למידת חיזוק למודלי שפה4 שיעורים • 2 שע׳ 10 דק׳
- 6מודל שפה כסוכן: מ-pretraining ל-RLHFלנסח מודל שפה כבעיית RL ולתאר את שלושת שלבי ה-RLHF: SFT, reward model ו-policy optimization.כ־30 דק׳
- 7Reward Model מהעדפות אנושיותלהסביר איך מאמנים reward model מהשוואות זוגיות במודל Bradley-Terry ולחשב את ה-loss לזוג תשובות.כ־35 דק׳
- 8PPO למודלי שפה ועונש KLלתאר את לולאת ה-PPO על מודל שפה ולהסביר למה עונש KL מול מודל הייחוס חיוני.כ־35 דק׳
- 9DPO, RLAIF ותגמולים ניתנים לאימותלהשוות בין PPO-RLHF, DPO, RLAIF ו-RL עם תגמול ניתן לאימות ולבחור גישה מתאימה למשימה נתונה.כ־30 דק׳
בטיחות ותגמול שגוי3 שיעורים • 1 שע׳ 45 דק׳
- 10Reward hacking ו-specification gamingלזהות מקרי specification gaming, להסביר את חוק Goodhart ולמצוא דרך שבה סוכן ינצל תגמול נתון.כ־30 דק׳
- 11תגמול שגוי במודלי שפהלהסביר את reward model overoptimization, sycophancy והטיית אורך, ולהבחין בין reward hacking לבין goal misgeneralization.כ־35 דק׳
- 12הגנות ופרויקט מסכם: מתכננים RLHF בטוחלתכנן שרשרת RLHF קצרה לבעיה אמיתית, לזהות בה דרך אחת לרמות את התגמול ולבחור הגנות מתאימות.כ־40 דק׳
מה צריך
- אין צורך בידע קודם ברמת מתחילים
- היכרות בסיסית עם פייתון תעזור בחלקי הקוד
- הכרות עם הסתברות ותוחלת תעזור ברמות הממשיכים והמתקדמים
- מחשב, טאבלט או טלפון עם מיקרופון, ודפדפן
על הקורס
קורס בשלוש רמות בלמידת חיזוק. מתחילים בסוכן, תגמול וחקירה, ממשיכים ל-MDP, משוואות Bellman ו-Q-learning, ומסיימים ב-Policy Gradients, PPO, RLHF ובטיחות. בכל שיעור פותרים יחד על לוח משותף, צעד אחר צעד, ואתם עושים את החישוב בעצמכם.
למי הקורס
- מי שסקרן/ת איך מכונה לומדת מניסוי וטעייה
- תלמידי מדעי המחשב, נתונים ו-AI שרוצים בסיס מסודר ב-RL
- מי שרוצה להבין איך RLHF מכוון מודלי שפה
- מפתחים שרוצים לזהות תגמול שגוי לפני שהוא פוגע במערכת
קורסים נוספים במסלול
המורה שלך
נועהמורה AI פרטי, בשיעור חי על לוח משותףמורה AI פרטי שמלמד בשיחה חיה: שואל, מקשיב, מצייר על הלוח ונותן לפתור לבד עם רמזים. זוכר מה למדתם ומתחיל כל שיעור מהמקום שעצרתם.
איך נראה שיעור?
הילד מדבר עם המורה בקול, כמו בשיחת וידאו, ושואל מה שלא ברור.
המורה מסביר, כותב ומצייר על לוח משותף, והילד פותר איתו על אותו לוח.
אפשר לצלם דף עבודה או שיעורי בית וללמוד ממנו, תרגיל אחרי תרגיל.
ההורה מקבל דוח: זמן לימוד, מה הצליח ומה כדאי לחזק.
כללי השיעור
- רק לימוד
שאלות נפוצות
- איך עובד שיעור פרטי בלמידת חיזוק?
- בוחרים למידת חיזוק ורמה, ומדברים עם המורה בקול. המורה שואל מה כבר ידוע, מסביר, כותב ומצייר על הלוח, ונותן לפתור לבד עם רמזים עד שהעניין ברור.
- כמה זמן לוקח הקורס למידת חיזוק?
- 12 שיעורים של כ־32 דקות ברמה הראשונה, בקצב שלך. אפשר לעצור, לחזור ולדלג על מה שכבר ידוע.
- צריך ידע קודם?
- לא ברמת המתחילים. בתחילת השיעור הראשון המורה בודק מה כבר ידוע ומתאים את הרמה, ואפשר להתחיל ישר מרמה מתקדמת.
- איך מתחילים בחינם?
- נכנסים עם חשבון Google או עם קוד שנשלח למייל, כותבים שם וכיתה של הילד, והשיעור מתחיל מיד. כל משפחה מקבלת 45 דקות שיעור חינם, בכל מקצוע, לפי זמן השיעור בפועל, בלי כרטיס אשראי. אחר כך בוחרים מנוי בתשלום, ומבטלים בכל עת.
- על איזה מכשיר לומדים?
- בכל מחשב, טאבלט או טלפון עם דפדפן ומיקרופון. אפשר גם להתקין את האתר כאפליקציה במסך הבית.
רוצים לנסות?
נכנסים, כותבים שם וכיתה של הילד, והשיעור מתחיל. 45 דקות שיעור חינם, בלי כרטיס אשראי.
להתחיל בחינםשיעור פרטי עם AI: מה זה ואיך זה עובד







