45 דקות שיעור חינם · מתחילים עכשיו, בלי כרטיס אשראי
שיעור פרטי

שיעור פרטי בהערכה ובדיקה של אפליקציות LLM עם AI

לומדים לבדוק אפליקציות LLM: מסט בדיקות ראשון ועד ניטור, השוואת מודלים ובטיחות בייצור

שיעור חי 1:1 עם מורה AI

המורה: נועה

  • התוכנית עודכנה 11.2026
  • עברית, ועוד 5 שפות
  • 3 רמות
  • 35 שיעורים · כ־19 שעות של שיעורים

הערכה ובדיקה של אפליקציות LLM

לומדים לבדוק אפליקציות LLM: מסט בדיקות ראשון ועד ניטור, השוואת מודלים ובטיחות בייצור

12 שיעורים · 4 פרקים · שיעור חי פרטי עם המורה על הלוח

מה תדעו לעשות בסוף

  • להסביר במה בדיקת LLM שונה מ-unit test ולשייך כל תקלה לרכיב ולממד איכות
  • לתאר את ארבעת שלבי צינור ההערכה ולבחור ציינון: כלל, אדם או מודל
  • לנסח קריטריוני הצלחה מדידים וקריטריון מעבר ברור לשחרור
  • לכתוב מקרי בדיקה מובנים ולכסות בהם מקרים רגילים, קצה וקשים
  • להפוך כשלים אמיתיים מלוגים למקרי בדיקה תוך הגנה על פרטיות
  • לכתוב רובריקה לתיוג תשובות ולבדוק אם שני מתייגים מסכימים
  • למדוד נכונות בתשובות סגורות ונאמנות למקור על ידי פירוק לטענות
  • לקרוא דוח eval לפי פרוסות, שונות וגודל סט ולתכנן בדיקה לשינוי פרומפט

בסוף כל רמה המורה בודק שזה באמת ברור, לא רק שעברנו על החומר

הקורס כולל

  • שיעורים חיים 1:1 עם מורה פרטי AI על לוח
  • 19 שעות של שיעורים חיים אחד על אחד
  • 35 שיעורים על לוח משותף, כל אחד עם יעד ברור
  • תרגול ובדיקת הבנה בכל שיעור
  • סיכום אחרי כל שיעור, שנשמר בהיסטוריה
  • תעודת סיום לכל רמה
  • מחשב, טאבלט או טלפון
  • עברית, ועוד 5 שפות

תוכנית הקורס

3 רמות · 12 פרקים · 35 שיעורים · 19 שע׳ 5 דק׳ בסך הכול

מתחיליםמתחילים: למה ואיך בודקים אפליקציית LLM4 פרקים • 12 שיעורים • 6 שע׳ 20 דק׳

הלומד/ת מבין/ה למה קשה לבדוק מודל, בונה סט בדיקות קטן לפיצ'ר, מגדיר/ה קריטריון מעבר ומודד/ת נכונות ונאמנות למקור.

  1. מודל מנטלי: מה זה בכלל לבדוק LLM3 שיעורים • 1 שע׳ 30 דק׳
    1. 1למה קשה לבדוק מודל שפהלהסביר במה בדיקת אפליקציית LLM שונה מ-unit test רגיל ולמה "נראה לי טוב" לא מספיק.שיעור ניסיוןכ־30 דק׳
    2. 2אנטומיה של אפליקציית LLM ומאיפה באות תקלותלפרק אפליקציית LLM לרכיבים ולשייך כל סוג תקלה לרכיב ולממד איכות.כ־30 דק׳
    3. 3צינור ההערכה: מקרה בדיקה עד דוחלתאר את ארבעת שלבי צינור ההערכה ולבחור לכל בדיקה סוג ציינון מתאים: כלל, אדם או מודל.כ־30 דק׳
  2. בניית סט בדיקות (Eval set)4 שיעורים • 2 שע׳ 5 דק׳
    1. 4קריטריוני הצלחה וקריטריון מעברלנסח לפיצ'ר קריטריוני הצלחה ספציפיים ומדידים וקריטריון מעבר ברור לשחרור.כ־30 דק׳
    2. 5כתיבת מקרי בדיקה וכיסוילכתוב מקרי בדיקה מובנים ולתכנן כיסוי של מקרים רגילים, קצה וקשים בסט קטן.כ־35 דק׳
    3. 6מאיפה מביאים מקרים: לוגים, סינתטי וניתוח שגיאותלבחור מקורות למקרי בדיקה, להגן על פרטיות, ולהפוך כשלים אמיתיים למקרים בסט.כ־30 דק׳
    4. 7תיוג אנושי ורובריקהלכתוב רובריקה ברורה לתיוג תשובות ולבדוק אם שני מתייגים מסכימים.כ־30 דק׳
  3. מדדים: נכונות ונאמנות למקור3 שיעורים • 1 שע׳ 35 דק׳
    1. 8נכונות בתשובות סגורות ופורמטלמדוד נכונות בתשובות סגורות עם התאמה מדויקת, נרמול ובדיקות פורמט בקוד.כ־30 דק׳
    2. 9מדדים לטקסט פתוחלהבין את המגבלות של מדדי חפיפה ולבחור בין דמיון סמנטי, בדיקת תכונות ורובריקה לטקסט פתוח.כ־30 דק׳
    3. 10נאמנות למקור והזיותלבדוק אם תשובה נאמנה למסמכי המקור על ידי פירוק לטענות, ולהבחין בינה לבין רלוונטיות ושליפה.כ־35 דק׳
  4. מתוצאות להחלטה2 שיעורים • 1 שע׳ 10 דק׳
    1. 11קריאת תוצאות: פרוסות, שונות וניתוח כשליםלקרוא דוח eval נכון: לפרק לפרוסות, להתחשב בשונות ובגודל הסט ולזהות דפוסי כשל.כ־30 דק׳
    2. 12פרויקט מסכם: eval קטן לפיצ'ר אמיתילתכנן מקצה לקצה סט בדיקות, מדדים וקריטריון מעבר לפיצ'ר, ולהסביר איך בודקים שינוי פרומפט לפני שחרור.כ־40 דק׳
ממשיכיםממשיכים: LLM כשופט, רגרסיה ובדיקות אדומות4 פרקים • 12 שיעורים • 6 שע׳ 40 דק׳

הלומד/ת בונה שופט LLM מאומת מול תיוג אנושי, מריץ שער רגרסיה לשינוי פרומפט עם בדיקה סטטיסטית, ומתכנן סט בדיקות אדומות הגנתי לאפליקציה שלו.

ממופה למבחן: ללא מבחן רשמי; המבנה נשען על OWASP Top 10 for LLM Applications ועל NIST AI 600-1 (Generative AI Profile)

  1. LLM כשופט4 שיעורים • 2 שע׳ 10 דק׳
    1. 1מתי ואיך מודל שופט מודללבחור מתי שופט LLM מתאים במקום כלל או אדם, ולזהות את סוגי השיפוט העיקריים.כ־30 דק׳
    2. 2כתיבת פרומפט לשופטלכתוב פרומפט שופט עם קריטריון אחד ברור, ציון בינארי, נימוק לפני ציון ופלט מובנה.כ־35 דק׳
    3. 3השוואה זוגית והטיות של שופטיםלהריץ השוואה זוגית בין שתי גרסאות ולנטרל הטיות מוכרות של שופט LLM.כ־30 דק׳
    4. 4אימות השופט מול תיוג אנושילמדוד הסכמה בין שופט LLM לתיוג אנושי ולשפר את השופט עד שהוא אמין מספיק.כ־35 דק׳
  2. הערכת רכיבים: RAG וסוכנים2 שיעורים • 1 שע׳ 10 דק׳
    1. 5הערכת RAG: אחזור מול יצירהלפרק כשל של מערכת RAG לשלב האחזור או לשלב היצירה ולמדוד כל אחד בנפרד.כ־35 דק׳
    2. 6הערכת שיחות מרובות תורות וקריאות לכליםלבנות מקרי בדיקה לסוכן שמשתמש בכלים, ולבדוק גם את מצב הסיום וגם את מסלול הקריאות.כ־35 דק׳
  3. בדיקות רגרסיה לפרומפטים3 שיעורים • 1 שע׳ 35 דק׳
    1. 7שער רגרסיה: בסיס, גרסאות והשוואהלהריץ שינוי פרומפט מול baseline, לזהות מקרים שהתהפכו ולהחליט לפי כלל שנקבע מראש.כ־30 דק׳
    2. 8האם השיפור אמיתי? רעש וסטטיסטיקהלהבחין בין שיפור אמיתי לרעש באמצעות הרצות חוזרות, השוואה מזווגת ורווח סמך.כ־35 דק׳
    3. 9eval בתוך CI: שכבות, ספים ותקציבלתכנן הרצת evals אוטומטית ב-CI עם שכבות, ספים ותקציב זמן ועלות מתאים.כ־30 דק׳
  4. בדיקות אדומות ופרויקט מסכם3 שיעורים • 1 שע׳ 45 דק׳
    1. 10חשיבה אדומה: מפת הסיכונים של אפליקציית LLMלמפות את הסיכונים העיקריים של אפליקציית LLM שלך לפי OWASP ולקבוע מה בודקים קודם.כ־30 דק׳
    2. 11בניית סט בדיקות אדומות והפיכתו לרגרסיהלבנות סט בדיקות אדומות לאפליקציה שלך, למדוד שיעור הצלחת התקפה ולהוסיף ממצאים לשער הרגרסיה.כ־35 דק׳
    3. 12פרויקט מסכם: תוכנית שחרור לשינוי פרומפטלתכנן מקצה לקצה בדיקה של שינוי פרומפט: שופט מאומת, שער רגרסיה, סט אדום והחלטת שחרור.כ־40 דק׳
מתקדמיםהערכת LLM בייצור: ניטור, השוואת מודלים, הטיות ובטיחות4 פרקים • 11 שיעורים • 6 שע׳ 5 דק׳

הלומד מתכנן אסטרטגיית הערכה מלאה לפיצ'ר LLM בייצור: ניטור ואזעקות, השוואת מודלים לפי איכות, עלות ו-latency, בדיקות הטיה ובטיחות, ודוח הערכה שעומד בדרישות ממשל תאגידי.

  1. ניטור בייצור4 שיעורים • 2 שע׳ 5 דק׳
    1. 1מ-eval מקוון לייצור: tracing ומה לתעדתתכנן מה לתעד בכל קריאה לאפליקציית LLM כדי שאפשר יהיה לחקור תקלה, בלי להפר פרטיות.כ־30 דק׳
    2. 2מדדי איכות מקוונים: משוב, דגימה ושופט בייצורתבנה דשבורד איכות לייצור שמשלב משוב משתמשים, מדדים עקיפים ושופט LLM על מדגם.כ־30 דק׳
    3. 3סחיפה, אזעקות ותגובה לתקלהתזהה סוגי סחיפה באפליקציית LLM, תגדיר ספי אזעקה הגיוניים ותתאר תגובה מסודרת לתקלת איכות.כ־35 דק׳
    4. 4סוגרים את המעגל: מייצור לסט הבדיקות וניסויי A/Bתהפוך כשלים מייצור למקרי בדיקה ותתכנן ניסוי A/B שמכריע בין שתי גרסאות פרומפט.כ־30 דק׳
  2. השוואת מודלים ועלויות3 שיעורים • 1 שע׳ 40 דק׳
    1. 5השוואת מודלים: benchmarks ציבוריים מול eval שלךתדע לקרוא benchmark ציבורי בביקורתיות ולבנות השוואת מודלים הוגנת על המשימה שלך.כ־30 דק׳
    2. 6עלות ו-latency כממדי איכותתחשב עלות למשימה מוצלחת ו-latency באחוזונים, ותבחר מודל על חזית פארטו של איכות-עלות-מהירות.כ־35 דק׳
    3. 7ניתוב, cache ומעבר מודל בבטחהתעריך ארכיטקטורת ניתוב או cache ותתכנן מעבר ממודל למודל עם שער רגרסיה ובדיקה בייצור.כ־35 דק׳
  3. הטיות ובטיחות2 שיעורים • 1 שע׳ 10 דק׳
    1. 8בדיקת הטיות: מבחנים קונטרה-פקטואליים ופעריםתבנה סט בדיקות קונטרה-פקטואלי ותמדוד פערי איכות בין קבוצות משתמשים באפליקציה שלך.כ־35 דק׳
    2. 9הערכת בטיחות: סירוב יתר, סירוב חסר ו-guardrailsתמדוד בטיחות כאיזון בין סירוב חסר לסירוב יתר ותעריך מסווג guardrail לפי precision ו-recall.כ־35 דק׳
  4. ממשל ופרויקט מסכם2 שיעורים • 1 שע׳ 10 דק׳
    1. 10דוח הערכה וממשל: NIST, EU AI Act ורגולציה בישראלתכתוב דוח הערכה שמשרת החלטת שחרור ועומד בדרישות תיעוד של מסגרות ממשל מרכזיות.כ־30 דק׳
    2. 11פרויקט מסכם: אסטרטגיית הערכה לפיצ'ר בייצורתציג אסטרטגיית הערכה מלאה לפיצ'ר: offline, שער רגרסיה, ניטור, עלויות, הטיות ובטיחות, עם ספים ובעלים.כ־40 דק׳

מה צריך

  • היכרות בסיסית עם עבודה מול מודל שפה, למשל דרך צ'אט או API
  • פיצ'ר או רעיון לאפליקציית LLM לעבוד עליו לאורך הקורס
  • מחשב, טאבלט או טלפון עם מיקרופון, ודפדפן

על הקורס

הקורס מלמד איך בודקים אפליקציית LLM בצורה שיטתית ולא לפי תחושה. שלוש רמות: מסט בדיקות ראשון ומדדי נכונות ונאמנות, דרך שופט LLM, שער רגרסיה ובדיקות אדומות, ועד ניטור, עלויות, הטיות ובטיחות בייצור. בכל שיעור עובדים על הפיצ'ר שלכם, על לוח משותף, צעד אחר צעד.

למי הקורס

  • מפתחים ומפתחות שמשלבים מודל שפה במוצר ורוצים לדעת שהוא עובד
  • מנהלי מוצר ואנשי איכות שאחראים על פיצ'ר מבוסס LLM
  • אנשי דאטה ו-ML שרוצים לעבור מ"נראה לי טוב" למדידה
  • מי שבונה פרומפטים ורוצה לשחרר שינויים בביטחון

מבחנים והסמכות

  • ממשיכים: ללא מבחן רשמי; המבנה נשען על OWASP Top 10 for LLM Applications ועל NIST AI 600-1 (Generative AI Profile)
  • בינה מלאכותית ולמידת מכונה

    עם נועם

    שיעור חי 1:1 עם מורה AIכ־19 שעות35 שיעורים3 רמות
  • להשתמש ב־AI בחוכמה

    עם נועם

    שיעור חי 1:1 עם מורה AIכ־12 שעות24 שיעורים2 רמות
  • למידת מכונה

    עם נועם

    שיעור חי 1:1 עם מורה AIכ־20 שעות36 שיעורים3 רמות
  • למידה עמוקה

    עם נועה

    שיעור חי 1:1 עם מורה AIכ־18 שעות34 שיעורים3 רמות
  • עיבוד שפה טבעית (NLP)

    עם נועם

    שיעור חי 1:1 עם מורה AIכ־20 שעות35 שיעורים3 רמות
  • ראייה ממוחשבת

    עם נועם

    שיעור חי 1:1 עם מורה AIכ־20 שעות36 שיעורים3 רמות
לכל הקורסים במסלול בינה מלאכותית

המורה שלך

נועהנועהמורה AI פרטי, בשיעור חי על לוח משותף

מורה AI פרטי שמלמד בשיחה חיה: שואל, מקשיב, מצייר על הלוח ונותן לפתור לבד עם רמזים. זוכר מה למדתם ומתחיל כל שיעור מהמקום שעצרתם.

איך נראה שיעור?

  • הילד מדבר עם המורה בקול, כמו בשיחת וידאו, ושואל מה שלא ברור.

  • המורה מסביר, כותב ומצייר על לוח משותף, והילד פותר איתו על אותו לוח.

  • אפשר לצלם דף עבודה או שיעורי בית וללמוד ממנו, תרגיל אחרי תרגיל.

  • ההורה מקבל דוח: זמן לימוד, מה הצליח ומה כדאי לחזק.

כללי השיעור

  • רק לימוד
  • אבטחה והגנה בלבד

שאלות נפוצות

איך עובד שיעור פרטי בהערכה ובדיקה של אפליקציות LLM?
בוחרים הערכה ובדיקה של אפליקציות LLM ורמה, ומדברים עם המורה בקול. המורה שואל מה כבר ידוע, מסביר, כותב ומצייר על הלוח, ונותן לפתור לבד עם רמזים עד שהעניין ברור.
כמה זמן לוקח הקורס הערכה ובדיקה של אפליקציות LLM?
12 שיעורים של כ־32 דקות ברמה הראשונה, בקצב שלך. אפשר לעצור, לחזור ולדלג על מה שכבר ידוע.
צריך ידע קודם?
לא ברמת המתחילים. בתחילת השיעור הראשון המורה בודק מה כבר ידוע ומתאים את הרמה, ואפשר להתחיל ישר מרמה מתקדמת.
איך מתחילים בחינם?
נכנסים עם חשבון Google או עם קוד שנשלח למייל, כותבים שם וכיתה של הילד, והשיעור מתחיל מיד. כל משפחה מקבלת 45 דקות שיעור חינם, בכל מקצוע, לפי זמן השיעור בפועל, בלי כרטיס אשראי. אחר כך בוחרים מנוי בתשלום, ומבטלים בכל עת.
על איזה מכשיר לומדים?
בכל מחשב, טאבלט או טלפון עם דפדפן ומיקרופון. אפשר גם להתקין את האתר כאפליקציה במסך הבית.

רוצים לנסות?

נכנסים, כותבים שם וכיתה של הילד, והשיעור מתחיל. 45 דקות שיעור חינם, בלי כרטיס אשראי.

להתחיל בחינם

שיעור פרטי עם AI: מה זה ואיך זה עובד

הערכה ובדיקה של אפליקציות LLM45 הדקות הראשונות בחינם

שיעור פרטילהתחיל בחינם