45 דקות שיעור חינם · מתחילים עכשיו, בלי כרטיס אשראי
שיעור פרטי

שיעור פרטי בתשתיות AI: GPU, הסקה ועלויות עם AI

להבין איך מודלי AI רצים על GPU, לחשב זיכרון, השהיה ועלות, ולהגיש מודל בצורה יעילה ויציבה

שיעור חי 1:1 עם מורה AI

המורה: נועם

  • התוכנית עודכנה 11.2026
  • עברית, ועוד 5 שפות
  • 3 רמות
  • 36 שיעורים · כ־20 שעות של שיעורים

תשתיות AI: GPU, הסקה ועלויות

להבין איך מודלי AI רצים על GPU, לחשב זיכרון, השהיה ועלות, ולהגיש מודל בצורה יעילה ויציבה

12 שיעורים · 4 פרקים · שיעור חי פרטי עם המורה על הלוח

מה תדעו לעשות בסוף

  • להסביר מהם weights ופרמטרים ולמה הרצת מודל היא בעיקר כפל מטריצות
  • לתאר איך מודל שפה הופך טקסט ל-tokens ומייצר תשובה token אחרי token
  • להסביר למה כפל מטריצות מתאים ל-GPU ואיטי יחסית ב-CPU
  • להעריך כמה FLOPs נדרשים לייצור token אחד ולהשוות לקצב של GPU
  • להבחין בין מגבלת חישוב למגבלת זיכרון ולהסביר מה קובע את מהירות ה-decode
  • להשוות אימון והסקה בחישוב, בזיכרון ובתדירות, ולשרטט את מסלול בקשה עד ה-GPU
  • לחשב כמה GB תופסים ה-weights ולהעריך את צריכת הזיכרון של KV cache
  • לחשב זיכרון אימון ולבחור דרך לחלק מודל גדול בין כמה GPUs

בסוף כל רמה המורה בודק שזה באמת ברור, לא רק שעברנו על החומר

הקורס כולל

  • שיעורים חיים 1:1 עם מורה פרטי AI על לוח
  • 20 שעות של שיעורים חיים אחד על אחד
  • 36 שיעורים על לוח משותף, כל אחד עם יעד ברור
  • תרגול ובדיקת הבנה בכל שיעור
  • סיכום אחרי כל שיעור, שנשמר בהיסטוריה
  • תעודת סיום לכל רמה
  • מחשב, טאבלט או טלפון
  • עברית, ועוד 5 שפות

תוכנית הקורס

3 רמות · 10 פרקים · 36 שיעורים · 19 שע׳ 35 דק׳ בסך הכול

מתחיליםמתחילים: GPU, אימון מול הסקה וזיכרון4 פרקים • 12 שיעורים • 6 שע׳ 30 דק׳

הלומד מבין מה מודל עושה בחומרה, למה צריך GPU, מה ההבדל בין אימון להסקה, ומחשב בעצמו כמה זיכרון וחישוב מודל צריך.

  1. מה קורה בתוך מודל2 שיעורים • 1 שע׳
    1. 1מודל הוא בעצם הרבה מספרים: פרמטרים ומטריצותלהסביר מה הם weights ופרמטרים, ולמה הרצת מודל היא בעיקר כפל מטריצות.שיעור ניסיוןכ־30 דק׳
    2. 2Tokens: איך מודל שפה מייצר טקסטלתאר איך LLM הופך טקסט ל-tokens ומייצר תשובה token אחרי token.כ־30 דק׳
  2. למה AI צריך GPU3 שיעורים • 1 שע׳ 40 דק׳
    1. 3CPU מול GPU: מעט ליבות חכמות מול אלפי ליבות פשוטותלהסביר למה כפל מטריצות מתאים ל-GPU ולמה CPU איטי בו.כ־30 דק׳
    2. 4FLOPs: לספור כמה חישוב מודל צריךלהעריך כמה FLOPs צריך כדי לייצר token אחד ולהשוות לקצב של GPU.כ־35 דק׳
    3. 5בתוך ה-GPU: ליבות, HBM ורוחב פס זיכרוןלהבחין בין מגבלת חישוב למגבלת זיכרון ולהסביר למה רוחב פס זיכרון קובע את מהירות ה-decode.כ־35 דק׳
  3. אימון מול הסקה3 שיעורים • 1 שע׳ 40 דק׳
    1. 6אימון: איך מודל לומד את ה-weights שלולתאר את לולאת האימון ולהסביר למה אימון כבד בהרבה מהרצה רגילה.כ־35 דק׳
    2. 7אימון מול הסקה: חד-פעמי מול כל בקשהלהשוות אימון והסקה בחישוב, בזיכרון ובתדירות, ולהעריך את החישוב של כל אחד.כ־35 דק׳
    3. 8המסע של בקשה: מפת ה-serving stackלשרטט את מסלול הבקשה מהמשתמש ועד ה-GPU ולהסביר את תפקיד כל רכיב.כ־30 דק׳
  4. זיכרון ומודלים גדולים4 שיעורים • 2 שע׳ 10 דק׳
    1. 9כמה זיכרון צריך כדי להחזיק מודללחשב כמה GB תופסים ה-weights של מודל לפי מספר הפרמטרים ופורמט המספרים.כ־30 דק׳
    2. 10זיכרון בזמן הסקה: KV cache ואורך הקשרלהסביר מה זה KV cache ולהעריך איך אורך ההקשר ומספר המשתמשים מגדילים את צריכת הזיכרון.כ־35 דק׳
    3. 11זיכרון באימון: למה אימון צריך פי כמהלחשב את זיכרון האימון כולל gradients ו-optimizer states ולהסביר למה אימון דורש הרבה GPUs.כ־30 דק׳
    4. 12כשמודל לא נכנס ל-GPU אחד: חלוקה לכמה GPUsלהסביר שלוש דרכים לחלק עבודה בין GPUs ולבחור את המתאימה למודל ולמשימה נתונים.כ־35 דק׳
ממשיכיםממשיכים: הגשה יעילה — batching, קוונטיזציה וענן מול מקומי3 פרקים • 12 שיעורים • 6 שע׳ 30 דק׳

הלומד מסביר מאיפה מגיעה ההשהיה בהסקה, משתמש ב-batching ובקוונטיזציה כדי להגדיל throughput, ומחליט בעזרת נתונים אם להריץ מודל בענן או מקומית.

ממופה למבחן: NVIDIA-Certified Associate: AI Infrastructure and Operations (NCA-AIIO), ברמת ההבנה; אין בחינה ישראלית רשמית

  1. השהיה ו-throughput: מאיפה הזמן הולך5 שיעורים • 2 שע׳ 40 דק׳
    1. 1Prefill מול decode: שני השלבים של כל בקשהתפרק/י זמן תגובה של מודל שפה ל-TTFT ולזמן לכל token, ותדע/י איזה שלב שולט בכל סוג בקשה.כ־30 דק׳
    2. 2למה decode איטי: memory-bound ו-arithmetic intensityתסביר/י למה decode מוגבל ברוחב פס הזיכרון ותעריך/י tokens לשנייה מגודל המודל ומ-bandwidth.כ־35 דק׳
    3. 3Batching: לקרוא את ה-weights פעם אחת לכמה בקשותתסביר/י איך batching מעלה throughput ותזהה/י את המחיר שלו בהשהיה לכל משתמש.כ־30 דק׳
    4. 4Continuous batching ותור הבקשותתתאר/י איך scheduler מכניס ומוציא בקשות בכל צעד decode ומה מגביל את גודל ה-batch בפועל.כ־35 דק׳
    5. 5ניהול זיכרון ה-KV cache: PagedAttentionתסביר/י איך חלוקת ה-KV cache לבלוקים מצמצמת בזבוז זיכרון ומאפשרת batch גדול יותר.כ־30 דק׳
  2. להקטין ולהאיץ: קוונטיזציה ומנועי הגשה4 שיעורים • 2 שע׳ 10 דק׳
    1. 6קוונטיזציה: מ-FP16 ל-INT8 ו-INT4תסביר/י איך ממפים מספרים ל-bits מעטים ותחשב/י כמה זיכרון ומהירות decode זה חוסך.כ־35 דק׳
    2. 7קוונטיזציה בפועל: שיטות, פורמטים ובדיקת איכותתבחר/י שיטת קוונטיזציה מתאימה לעומס נתון ותתכנן/י איך לוודא שהאיכות לא נפגעה.כ־35 דק׳
    3. 8Speculative decoding ועוד דרכים להאיץ decodeתסביר/י איך מודל טיוטה קטן מאיץ decode בלי לשנות את הפלט ומתי זה כדאי.כ־30 דק׳
    4. 9מנועי הגשה: vLLM, TensorRT-LLM ו-SGLangתשווה/י בין מנועי הגשה ותכוון/י את הפרמטרים המרכזיים שלהם לעומס נתון.כ־30 דק׳
  3. איפה להריץ: ענן מול מקומי ותכנון קיבולת3 שיעורים • 1 שע׳ 40 דק׳
    1. 10אפשרויות ההרצה: API מנוהל, GPU בענן ושרת מקומיתמפה/י את אפשרויות ההרצה ותתאים/י אחת לכל דרישה של שליטה, פרטיות, זמינות וגמישות.כ־30 דק׳
    2. 11תכנון קיבולת: כמה GPUs צריך לתנועה נתונהתחשב/י כמה GPUs נדרשים לעמוס נתון ולעמוד ב-SLO של השהיה, כולל שיא.כ־35 דק׳
    3. 12ענן או מקומי: נקודת האיזון לפי ניצולתתשווה/י עלות כוללת של ענן מול חומרה מקומית ותמצא/י באיזו ניצולת משתלם לעבור.כ־35 דק׳
מתקדמיםתשתיות AI מתקדמים: עלות, מטמון וניטור בייצור3 פרקים • 12 שיעורים • 6 שע׳ 35 דק׳

הלומד/ת מעריך/ה עלות והשהיה של שירות AI בייצור לתנועה נתונה, מוריד/ה אותן בעזרת מטמון וניתוב, ובונה ניטור, SLO והתראות שמחזיקים את המערכת יציבה.

  1. כלכלת הסקה: עלות לבקשה4 שיעורים • 2 שע׳ 10 דק׳
    1. 1משעת GPU למחיר למיליון tokensתמיר/י מחיר שעת GPU ו-throughput לעלות למיליון tokens, ותבין/י איך ניצולת משנה אותה.כ־30 דק׳
    2. 2עלות לבקשה: tokens נכנסים, יוצאים ושיחות ארוכותתחשב/י עלות של בקשה בודדת ושל שיחה מרובת סבבים, כולל היסטוריה, system prompt וקריאות של agent.כ־30 דק׳
    3. 3מודל עלות למוצר: משתמשים, שיא ומרווחתבנה/י מודל עלות חודשי למוצר AI מתוך מספר משתמשים ודפוס שימוש, ותשווה/י אותו להכנסה למשתמש.כ־35 דק׳
    4. 4להוריד עלות: ניתוב מודלים, קיצור ועבודה ב-batchתזהה/י את מנופי העלות העיקריים — ניתוב למודל קטן, קיצור prompt ו-output, ועיבוד offline — ותעריך/י את החיסכון של כל אחד.כ־35 דק׳
  2. מטמון ותגובה מהירה4 שיעורים • 2 שע׳ 10 דק׳
    1. 5תקציב השהיה: TTFT, TPOT ואחוזוניםתפרק/י זמן תגובה של בקשה לרכיביו, תגדיר/י יעד p99 ותסביר/י למה streaming משנה את התחושה.כ־30 דק׳
    2. 6Prefix caching: לא לחשב פעמיים את אותה התחלהתסביר/י איך שימוש חוזר ב-KV cache של prefix משותף מקצר TTFT ומוזיל input, ותבנה/י prompt שממקסם hit rate.כ־35 דק׳
    3. 7מטמון תשובות: exact match ו-semantic cacheתחליט/י מתי לשמור תשובות שלמות במטמון, תבחר/י סף דמיון ל-semantic cache ותזהה/י את סיכוני הדליפה והתשובה השגויה.כ־30 דק׳
    4. 8ניתוב, autoscaling ו-cold startתתכנן/י ניתוב בקשות בין replicas שמנצל prefix cache, ותגדיר/י autoscaling שמתמודד עם זמן טעינת מודל.כ־35 דק׳
  3. ניטור והפעלה בייצור4 שיעורים • 2 שע׳ 15 דק׳
    1. 9מדדי מערכת הגשה: מה באמת למדודתבנה/י dashboard למערכת הגשת LLM ותדע/י לקרוא ממנו אם הבעיה בתור, בזיכרון או ב-GPU.כ־30 דק׳
    2. 10ניטור עלות ואיכות: מי צורך tokens ומה הם שוויםתייחס/י עלות לפיצ'ר וללקוח, תזהה/י חריגות צריכה ותגדיר/י בדיקת איכות רציפה בלי לפגוע בפרטיות.כ־30 דק׳
    3. 11SLO, התראות ותקלות נפוצותתגדיר/י SLO ו-error budget לשירות AI, תכתוב/י התראות על סימפטומים ותכיר/י את התקלות הנפוצות ואת ה-fallback לכל אחת.כ־35 דק׳
    4. 12תרגיל מסכם: לתכנן, לתמחר ולנטר שירות AIתעריך/י מקצה לקצה עלות והשהיה של שירות AI לתנועה נתונה, תציע/י שתי דרכים להוזיל ולהאיץ, ותגדיר/י תוכנית ניטור.כ־40 דק׳

מה צריך

  • אין צורך בידע קודם בחומרה או ב-GPU
  • היכרות בסיסית עם חשבון ופעולות על מספרים; כפל מטריצות יוסבר בשיעור
  • מחשב, טאבלט או טלפון עם מיקרופון, ודפדפן

על הקורס

הקורס עובר מהיסודות של חומרה למודלים, דרך הגשה יעילה, ועד עלות וניטור של שירות AI בייצור. הוא בנוי בשלוש רמות: מתחילים, ממשיכים ומתקדמים. בכל שיעור מחשבים בעצמכם על הלוח המשותף, עם מספרים אמיתיים של מודלים ו-GPUs, ולא רק קוראים הסברים.

למי הקורס

  • מפתחים ומפתחות שמריצים או מתכננים להריץ מודלי שפה
  • מי שרוצה להבין מה קורה מתחת ל-API של מודל
  • אנשי DevOps ותשתיות שנכנסים לעולם ה-AI
  • מי שאחראי על תקציב או החלטות טכנולוגיות במוצר מבוסס AI

מבחנים והסמכות

  • ממשיכים: NVIDIA-Certified Associate: AI Infrastructure and Operations (NCA-AIIO), ברמת ההבנה; אין בחינה ישראלית רשמית
  • בינה מלאכותית ולמידת מכונה

    עם נועם

    שיעור חי 1:1 עם מורה AIכ־19 שעות35 שיעורים3 רמות
  • להשתמש ב־AI בחוכמה

    עם נועם

    שיעור חי 1:1 עם מורה AIכ־12 שעות24 שיעורים2 רמות
  • למידת מכונה

    עם נועם

    שיעור חי 1:1 עם מורה AIכ־20 שעות36 שיעורים3 רמות
  • למידה עמוקה

    עם נועה

    שיעור חי 1:1 עם מורה AIכ־18 שעות34 שיעורים3 רמות
  • עיבוד שפה טבעית (NLP)

    עם נועם

    שיעור חי 1:1 עם מורה AIכ־20 שעות35 שיעורים3 רמות
  • ראייה ממוחשבת

    עם נועם

    שיעור חי 1:1 עם מורה AIכ־20 שעות36 שיעורים3 רמות
לכל הקורסים במסלול בינה מלאכותית

המורה שלך

נועםנועםמורה AI פרטי, בשיעור חי על לוח משותף

מורה AI פרטי שמלמד בשיחה חיה: שואל, מקשיב, מצייר על הלוח ונותן לפתור לבד עם רמזים. זוכר מה למדתם ומתחיל כל שיעור מהמקום שעצרתם.

איך נראה שיעור?

  • הילד מדבר עם המורה בקול, כמו בשיחת וידאו, ושואל מה שלא ברור.

  • המורה מסביר, כותב ומצייר על לוח משותף, והילד פותר איתו על אותו לוח.

  • אפשר לצלם דף עבודה או שיעורי בית וללמוד ממנו, תרגיל אחרי תרגיל.

  • ההורה מקבל דוח: זמן לימוד, מה הצליח ומה כדאי לחזק.

כללי השיעור

  • רק לימוד

שאלות נפוצות

איך עובד שיעור פרטי בתשתיות AI: GPU, הסקה ועלויות?
בוחרים תשתיות AI: GPU, הסקה ועלויות ורמה, ומדברים עם המורה בקול. המורה שואל מה כבר ידוע, מסביר, כותב ומצייר על הלוח, ונותן לפתור לבד עם רמזים עד שהעניין ברור.
כמה זמן לוקח הקורס תשתיות AI: GPU, הסקה ועלויות?
12 שיעורים של כ־33 דקות ברמה הראשונה, בקצב שלך. אפשר לעצור, לחזור ולדלג על מה שכבר ידוע.
צריך ידע קודם?
לא ברמת המתחילים. בתחילת השיעור הראשון המורה בודק מה כבר ידוע ומתאים את הרמה, ואפשר להתחיל ישר מרמה מתקדמת.
איך מתחילים בחינם?
נכנסים עם חשבון Google או עם קוד שנשלח למייל, כותבים שם וכיתה של הילד, והשיעור מתחיל מיד. כל משפחה מקבלת 45 דקות שיעור חינם, בכל מקצוע, לפי זמן השיעור בפועל, בלי כרטיס אשראי. אחר כך בוחרים מנוי בתשלום, ומבטלים בכל עת.
על איזה מכשיר לומדים?
בכל מחשב, טאבלט או טלפון עם דפדפן ומיקרופון. אפשר גם להתקין את האתר כאפליקציה במסך הבית.

רוצים לנסות?

נכנסים, כותבים שם וכיתה של הילד, והשיעור מתחיל. 45 דקות שיעור חינם, בלי כרטיס אשראי.

להתחיל בחינם

שיעור פרטי עם AI: מה זה ואיך זה עובד

תשתיות AI: GPU, הסקה ועלויות45 הדקות הראשונות בחינם

שיעור פרטילהתחיל בחינם