45 минут бесплатного урока · Начните сейчас, без карты
Shiur Prati

Частный урок с ИИ: Оценка и тестирование LLM-приложений

Оценка и тестирование LLM-приложений в живом частном уроке: преподаватель говорит с ребёнком вслух, объясняет на общей доске и идёт в темпе ученика, урок за уроком, по понятной программе.

Живой индивидуальный урок 1:1 с ИИ-учителем

Преподаватель: Noa

  • Программа обновлена 11.2026
  • Иврит и ещё 5 языков
  • 3 уровня
  • 35 уроков · около 19 часов занятий

Оценка и тестирование LLM-приложений

Оценка и тестирование LLM-приложений в живом частном уроке: преподаватель говорит с ребёнком вслух, объясняет на общей доске и идёт в темпе ученика, урок за уроком, по понятной программе.

12 уроков · 4 разделов · личный живой урок с учителем у доски

Чему вы научитесь

  • Ментальная модель: что значит оценить LLM
  • Создание набора для оценки (eval set)
  • Метрики: корректность и верность источнику
  • От результатов к решениям
  • LLM как судья
  • Оценка компонентов: RAG и агенты
  • Регрессионное тестирование промптов
  • Red-team тестирование и итоговый проект
  • Мониторинг в продакшене
  • Сравнение моделей и стоимость
  • Предубеждения и безопасность
  • Управление и итоговый проект

В курс входит

  • Живые уроки 1:1 с ИИ-учителем на доске
  • 19 часов живых индивидуальных уроков
  • 35 уроков на общей доске, и в каждом есть понятная цель
  • Практика и проверка понимания на каждом уроке
  • Краткое резюме после каждого урока, которое сохраняется в истории
  • Сертификат об окончании каждого уровня
  • Компьютер, планшет или телефон
  • Иврит и ещё 5 языков

Программа курса

3 уровня · 12 глав · 35 уроков · Всего: 19 ч 5 мин

Для начинающихДля начинающих: зачем и как оценивать LLM-приложение4 главы • 12 уроков • 6 ч 20 мин
  1. Ментальная модель: что значит оценить LLM3 урока • 1 ч 30 мин
    1. 1Почему тестировать языковую модель сложноПробный урококоло 30 мин
    2. 2Устройство LLM-приложения и где в нём возникают сбоиоколо 30 мин
    3. 3Конвейер оценки: от тест-кейса до отчётаоколо 30 мин
  2. Создание набора для оценки (eval set)4 урока • 2 ч 5 мин
    1. 4Критерии успеха и критерии прохожденияоколо 30 мин
    2. 5Написание тест-кейсов и покрытиеоколо 35 мин
    3. 6Где брать кейсы: логи, синтетика, анализ ошибококоло 30 мин
    4. 7Ручная разметка и рубрикиоколо 30 мин
  3. Метрики: корректность и верность источнику3 урока • 1 ч 35 мин
    1. 8Корректность закрытых ответов и форматоколо 30 мин
    2. 9Метрики для открытого текстаоколо 30 мин
    3. 10Верность источнику, обоснованность и галлюцинацииоколо 35 мин
  4. От результатов к решениям2 урока • 1 ч 10 мин
    1. 11Чтение результатов: срезы, разброс и анализ сбоевоколо 30 мин
    2. 12Итоговый проект: небольшая оценка для реальной функцииоколо 40 мин
Средний уровеньСредний уровень: LLM-судья, регрессии и red-team тесты4 главы • 12 уроков • 6 ч 40 мин

Соответствует экзамену: ללא מבחן רשמי; המבנה נשען על OWASP Top 10 for LLM Applications ועל NIST AI 600-1 (Generative AI Profile)

  1. LLM как судья4 урока • 2 ч 10 мин
    1. 1Когда и как модель оценивает модельоколо 30 мин
    2. 2Написание промпта для судьиоколо 35 мин
    3. 3Попарное сравнение и предубеждения судейоколо 30 мин
    4. 4Проверка судьи по ручной разметкеоколо 35 мин
  2. Оценка компонентов: RAG и агенты2 урока • 1 ч 10 мин
    1. 5Оценка RAG: поиск против генерацииоколо 35 мин
    2. 6Оценка многоходовых диалогов и вызова инструментовоколо 35 мин
  3. Регрессионное тестирование промптов3 урока • 1 ч 35 мин
    1. 7Регрессионный шлюз: базовая линия, версии, сравнениеоколо 30 мин
    2. 8Улучшение реальное? Шум и статистикаоколо 35 мин
    3. 9Оценки в CI: уровни, пороги и бюджетоколо 30 мин
  4. Red-team тестирование и итоговый проект3 урока • 1 ч 45 мин
    1. 10Мышление red-team: карта рисков LLM-приложенияоколо 30 мин
    2. 11Набор red-team тестов и превращение его в регрессиюоколо 35 мин
    3. 12Итоговый проект: план выпуска изменения промптаоколо 40 мин
Для продвинутыхОценка в продакшене: мониторинг, модели, предвзятость, безопасность4 главы • 11 уроков • 6 ч 5 мин
  1. Мониторинг в продакшене4 урока • 2 ч 5 мин
    1. 1От офлайн-оценки к продакшену: трассировка и логиоколо 30 мин
    2. 2Онлайн-метрики качества: обратная связь, выборка, судьиоколо 30 мин
    3. 3Дрейф, алерты и реагирование на инцидентыоколо 35 мин
    4. 4Замыкаем цикл: от продакшена к набору оценок и A/B тестамоколо 30 мин
  2. Сравнение моделей и стоимость3 урока • 1 ч 40 мин
    1. 5Сравнение моделей: публичные бенчмарки против своей оценкиоколо 30 мин
    2. 6Стоимость и задержка как измерения качестваоколо 35 мин
    3. 7Маршрутизация, кэш и безопасный переход на другую модельоколо 35 мин
  3. Предубеждения и безопасность2 урока • 1 ч 10 мин
    1. 8Тестирование предубеждений: контрфактуалы и метрики разрываоколо 35 мин
    2. 9Оценка безопасности: чрезмерные и недостаточные отказы, guardrailsоколо 35 мин
  4. Управление и итоговый проект2 урока • 1 ч 10 мин
    1. 10Отчёты об оценке и регулирование: NIST, EU AI Act, Израильоколо 30 мин
    2. 11Итоговый проект: стратегия оценки фичи в продакшенеоколо 40 мин

Что нужно

  • Для начального уровня знания не нужны: учитель проверит, что вы уже знаете, и начнёт оттуда
  • Для следующих уровней: материал предыдущего уровня (можно пропустить, если уже знаете)
  • Компьютер, планшет или телефон с микрофоном и браузер

Для кого курс

  • Для взрослых: для работы, учёбы, экзамена или просто из любопытства

Экзамены и сертификаты

  • Средний уровень: ללא מבחן רשמי; המבנה נשען על OWASP Top 10 for LLM Applications ועל NIST AI 600-1 (Generative AI Profile)
  • Пользоваться ИИ с умом

    с Noam

    Живой индивидуальный урок 1:1 с ИИ-учителемоколо 12 часов24 урока2 уровня
  • Машинное обучение

    с Noam

    Живой индивидуальный урок 1:1 с ИИ-учителемоколо 20 часов36 уроков3 уровня
  • Глубокое обучение

    с Noa

    Живой индивидуальный урок 1:1 с ИИ-учителемоколо 18 часов34 урока3 уровня
  • Компьютерное зрение

    с Noam

    Живой индивидуальный урок 1:1 с ИИ-учителемоколо 20 часов36 уроков3 уровня
  • Генеративный ИИ и промпт-инжиниринг

    с Noa

    Живой индивидуальный урок 1:1 с ИИ-учителемоколо 19 часов36 уроков3 уровня
Все курсы направления «Искусственный интеллект»

Ваш учитель

NoaNoaИИ-учитель, живой урок на общей доске

Персональный ИИ-учитель, который ведёт живой урок: спрашивает, слушает, рисует на доске и даёт решить самому с подсказками. Помнит, что вы проходили, и каждый урок начинается с того места, где вы остановились.

Как проходит урок?

  • Ребёнок разговаривает с учителем голосом, как по видеосвязи, и спрашивает всё, что непонятно.

  • Учитель объясняет, пишет и рисует на общей доске, а ребёнок решает вместе с ним на той же доске.

  • Можно сфотографировать рабочий лист или домашку и разобрать их задание за заданием.

  • Родитель получает отчёт: сколько времени ребёнок занимался, что получилось и что стоит подтянуть.

Правила урока

  • Только учёба
  • Только безопасность и защита

Частые вопросы

Как проходит урок по курсу «Оценка и тестирование LLM-приложений»?
Выбираете «Оценка и тестирование LLM-приложений» и уровень и говорите с учителем голосом. Учитель спрашивает, что уже знакомо, объясняет, пишет и рисует на доске и даёт решать самому с подсказками, пока всё не станет ясно.
Сколько времени занимает курс Оценка и тестирование LLM-приложений?
12 уроков по примерно 32 минут на первом уровне, в вашем темпе. Можно остановиться, вернуться или пропустить то, что уже известно.
Нужны предварительные знания?
Для начального уровня — нет. В начале первого урока учитель проверит, что уже известно, и подберёт уровень. Можно сразу начать с продвинутого.
Как начать бесплатно?
Войдите через аккаунт Google или по коду из письма, укажите имя и класс ребёнка, и урок сразу начнётся. Каждая семья получает 45 минут бесплатных уроков по любому предмету, считается фактическое время урока, без банковской карты. Потом можно выбрать платную подписку и отменить её в любой момент.
На каком устройстве заниматься?
На любом компьютере, планшете или телефоне с браузером и микрофоном. Сайт можно установить как приложение на главный экран.

Хотите попробовать?

Заходите, укажите имя и класс ребёнка, и урок начнётся. 45 минут урока бесплатно, без банковской карты.

Начать бесплатно

Shiur Prati с AI: что это и как работает

Оценка и тестирование LLM-приложенийПервые 45 минут бесплатно

Частный урокНачать бесплатно