Интерактивный учебник по ML и LLM
Интерактивный учебник для подготовки к собеседованиям: от линейной регрессии и статистики до трансформеров, RAG и AI-агентов. Каждая тема — объяснение простыми словами, интерактивная визуализация, вопросы с собеседований и мини-тест.
Основы машинного обучения
Фундамент: как модель учится на данных, линейная и логистическая регрессия, градиентный спуск, переобучение и регуляризация, метрики, деревья и ансамбли, кластеризация и снижение размерности.
- Что такое машинное обучение
- Типы обучения: с учителем, без и с подкреплением
- Линейная регрессия
- Градиентный спуск
- Логистическая регрессия и классификация
- Теорема Байеса и наивный Байес
- Переобучение и регуляризация
- Bias–variance: разложение ошибки
- Метрики качества
- Кросс-валидация и подбор гиперпараметров
- Деревья решений и ансамбли
- SVM и kernel trick
- kNN и кластеризация
- EM-алгоритм и смеси гауссиан (GMM)
- Снижение размерности и PCA
- Фичи и утечки данных (data leakage)
- Временные ряды и прогнозирование
- Обучение с подкреплением: Q-learning и PPO
Статистика для ML
Статистика, без которой нельзя честно сравнивать модели: выборки и центральная предельная теорема, стандартная ошибка, доверительные интервалы с калькулятором, p-value и проверка гипотез.
Нейронные сети
Нейронные сети от одного нейрона до свёрточных и рекуррентных архитектур: функции активации, обратное распространение ошибки, оптимизаторы, батчи, dropout и batchnorm.
Языковые модели: от n-грамм до трансформера
Как модели работают с текстом: n-граммы, токенизация и BPE, эмбеддинги и word2vec, механизм внимания, архитектура трансформера и современные блоки RoPE, GQA и MoE.
LLM: обучение и инференс
Жизненный цикл большой языковой модели: претрейнинг и scaling laws, fine-tuning и LoRA, RLHF и DPO, reasoning-модели, сэмплирование, инференс, дистилляция, оценка и работа с контекстом.
- Претрейнинг и scaling laws
- Fine-tuning: SFT, LoRA, PEFT
- Alignment: RLHF и DPO
- Reasoning-модели и test-time compute
- Сэмплирование: temperature, top-k, top-p
- Инференс: KV-cache, квантизация, спекулятивный декодинг
- Дистилляция и сжатие моделей
- Оценка LLM: бенчмарки и LLM-as-judge
- Работа с контекстом и разметка сообщений
- Промпт-паттерны и structured outputs
Мультимодальные модели
Модели за пределами текста: как LLM видят изображения и слышат речь, omni-модели, OCR, а также генерация картинок и видео от VAE и GAN до диффузионных моделей.
Железо и развёртывание
Железо и развёртывание: видеокарты и расчёт VRAM, распределённое обучение DP, TP, PP и ZeRO, выбор между локальными моделями, облаком и API.
Агенты и инструменты
AI-агенты на практике: tool calling, агентный цикл и критерий остановки, память и планирование, мультиагентные системы, протокол MCP и оценка агентов.
RAG: поиск + генерация
RAG от идеи до продакшна: векторный поиск и ANN-индексы, векторные базы, чанкинг, гибридный поиск и реранкинг, MMR, обучение эмбеддинг-моделей и оценка качества.
Продакшн и качество
ML в продакшне: дизайн ML-систем на собеседовании, рекомендательные системы и ранжирование, мониторинг и дрифт, A/B-тесты, безопасность и guardrails.