# ml-book.com

> Бесплатный интерактивный учебник по машинному обучению и большим языковым моделям на русском языке: 74 темы в 10 разделах для подготовки к собеседованию AI-инженера. Каждая тема — объяснение простыми словами, интерактивная визуализация, ключевая мысль, подводные камни, вопросы с собеседований и тест. Учебник делается сообществом.

Как пользоваться: у каждой темы есть markdown-версия (ссылки ниже; та же страница отдаёт markdown по заголовку Accept: text/markdown). Полный текст всех тем одним файлом: https://ml-book.com/llms-full.txt. Каталог тем: https://ml-book.com/topics.json, глоссарий (515 терминов): https://ml-book.com/glossary.json. При цитировании указывайте ссылку на страницу темы.

## Основы машинного обучения

Фундамент: как модель учится на данных, линейная и логистическая регрессия, градиентный спуск, переобучение и регуляризация, метрики, деревья и ансамбли, кластеризация и снижение размерности.

- [Что такое машинное обучение](https://ml-book.com/t/intro-ml/index.md): Что такое машинное обучение простыми словами: чем отличается от обычного программирования, виды обучения, train/val/test и что такое обобщение.
- [Типы обучения: с учителем, без и с подкреплением](https://ml-book.com/t/learning-paradigms/index.md): Все алгоритмы ML отличает один вопрос: откуда берётся обучающий сигнал — то, по чему модель понимает, что она права или ошибается.
- [Линейная регрессия](https://ml-book.com/t/linear-regression/index.md): Линейная регрессия простыми словами: MSE, нормальное уравнение, градиентный спуск и типичные вопросы ML-собеседования с интерактивом.
- [Градиентный спуск](https://ml-book.com/t/gradient-descent/index.md): Градиентный спуск для собеседования: шаг, learning rate, локальные минимумы, batch/SGD и почему алгоритм обучает от регрессии до нейросетей.
- [Логистическая регрессия и классификация](https://ml-book.com/t/logistic-regression/index.md): Логистическая регрессия и классификация: сигмоида, кросс-энтропия, решающая граница и разбор типичных вопросов на ML-интервью.
- [Теорема Байеса и наивный Байес](https://ml-book.com/t/naive-bayes/index.md): Теорема Байеса — правило пересчёта вероятностей при появлении улик: prior, likelihood и posterior на примере медицинского теста.
- [Переобучение и регуляризация](https://ml-book.com/t/overfitting-regularization/index.md): Переобучение и регуляризация: train/val кривые, L1/L2, dropout, early stopping — как диагностировать и что отвечать на собеседовании.
- [Bias–variance: разложение ошибки](https://ml-book.com/t/bias-variance/index.md): Bias–variance tradeoff простыми словами: смещение, разброс, шум; почему простые модели недообучаются, а сложные переобучаются.
- [Метрики качества](https://ml-book.com/t/metrics/index.md): Метрики качества модели: accuracy vs precision/recall, F1, ROC-AUC, когда какая нужна и как не обмануть себя на собеседовании.
- [Кросс-валидация и подбор гиперпараметров](https://ml-book.com/t/cross-validation-tuning/index.md): Кросс-валидация (k-fold, nested CV) и подбор гиперпараметров: grid vs random search — как не завысить метрику на собеседовании.
- [Деревья решений и ансамбли](https://ml-book.com/t/trees-ensembles/index.md): Деревья решений и ансамбли: RF vs градиентный бустинг, overfitting деревьев и что спрашивают про табличные модели на собеседовании.
- [SVM и kernel trick](https://ml-book.com/t/svm-kernels/index.md): SVM (метод опорных векторов) — классификатор максимального зазора: границу определяют только опорные векторы, а kernel trick разделяет линейно неразделимое.
- [kNN и кластеризация](https://ml-book.com/t/clustering-knn/index.md): Два способа опереться на расстояния между объектами: kNN предсказывает по ближайшим соседям с метками, а k-means находит группы там, где меток нет вовсе.
- [EM-алгоритм и смеси гауссиан (GMM)](https://ml-book.com/t/em-gmm/index.md): Мягкая вероятностная кластеризация: вместо «эта точка в кластере №2» — «эта точка на 70% во втором и на 30% в третьем».
- [Снижение размерности и PCA](https://ml-book.com/t/dimensionality-pca/index.md): Реальные данные живут в сотнях и тысячах измерений, но полезная структура почти всегда умещается в нескольких.
- [Фичи и утечки данных (data leakage)](https://ml-book.com/t/feature-engineering/index.md): На табличных данных признаки (features) решают больше, чем выбор модели.
- [Временные ряды и прогнозирование](https://ml-book.com/t/time-series/index.md): Временные ряды простыми словами: тренд и сезонность, наивные бейзлайны, лаговые фичи, walk-forward валидация и почему random split — утечка.
- [Обучение с подкреплением: Q-learning и PPO](https://ml-book.com/t/reinforcement-learning/index.md): Как научить агента действовать в среде, где никто не показывает правильный ход, а есть лишь редкая награда.

## Статистика для ML

Статистика, без которой нельзя честно сравнивать модели: выборки и центральная предельная теорема, стандартная ошибка, доверительные интервалы с калькулятором, p-value и проверка гипотез.

- [Выборка, ЦПТ и стандартная ошибка](https://ml-book.com/t/sampling-clt/index.md): Центральная предельная теорема простыми словами: почему средние ложатся в колокол, стандартная ошибка σ/√n и правило 68–95–99.7. С симулятором.
- [Доверительные интервалы](https://ml-book.com/t/confidence-intervals/index.md): Доверительные интервалы простыми словами: формула x̄ ± t·s/√n, что значат 95 %, интервалы для долей, бутстреп, симуляция и калькулятор.
- [P-value и проверка гипотез](https://ml-book.com/t/p-value/index.md): P-value простыми словами: нулевая гипотеза, уровень значимости 0,05, ошибки I и II рода, одно- и двусторонние тесты. С интерактивом.

## Нейронные сети

Нейронные сети от одного нейрона до свёрточных и рекуррентных архитектур: функции активации, обратное распространение ошибки, оптимизаторы, батчи, dropout и batchnorm.

- [От нейрона к многослойному перцептрону](https://ml-book.com/t/perceptron-mlp/index.md): От нейрона к многослойному перцептрону простыми словами: линейный нейрон, нелинейность, скрытые слои и почему сеть умеет разделять сложные классы.
- [Функции активации](https://ml-book.com/t/activations/index.md): Активация — та самая нелинейность между слоями, без которой нейросеть схлопывается в линейную модель.
- [Обратное распространение ошибки](https://ml-book.com/t/backprop/index.md): Backprop простыми словами: цепное правило, градиенты по весам за один проход и почему без него нет обучения нейросетей и LLM.
- [Оптимизаторы: SGD, Momentum, Adam](https://ml-book.com/t/optimizers/index.md): Backprop выдал градиенты — но как именно делать шаг? От выбора оптимизатора зависит, будет модель учиться часами или неделями и сойдётся ли вообще.
- [Практика обучения: батчи, dropout, batchnorm](https://ml-book.com/t/training-practice/index.md): Формулу градиентного спуска знают все, но сети «не учатся» по десятку прозаичных причин: не тот learning rate, забытый warmup, нулевая инициализация.
- [Распознавание цифр из пикселей](https://ml-book.com/t/digits-mnist/index.md): MNIST — «hello world» компьютерного зрения: 70 000 рукописных цифр 28×28.
- [Свёрточные сети (CNN)](https://ml-book.com/t/cnn/index.md): Свёрточные нейросети (CNN) простыми словами: свёртка, локальность и разделяемые веса, пулинг, иерархия признаков и вопросы на собеседовании.
- [Рекуррентные сети (RNN, LSTM)](https://ml-book.com/t/rnn/index.md): До эпохи трансформеров последовательности — текст, речь, временные ряды — обрабатывали рекуррентные сети (recurrent neural networks, RNN).

## Языковые модели: от n-грамм до трансформера

Как модели работают с текстом: n-граммы, токенизация и BPE, эмбеддинги и word2vec, механизм внимания, архитектура трансформера и современные блоки RoPE, GQA и MoE.

- [Биграммы и n-граммы](https://ml-book.com/t/bigram-ngram/index.md): Биграммы и n-граммы простыми словами: таблица счётчиков пар, предсказание следующего токена, сглаживание, перплексия и почему это прообраз GPT.
- [Токенизация и BPE](https://ml-book.com/t/tokenization/index.md): Токенизация и BPE в LLM: почему модель видит номера, как это бьёт по цене/контексту и типичные вопросы про токенизаторы.
- [Эмбеддинги и word2vec](https://ml-book.com/t/embeddings/index.md): Эмбеддинги слов и текстов: word2vec, семантическая близость, роль в RAG и трансформерах — база для поиска и LLM-собеседований.
- [Механизм внимания (attention)](https://ml-book.com/t/attention/index.md): Механизм внимания (attention): query, key, value, self-attention и почему идея лежит в основе GPT и современных LLM.
- [Архитектура трансформера](https://ml-book.com/t/transformer/index.md): Архитектура трансформера: эмбеддинги, positional encoding, multi-head attention, MLP-блоки и путь токена до следующего слова.
- [Современные архитектуры: RoPE, MoE, GQA](https://ml-book.com/t/modern-architectures/index.md): RoPE, GQA и Mixture-of-Experts: как современные LLM (Llama, Mixtral, DeepSeek) улучшили классический трансформер — и что спрашивают на собеседовании.

## LLM: обучение и инференс

Жизненный цикл большой языковой модели: претрейнинг и scaling laws, fine-tuning и LoRA, RLHF и DPO, reasoning-модели, сэмплирование, инференс, дистилляция, оценка и работа с контекстом.

- [Претрейнинг и scaling laws](https://ml-book.com/t/pretraining/index.md): Претрейнинг и scaling laws: как из токенов интернета получается base model и почему размер считают по формуле, а не наугад.
- [Fine-tuning: SFT, LoRA, PEFT](https://ml-book.com/t/finetuning/index.md): Fine-tuning LLM: когда нужен SFT, чем LoRA/PEFT дешевле полного файнтюна и что ожидают услышать на собеседовании AI-инженера.
- [Alignment: RLHF и DPO](https://ml-book.com/t/alignment/index.md): Alignment LLM: RLHF, reward model и DPO — как из base model делают полезного ассистента и что спрашивают на собеседовании.
- [Reasoning-модели и test-time compute](https://ml-book.com/t/reasoning-models/index.md): Reasoning-модели простыми словами: chain-of-thought, RL с проверяемыми наградами, thinking-бюджет и когда test-time compute окупается.
- [Сэмплирование: temperature, top-k, top-p](https://ml-book.com/t/sampling/index.md): Сэмплирование в LLM: temperature, top-k и top-p — как из распределения выбрать токен. От этого зависит стиль текста; частый вопрос на собеседовании.
- [Инференс: KV-cache, квантизация, спекулятивный декодинг](https://ml-book.com/t/inference/index.md): Инференс LLM: KV-cache, квантизация и speculative decoding — куда уходит VRAM и как ускоряют генерацию токенов в проде.
- [Дистилляция и сжатие моделей](https://ml-book.com/t/distillation/index.md): Дистилляция моделей простыми словами: мягкие метки, температура softmax, дистилляция рассуждений для LLM, pruning и отличие от квантизации.
- [Оценка LLM: бенчмарки и LLM-as-judge](https://ml-book.com/t/llm-evals/index.md): У задачи «напиши письмо клиенту» нет единственного правильного ответа — поэтому оценивать LLM сложнее, чем классификатор.
- [Работа с контекстом и разметка сообщений](https://ml-book.com/t/context-engineering/index.md): Контекст-инжиниринг простыми словами: как собирать и размечать контекст LLM, роли и границы сообщений, chat-шаблоны и приоритеты инструкций.
- [Промпт-паттерны и structured outputs](https://ml-book.com/t/prompt-patterns/index.md): Промпт-паттерны простыми словами: роль и критерии, few-shot, декомпозиция, chain-of-thought и structured outputs с гарантированным JSON.

## Мультимодальные модели

Модели за пределами текста: как LLM видят изображения и слышат речь, omni-модели, OCR, а также генерация картинок и видео от VAE и GAN до диффузионных моделей.

- [Как LLM видят изображения](https://ml-book.com/t/multimodal-llm/index.md): Как LLM видят изображения простыми словами: ViT и патчи, CLIP, проектор визуальных токенов и устройство мультимодальных моделей (VLM).
- [Звук: распознавание и синтез речи](https://ml-book.com/t/audio-models/index.md): Распознавание и синтез речи простыми словами: мел-спектрограмма, Whisper и CTC, TTS с вокодером, аудиотокены для LLM и метрика WER.
- [Omni-модели: все модальности в одной](https://ml-book.com/t/omni-models/index.md): GPT-4o и Gemini — natively multimodal (omni) модели: один трансформер принимает и генерирует текст, аудио и изображения как единый поток токенов.
- [OCR: от классики до распознавания через LLM](https://ml-book.com/t/ocr/index.md): OCR простыми словами: классический пайплайн, DL-OCR с CRNN и CTC, чтение документов мультимодальными LLM и риск галлюцинаций.
- [VAE и GAN: генерация до диффузии](https://ml-book.com/t/vae-gan/index.md): VAE и GAN простыми словами: латентное пространство и сэмплирование, состязание генератора с дискриминатором и где они живут сегодня.
- [Диффузионные модели: как рисует Stable Diffusion](https://ml-book.com/t/diffusion-models/index.md): Диффузионные модели простыми словами: зашумление и расшумление, предсказание шума, latent diffusion, guidance и ускорение до 1–4 шагов.
- [Видео-модели: генерация с временной согласованностью](https://ml-book.com/t/video-models/index.md): Видео — не стопка независимых картинок: без внимания по времени кадры мерцают, а объекты телепортируются.

## Железо и развёртывание

Железо и развёртывание: видеокарты и расчёт VRAM, распределённое обучение DP, TP, PP и ZeRO, выбор между локальными моделями, облаком и API.

- [Видеокарты и VRAM: железо для нейросетей](https://ml-book.com/t/gpu-vram/index.md): Видеокарты и VRAM простыми словами: почему нейросети живут на GPU, как посчитать память под модель, квантизация и офлоад слоёв.
- [Распределённое обучение: DP, TP, PP и ZeRO](https://ml-book.com/t/distributed-training/index.md): Распределённое обучение простыми словами: data, tensor и pipeline parallelism, ZeRO и FSDP, 3D-параллелизм для больших LLM.
- [Локальные модели против SaaS и API](https://ml-book.com/t/local-vs-saas/index.md): Локальные модели против API простыми словами: две оси выбора, три модели затрат и точка перелома, где дешёвое становится дорогим.

## Агенты и инструменты

AI-агенты на практике: tool calling, агентный цикл и критерий остановки, память и планирование, мультиагентные системы, протокол MCP и оценка агентов.

- [Tool calling: как модель вызывает инструменты](https://ml-book.com/t/tool-calling/index.md): Tool calling даёт LLM «руки»: вызов API, БД и инструментов в агентном цикле. Фундамент AI-агентов и частый вопрос на собеседовании инженера.
- [Агентный цикл и критерий остановки](https://ml-book.com/t/agent-loop/index.md): Агентный цикл простыми словами: думай → действуй → наблюдай, как агент решает, что задача выполнена, критерий остановки, лимит шагов и типичные сбои.
- [Память, планирование и мультиагентные системы](https://ml-book.com/t/agent-memory/index.md): Контекстное окно — это вся «оперативная память» агента, и она конечна.
- [MCP: стандарт подключения инструментов](https://ml-book.com/t/mcp/index.md): MCP (Model Context Protocol) простыми словами: роли, жизненный цикл, JSON-RPC, зачем стандарт вместо N×M интеграций и риски чужих серверов.
- [Оценка агентов: pass@k и траектории](https://ml-book.com/t/agent-evals/index.md): Как измерить качество LLM-агента: метрики pass@1, pass@k и pass^k, оценка траекторий и стоимости, песочницы и бенчмарки SWE-bench, WebArena, GAIA.

## RAG: поиск + генерация

RAG от идеи до продакшна: векторный поиск и ANN-индексы, векторные базы, чанкинг, гибридный поиск и реранкинг, MMR, обучение эмбеддинг-моделей и оценка качества.

- [Что такое RAG и зачем он нужен](https://ml-book.com/t/rag-basics/index.md): Что такое RAG: поиск по документам + генерация LLM, зачем нужен в проде, схема пайплайна и базовые вопросы на интервью AI-инженера.
- [Векторный поиск и ANN-индексы](https://ml-book.com/t/vector-search/index.md): Векторный поиск для RAG: brute-force vs ANN (HNSW, IVF), trade-off recall/latency и типичные вопросы на AI-собеседовании.
- [Векторные базы данных и их типы](https://ml-book.com/t/vector-databases/index.md): Векторные БД: managed vs self-hosted, метаданные и фильтры, когда хватит pgvector — выбор хранилища на AI-собеседовании.
- [Чанкинг и подготовка данных](https://ml-book.com/t/chunking/index.md): Чанкинг в RAG: размер окна, overlap, рекурсивная нарезка — как границы чанков бьют по качеству поиска на собеседовании.
- [Гибридный поиск и реранкинг](https://ml-book.com/t/hybrid-rerank/index.md): Гибридный поиск и реранкинг: BM25 + векторы, fusion и cross-encoder — прод-рецепт RAG и вопросы на интервью.
- [MMR и разнообразие выдачи](https://ml-book.com/t/mmr-diversity/index.md): MMR в RAG: баланс релевантности и новизны (λ), зачем убирать дубликаты из топ-k и как объяснить на собеседовании.
- [Эмбеддинг-модели: как их обучают](https://ml-book.com/t/embedding-models/index.md): Эмбеддинг-модели для поиска: InfoNCE, hard negatives, query/passage префиксы и matryoshka — база для RAG-интервью.
- [Оценка качества RAG](https://ml-book.com/t/rag-eval/index.md): Оценка RAG: метрики ретривера и генератора по отдельности, faithfulness, context precision — что мерить на собеседовании.

## Продакшн и качество

ML в продакшне: дизайн ML-систем на собеседовании, рекомендательные системы и ранжирование, мониторинг и дрифт, A/B-тесты, безопасность и guardrails.

- [Дизайн ML-систем на собеседовании](https://ml-book.com/t/ml-system-design/index.md): Дизайн ML-систем на интервью: от метрики продукта до данных, модели, сервиса и мониторинга — каркас ответа без лишней теории.
- [Рекомендательные системы](https://ml-book.com/t/recsys/index.md): Рекомендательные системы простыми словами: коллаборативная фильтрация, матричное разложение, two-tower и ANN, холодный старт и метрики.
- [Ранжирование: learning-to-rank](https://ml-book.com/t/learning-to-rank/index.md): Learning-to-rank простыми словами: pointwise, pairwise и listwise, метрики MRR и NDCG, фичи запрос-документ и смещение позиции в кликах.
- [Мониторинг и дрифт данных](https://ml-book.com/t/monitoring-drift/index.md): Мониторинг и дрифт данных: data/concept drift, PSI, алерты и когда модель в проде нужно переобучать.
- [A/B-тесты и продуктовые метрики](https://ml-book.com/t/ab-testing/index.md): Оффлайн-метрики выросли — но выиграет ли от этого продукт? Единственный честный способ узнать — контролируемый эксперимент на живых пользователях.
- [Безопасность: guardrails и prompt injection](https://ml-book.com/t/safety-guardrails/index.md): Безопасность LLM простыми словами: prompt injection, джейлбрейки, guardrails на входе и выходе, смертельная триада агента и как ограничить ущерб.

## Optional

- [Вопросы на собеседовании](https://ml-book.com/interview/): 296 вопросов с ответами по всем разделам
- [Глоссарий](https://ml-book.com/glossary/): термины с определениями и ссылками на разборы
- [Об учебнике и авторе](https://ml-book.com/about/)
- [Фид обновлений](https://ml-book.com/feed.xml)