# Типы обучения: с учителем, без и с подкреплением

> Все алгоритмы ML отличает один вопрос: откуда берётся обучающий сигнал — то, по чему модель понимает, что она права или ошибается. Разберём пять источников такого сигнала: от дорогой ручной разметки до бесплатной разметки, спрятанной в самих данных, — именно последняя двигает современные LLM.

Раздел: [Основы машинного обучения](https://ml-book.com/s/ml-basics/) · Страница темы: https://ml-book.com/t/learning-paradigms/ · Обновлено: 2026-07-09 · Источник: ml-book.com, учебник делается сообществом

## Интуиция

Обучение — это подстройка параметров под некоторый сигнал ошибки. Но сигнал бывает разной природы. Учитель показывает правильный ответ (обучение с учителем). Никто ничего не показывает, но в данных есть структура, которую можно нащупать самому (обучение без учителя). Ответ можно спрятать в самих данных и заставить модель его угадывать (самообучение). Среда не говорит правильный ход, но иногда выдаёт награду (обучение с подкреплением). Понимаешь источник сигнала — понимаешь, к какому типу относится задача.

## Как это работает

**Обучение с учителем (supervised learning).** У каждого примера есть размеченная пара «вход → правильный ответ»: снимок → диагноз, письмо → «спам». Модель минимизирует ошибку между своим предсказанием и меткой. Сильная сторона — точность; слабая — метки дороги: их размечают люди, а это медленно и дорого.

**Обучение без учителя (unsupervised learning).** Меток нет вообще. Сигнал — сама структура данных: кластеризация (clustering) группирует похожие объекты, снижение размерности (dimensionality reduction) сжимает данные, сохраняя главное. Мы не проверяем ответ по эталону — мы описываем, как устроены данные.

**Самообучение (self-supervised learning).** Хитрость: метку добывают из самих данных автоматически. Спрячь слово в предложении и предскажи его (маскирование, masking); возьми текст и предскажи следующий токен (next-token prediction). Правильный ответ уже лежит в тексте — размечать вручную не нужно. Формально это обучение с учителем, но учитель — сами данные.

> **💡 Ключевая мысль**
>
> Тип обучения определяется тем, откуда берётся сигнал ошибки. Self-supervised превращает интернет в бесконечную бесплатную разметку — поэтому именно он, а не supervised, стал двигателем foundation-моделей и LLM.

**Частичное обучение (semi-supervised learning).** Мало размеченных примеров и много неразмеченных. Модель учится структуре на неразмеченных данных и уточняет ответы по редким меткам — компромисс между дорогой точностью и дешёвым объёмом.

**Обучение с подкреплением (reinforcement learning).** Нет ни меток, ни «правильного хода». Агент действует в среде и получает отложенную награду (reward) — иногда сильно позже действия. Ключевой конфликт — исследование против использования (exploration vs exploitation): пробовать новое ради потенциально большей награды или эксплуатировать уже найденное хорошее.

**Трансферное обучение и дообучение.** Трансферное обучение (transfer learning) переносит знания с одной задачи на другую: берём сеть, обученную на ImageNet, и дообучаем (fine-tuning) её на медицинских снимках. Это не отдельный источник сигнала, а приём: переиспользовать уже выученные представления вместо обучения с нуля. Контрастивное обучение (contrastive learning) — разновидность self-supervised: сближаем в пространстве представлений «похожие» пары и раздвигаем «непохожие». Так обучен CLIP, связавший картинки и подписи.

> 🎛 Интерактивная визуализация — на странице темы: https://ml-book.com/t/learning-paradigms/

## Как выбрать тип обучения

Практический алгоритм прост. Есть готовые метки и они точные → supervised. Метки дорогие, но данных море → self-supervised (претрейн) плюс небольшой supervised-дообучение сверху — так и строят LLM. Меток нет и нужна структура → unsupervised. Задача про последовательность действий с целью в конце → reinforcement learning. Уже есть похожая обученная модель → transfer learning вместо обучения с нуля.

> **⚠️ Подводный камень**
>
> Не путай self-supervised и unsupervised. В unsupervised нет никакого «правильного ответа» — мы описываем структуру (кластеры, компоненты). В self-supervised правильный ответ есть, просто его добывают из самих данных автоматически (спрятанное слово, следующий токен) — и по нему считают ошибку, как в supervised.

> **🎤 На собеседовании**
>
> - «Чем self-supervised отличается от unsupervised?» — в self-supervised есть цель-метка, добытая из данных, и явный лосс предсказания; в unsupervised метки нет, есть только структура. Задачи вроде кластеризации — unsupervised; маскирование и next-token — self-supervised.
> - «Почему LLM — это self-supervised?» — модель учат предсказывать следующий токен; «правильный ответ» — это сам текст, размечать людьми ничего не нужно, поэтому интернет становится бесплатной разметкой.
> - «Что такое exploration/exploitation?» — дилемма RL: исследовать новые действия ради потенциально большей награды или использовать уже найденное хорошее.
> - «Зачем transfer learning?» — переиспользовать выученные представления, чтобы обучаться на малых данных быстрее и точнее, чем с нуля.

## Связанные темы

- [Что такое машинное обучение](https://ml-book.com/t/intro-ml/)
- [Обучение с подкреплением: Q-learning и PPO](https://ml-book.com/t/reinforcement-learning/)
- [Alignment: RLHF и DPO](https://ml-book.com/t/alignment/)
- [Fine-tuning: SFT, LoRA, PEFT](https://ml-book.com/t/finetuning/)

---

Интерактив, тест из 12 вопросов и карточки терминов — на странице темы: https://ml-book.com/t/learning-paradigms/
Весь учебник в markdown: https://ml-book.com/llms-full.txt · Оглавление для агентов: https://ml-book.com/llms.txt