Типы обучения: с учителем, без и с подкреплением

Все алгоритмы ML отличает один вопрос: откуда берётся обучающий сигнал — то, по чему модель понимает, что она права или ошибается. Разберём пять источников такого сигнала: от дорогой ручной разметки до бесплатной разметки, спрятанной в самих данных, — именно последняя двигает современные LLM.

Интуиция

Обучение — это подстройка параметров под некоторый сигнал ошибки. Но сигнал бывает разной природы. Учитель показывает правильный ответ (обучение с учителем). Никто ничего не показывает, но в данных есть структура, которую можно нащупать самому (обучение без учителя). Ответ можно спрятать в самих данных и заставить модель его угадывать (самообучение). Среда не говорит правильный ход, но иногда выдаёт награду (обучение с подкреплением). Понимаешь источник сигнала — понимаешь, к какому типу относится задача.

Как это работает

Обучение с учителем (supervised learning). У каждого примера есть размеченная пара «вход → правильный ответ»: снимок → диагноз, письмо → «спам». Модель минимизирует ошибку между своим предсказанием и меткой. Сильная сторона — точность; слабая — метки дороги: их размечают люди, а это медленно и дорого.

Обучение без учителя (unsupervised learning). Меток нет вообще. Сигнал — сама структура данных: кластеризация (clustering) группирует похожие объекты, снижение размерности (dimensionality reduction) сжимает данные, сохраняя главное. Мы не проверяем ответ по эталону — мы описываем, как устроены данные.

Самообучение (self-supervised learning). Хитрость: метку добывают из самих данных автоматически. Спрячь слово в предложении и предскажи его (маскирование, masking); возьми текст и предскажи следующий токен (next-token prediction). Правильный ответ уже лежит в тексте — размечать вручную не нужно. Формально это обучение с учителем, но учитель — сами данные.

Частичное обучение (semi-supervised learning). Мало размеченных примеров и много неразмеченных. Модель учится структуре на неразмеченных данных и уточняет ответы по редким меткам — компромисс между дорогой точностью и дешёвым объёмом.

Обучение с подкреплением (reinforcement learning). Нет ни меток, ни «правильного хода». Агент действует в среде и получает отложенную награду (reward) — иногда сильно позже действия. Ключевой конфликт — исследование против использования (exploration vs exploitation): пробовать новое ради потенциально большей награды или эксплуатировать уже найденное хорошее.

Трансферное обучение и дообучение. Трансферное обучение (transfer learning) переносит знания с одной задачи на другую: берём сеть, обученную на ImageNet, и дообучаем (fine-tuning) её на медицинских снимках. Это не отдельный источник сигнала, а приём: переиспользовать уже выученные представления вместо обучения с нуля. Контрастивное обучение (contrastive learning) — разновидность self-supervised: сближаем в пространстве представлений «похожие» пары и раздвигаем «непохожие». Так обучен CLIP, связавший картинки и подписи.

Как выбрать тип обучения

Практический алгоритм прост. Есть готовые метки и они точные → supervised. Метки дорогие, но данных море → self-supervised (претрейн) плюс небольшой supervised-дообучение сверху — так и строят LLM. Меток нет и нужна структура → unsupervised. Задача про последовательность действий с целью в конце → reinforcement learning. Уже есть похожая обученная модель → transfer learning вместо обучения с нуля.