Обучение с подкреплением: Q-learning и PPO

Как научить агента действовать в среде, где никто не показывает правильный ход, а есть лишь редкая награда. Разбираем MDP, дилемму «исследование против использования», два семейства методов — Q-learning и PPO — и мост к RLHF, на котором держится выравнивание современных LLM.

Интуиция

Обучение с подкреплением (reinforcement learning, RL) — это обучение через пробы и последствия. В теме про типы обучения мы уже назвали RL как парадигму; здесь идём глубже. Представь щенка в лабиринте: никто не диктует ему маршрут, но за выход к миске он получает лакомство, а за яму — щелчок по носу. Со временем он выстраивает поведение, которое приносит больше приятного. Никакого «учителя с правильными ответами» нет — есть только среда и её отклик.

Формально в RL пять действующих лиц. Агент (agent) принимает решения. Среда (environment) реагирует на них. Всё, что агент видит в данный момент, — это состояние (state, s). Что он делает — действие (action, a). Что получает в ответ — скалярная награда (reward, r). А правило «в состоянии s выбирай действие a» — это политика (policy, π). Цель обучения — найти политику, которая максимизирует суммарную награду в долгом забеге.

Как это работает

Задачу формализуют как марковский процесс принятия решений (Markov Decision Process, MDP): множества состояний и действий, вероятности переходов и функция награды. Свойство Маркова означает, что будущее зависит только от текущего состояния, а не от всей истории. Агент максимизирует не сиюминутную награду, а отдачу (return) — сумму будущих наград с дисконтом (discount) γ:

Дисконт γ ∈ [0,1) говорит, насколько мы ценим будущее: при γ около 0 агент близорук и хватает ближайшую награду, при γ около 0.99 — терпелив и планирует надолго. Дисконт заодно не даёт сумме улететь в бесконечность.

Главный конфликт RL — исследование против использования (exploration vs exploitation). Использовать (exploit) уже найденное хорошее действие или исследовать (explore) новое ради потенциально большей награды? Простейший рецепт — ε-жадность (ε-greedy): с вероятностью ε агент ходит наугад, а с вероятностью 1−ε берёт лучшее известное действие. Большой ε — много разведки, но шумно; маленький ε — агент застревает в первом сносном решении.

Два семейства методов

Все алгоритмы RL сводятся к двум большим подходам: учить ценность действий или учить саму политику напрямую.

1. Методы на основе ценности: Q-learning

Идея: выучить функцию ценности Q(s,a) — «сколько отдачи в среднем принесёт действие a из состояния s, если дальше играть хорошо». Зная Q, политика тривиальна: в каждом состоянии бери действие с максимальным Q. Q удовлетворяет уравнению Беллмана (Bellman equation) — рекурсии, связывающей ценность сейчас с ценностью следующего шага:

Q-learning не знает уравнение заранее, а подгоняет Q к нему на опыте. После каждого перехода (s, a, r, s′) делается обновление в сторону цели Беллмана:

Здесь α — скорость обучения, а выражение в скобках — TD-ошибка (temporal difference): насколько текущая оценка расходится с более свежей. Именно это обновление крутится в интерактиве выше. Важное свойство: Q-learning работает off-policy — обновляется в сторону лучшего следующего действия (max), даже если реально агент из-за ε-жадности сходил наугад. Это позволяет учиться на любом опыте, в том числе чужом.

2. Методы на основе политики: policy gradient и PPO

Другой путь — параметризовать политику π_θ(a|s) нейросетью и напрямую сдвигать её веса в сторону большей отдачи. Базовый алгоритм REINFORCE (policy gradient) прост: сыграй эпизод, и если он вышел хорошим (высокая отдача) — повысь вероятности сделанных действий, если плохим — понизь. Проблема — огромная дисперсия оценок. Её лечит актор-критик (actor-critic): критик оценивает ценность состояния и служит опорой (baseline), а актор корректирует политику относительно этой опоры.

Индустриальный стандарт policy-методов — PPO (Proximal Policy Optimization). Его ключ — клиппированная цель (clipped objective): обновление ограничивают так, чтобы новая политика не уходила слишком далеко от старой за один шаг. Слишком большой шаг легко обрушивает политику; клиппинг режет отношение вероятностей π_new/π_old в узкий коридор и делает обучение стабильным. За стабильность и разумную выборочную эффективность PPO и стал рабочей лошадкой — от роботов до выравнивания LLM.

Мост к LLM: RLHF и RLVR

Здесь RL выходит из игр прямо в современные языковые модели. RLHF (обучение с подкреплением на человеческой обратной связи) из темы про выравнивание — это буквально PPO против reward-модели: политика (сама LLM) генерирует ответы, обученная на человеческих сравнениях reward-модель ставит им награду, а PPO двигает веса так, чтобы награда росла. Ключевая деталь — KL-штраф: к цели добавляют штраф за уход от исходной политики, чтобы модель не «сломалась», выбивая награду у несовершенного прокси (reward hacking).

А в reasoning-моделях используют RLVR (RL с проверяемыми наградами): награда — не мнение reward-модели, а объективная проверка (сошёлся ответ задачи, прошли тесты код). Такую награду почти нельзя взломать лестью, поэтому RLVR двигает прогресс в рассуждениях. И там, и там движок один — обучение с подкреплением.

Почему RL трудный

RL мощнее supervised-обучения, но капризнее. Разрежённая награда (sparse reward): если приз выдаётся только в конце длинной цепочки (мат в шахматах, победа в игре), агент долго не получает никакого сигнала. Частичный ответ — reward shaping: доработать функцию награды промежуточными подсказками, но легко переусердствовать и научить агента не тому. Семпл-неэффективность (sample inefficiency): RL нужны миллионы взаимодействий со средой — дорого, если каждое взаимодействие реально. Нестабильность: цель Беллмана и сама политика движутся одновременно, обучение легко расходится — отсюда и клиппинг в PPO, и KL-поводок в RLHF. Применяют RL там, где эти издержки окупаются: игры (AlphaGo, Atari), робототехника, RLHF-выравнивание и ризонинг LLM.