Вопросы на собеседовании: LLM: обучение и инференс

40 вопросов по разделу «LLM: обучение и инференс» — с короткими ответами и ссылкой на подробный разбор каждой темы.

Как пользоваться: закрой ответ, ответь вслух за минуту, сравни. Все разделы — на странице вопросов с собеседований, теория раздела — в оглавлении раздела, тренажёр — в mock-интервью.

• Претрейнинг и scaling laws · 4
• Fine-tuning: SFT, LoRA, PEFT · 4
• Alignment: RLHF и DPO · 4
• Reasoning-модели и test-time compute · 4
• Сэмплирование: temperature, top-k, top-p · 4
• Инференс: KV-cache, квантизация, спекулятивный декодинг · 4
• Дистилляция и сжатие моделей · 4
• Оценка LLM: бенчмарки и LLM-as-judge · 4
• Работа с контекстом и разметка сообщений · 4
• Промпт-паттерны и structured outputs · 4

Претрейнинг и scaling laws

• «Почему претрейнинг называют self-supervised?» — метки не размечает человек: следующий токен и есть метка, поэтому годится весь текст мира.
• «В чём вывод Chinchilla?» — при фиксированном компьюте N и D растят вместе (~20 токенов на параметр); GPT-3 была недотренирована по данным.
• «Зачем дедупликация?» — повторы заставляют модель заучивать наизусть, искажают лосс и загрязняют бенчмарки, попавшие в трейн.
• «Почему base model не годится как ассистент?» — её цель — правдоподобно продолжить текст, а не выполнить просьбу; формат «полезного ответа» ей задают только на пост-обучении.

Разбор с интерактивом и тестом: Претрейнинг и scaling laws

Fine-tuning: SFT, LoRA, PEFT

• «Промптинг, RAG или файнтюн?» — по порядку стоимости: сначала промпт и few-shot, для фактов — RAG, файнтюн — когда нужен стабильный стиль/формат/домен и есть данные и бюджет на оценку качества.
• «Как работает LoRA и почему она не замедляет инференс?» — ΔW = A·B ранга r учится отдельно, после обучения складывается с W — архитектура и латентность не меняются.
• «Сколько памяти на полный файнтюн 7B?» — ~16 байт на параметр с Adam и mixed precision: порядка 112 ГБ, отсюда и популярность PEFT.
• «Что такое catastrophic forgetting и как смягчить?» — потеря общих навыков при узком дообучении; помогают маленький learning rate, подмешивание общих данных, LoRA вместо полного FT.

Разбор с интерактивом и тестом: Fine-tuning: SFT, LoRA, PEFT

Alignment: RLHF и DPO

• «Зачем KL-штраф в RLHF?» — RM несовершенна; без поводка политика находит её дыры (reward hacking) и вырождается. KL держит модель рядом с reference.
• «Чем DPO отличается от RLHF?» — та же цель (предпочтения + KL), но прямой supervised-лосс на парах: без отдельной RM, без PPO, без онлайн-генерации — проще и стабильнее.
• «Что такое sycophancy и откуда она?» — модель учится соглашаться с пользователем, потому что разметчики чаще предпочитают согласные ответы; это перекос данных предпочтений, а не «характер» модели.
• «Почему для математики и кода используют RLVR?» — награда проверяема (ответ сошёлся, тесты прошли), поэтому её нельзя выбить красивым, но неверным текстом.

Разбор с интерактивом и тестом: Alignment: RLHF и DPO

Reasoning-модели и test-time compute

• «Чем reasoning-модель отличается от обычной с CoT-промптом?» — CoT-промпт лишь просит уже обученную модель писать шаги; reasoning-модель обучена через RL (RLVR) вырабатывать стратегии — декомпозицию, самопроверку, откат — и её рассуждение реально находит и чинит собственные ошибки.
• «Когда брать reasoning-модель, а когда обычную?» — по сложности задачи против цены и латентности: математика, код, планирование — да; извлечение, классификация, чат с требованием мгновенного ответа — нет.
• «Что такое RLVR и почему без разметчиков?» — RL с проверяемыми наградами: ответ задачи сверяется, код гоняется тестами; награда объективна, человеческие сравнения ответов не нужны.
• «Как ещё потратить test-time compute, кроме длинного рассуждения?» — параллельно: self-consistency (голосование N цепочек) и best-of-N с оценщиком.

Разбор с интерактивом и тестом: Reasoning-модели и test-time compute

Сэмплирование: temperature, top-k, top-p

• «Что делает температура математически?» — делит логиты до softmax: T < 1 обостряет распределение, T > 1 сглаживает, в пределах — argmax и равномерное.
• «Чем top-p лучше top-k?» — размер отсечки адаптируется к уверенности модели, а не фиксирован заранее.
• «Почему greedy вырождается?» — локально вероятный токен ≠ глобально хороший текст; типичный симптом — циклы повторов, лечится сэмплированием и штрафами.
• «Какие параметры поставишь для генерации SQL?» — низкая температура (≈0–0.2), можно top-p пониже; разнообразие тут вредно.

Разбор с интерактивом и тестом: Сэмплирование: temperature, top-k, top-p

Инференс: KV-cache, квантизация, спекулятивный декодинг

• «Почему decode медленнее prefill?» — prefill параллелен по токенам и compute-bound; decode — по токену за шаг, упирается в трафик памяти (веса + кэш на каждый токен).
• «Что хранит KV-cache и сколько он весит?» — ключи и значения всех прошлых токенов по всем слоям и головам; размер линеен по длине контекста (≈0.5 МБ/токен у 7B в fp16).
• «Спекулятивный декодинг портит качество?» — нет: правило принятия сохраняет распределение большой модели, ускорение берётся из параллельной проверки.
• «Как оценивать сервинг?» — TTFT, tokens/s на запрос и суммарный throughput; continuous batching и PagedAttention повышают именно throughput.

Разбор с интерактивом и тестом: Инференс: KV-cache, квантизация, спекулятивный декодинг

Дистилляция и сжатие моделей

• «Чем дистилляция отличается от квантизации?» — квантизация сжимает числа той же модели (fp16 → int4), дистилляция переносит знание в другую, меньшую архитектуру через обучение на предсказаниях учителя; их комбинируют.
• «Зачем температура в дистилляции?» — размягчить softmax учителя: при T = 1 распределение почти one-hot, а при T = 3–5 видны отношения между классами — то самое dark knowledge.
• «Как перенести reasoning в маленькую модель?» — sequence-level дистилляция: учитель генерирует цепочки рассуждений, ученик дообучается на них SFT (так сделали дистилляты R1).
• «Может ли ученик превзойти учителя?» — на распределении учителя нет, это потолок; выигрыш — в цене и латентности, и на узком домене разрыв минимален.

Разбор с интерактивом и тестом: Дистилляция и сжатие моделей

Оценка LLM: бенчмарки и LLM-as-judge

• «Как поймёшь, что бенчмарк контаминирован?» — подозрительно высокий результат при слабости на свежих/перефразированных задачах того же типа; проверка n-грамм тренировочного корпуса.
• «Какие biases у LLM-судьи и как их ловить?» — position (прогон с перестановкой A/B), length (корреляция вердикта с длиной), self-preference (сравнить судей разных семейств).
• «Как оценивать LLM-фичу в проде?» — золотой сет из реальных запросов, рубрики, LLM-судья, калиброванный по людям, регрессионные прогоны на каждый релиз.
• «Модель А выиграла у B 6 из 10 сравнений — она лучше?» — нет, выборка ничтожна: доверительный интервал накрывает 50/50.

Разбор с интерактивом и тестом: Оценка LLM: бенчмарки и LLM-as-judge

Работа с контекстом и разметка сообщений

• «Почему role-разметка важнее просто текста?» — роли задают приоритет и границы: модель обучена относиться к system как к правилам, а к user как к запросу; без ролей эта информация теряется.
• «Что такое chat template?» — формат оборачивания реплик спецтокенами (например, ChatML с <|im_start|>/<|im_end|>), размечающий границы ходов так, как модель видела при обучении.
• «Куда класть важное в длинном контексте?» — в начало и в конец: из-за эффекта lost in the middle середина используется хуже.
• «Чем контекст-инжиниринг шире промпт-инжиниринга?» — промпт про формулировку инструкции, контекст — про сборку и разметку всего входа: роли, порядок блоков, разделители, бюджет токенов.

Разбор с интерактивом и тестом: Работа с контекстом и разметка сообщений

Промпт-паттерны и structured outputs

• «Как добиться валидного JSON от LLM?» — лестница: просьба в промпте → few-shot с образцами → JSON mode провайдера → constrained decoding по схеме; только последний уровень даёт гарантию, потому что маскирует невалидные токены при сэмплировании.
• «Почему few-shot сильнее словесной инструкции?» — модель продолжает паттерны: примеры задают формат в том же виде, в каком его нужно воспроизвести, без перевода «слова → поведение».
• «Чем плох гигантский промпт на много задач?» — инструкции конкурируют и противоречат друг другу, ошибку нельзя локализовать, eval неинформативен; лечится декомпозицией на цепочку промптов.
• «Гарантирует ли схема правильные данные?» — нет: она гарантирует форму (парсинг, типы полей), а правильность значений проверяется только оценкой на эталонном наборе.

Разбор с интерактивом и тестом: Промпт-паттерны и structured outputs