Вопросы на собеседовании: Языковые модели: от n-грамм до трансформера

24 вопроса по разделу «Языковые модели: от n-грамм до трансформера» — с короткими ответами и ссылкой на подробный разбор каждой темы.

Как пользоваться: закрой ответ, ответь вслух за минуту, сравни. Все разделы — на странице вопросов с собеседований, теория раздела — в оглавлении раздела, тренажёр — в mock-интервью.

• Биграммы и n-граммы · 4
• Токенизация и BPE · 4
• Эмбеддинги и word2vec · 4
• Механизм внимания (attention) · 4
• Архитектура трансформера · 4
• Современные архитектуры: RoPE, MoE, GQA · 4

Биграммы и n-граммы

• «Что такое языковая модель?» — распределение вероятностей следующего токена при заданном контексте; всё остальное — детали параметризации.
• «Почему нельзя просто увеличивать n?» — число контекстов растёт как Vⁿ⁻¹, почти все длинные контексты уникальны: таблица разрежена, счётчики ненадёжны.
• «Что такое перплексия?» — экспонента средней кросс-энтропии; интуитивно — среднее число вариантов, между которыми модель колеблется. Сравнима только при одинаковом токенизаторе и тесте.
• «Чем GPT отличается от n-граммы?» — задача та же, но распределение параметризовано нейросетью, которая обобщает на невиданные контексты вместо точного совпадения строк.

Разбор с интерактивом и тестом: Биграммы и n-граммы

Токенизация и BPE

• «Почему подслова, а не слова или символы?» — словарь конечен, OOV исчезает, последовательности умеренной длины: компромисс между двумя крайностями.
• «Как BPE токенизирует слово, которого не было в корпусе?» — разбивает на символы и применяет выученные мерджи по порядку; в худшем случае слово остаётся набором символов/байтов.
• «Почему LLM ошибается, считая буквы в слове?» — слово для неё один-два токена, отдельные буквы не видны без явного разбиения.
• «На что влияет размер словаря?» — длина последовательностей против размера эмбеддинг-матрицы и качества редких токенов.

Разбор с интерактивом и тестом: Токенизация и BPE

Эмбеддинги и word2vec

• «Чем плох one-hot?» — все слова равноудалены, смысла в геометрии нет, размерность равна словарю.
• «Почему „кот“ и „пёс“ близки, если рядом в тексте почти не встречаются?» — важна не совместная встречаемость, а похожесть контекстов: соседи у них общие.
• «Skip-gram против CBOW?» — skip-gram предсказывает соседей по слову (лучше для редких слов), CBOW — слово по соседям (быстрее).
• «Чем контекстные эмбеддинги лучше статических?» — многозначные слова получают разные векторы в зависимости от предложения.

Разбор с интерактивом и тестом: Эмбеддинги и word2vec

Механизм внимания (attention)

• «Зачем делить на √d?» — без деления скоры растут с размерностью, softmax насыщается, градиенты почти нулевые. Проверь в интерактиве: маленький делитель ⇒ веса схлопываются в один токен.
• «Что такое Q, K, V своими словами?» — мягкий словарь: запрос, ключ, значение; ответ — взвешенная сумма значений по похожести запроса на ключи.
• «Почему в декодере нужна маска?» — при обучении «следующий токен» уже есть в данных; без маски модель читерит и не учится предсказывать.
• «Какая сложность у self-attention?» — O(n²·d) по времени и O(n²) по памяти на матрицу весов; отсюда FlashAttention, GQA, скользящие окна.

Разбор с интерактивом и тестом: Механизм внимания (attention)

Архитектура трансформера

• «Нарисуйте блок трансформера» — attention и MLP, каждый в обёртке LN → подслой → сложение с входом (pre-norm). Обязательно проговори, что residual — это сложение, а не конкатенация.
• «Чем BERT отличается от GPT?» — маской и задачей: encoder без маски учится на восстановлении замаскированных токенов, decoder с маской — на предсказании следующего.
• «Почему трансформер вытеснил RNN?» — параллельное обучение по всей длине + прямой доступ к любому токену вместо затухающей памяти.
• «Где параметры?» — примерно ⅔ блока в MLP, ⅓ во внимании; плюс эмбеддинги, заметные у маленьких моделей и почти незаметные у больших.

Разбор с интерактивом и тестом: Архитектура трансформера

Современные архитектуры: RoPE, MoE, GQA

• «Почему RoPE, а не learned embeddings?» — относительные позиции без параметров, лучшая экстраполяция по длине; вращение Q/K оставляет скалярное произведение зависимым только от сдвига.
• «Что уменьшает GQA и на что это влияет?» — KV-cache (и трафик памяти на декодинге), то есть скорость и стоимость инференса; качество почти не страдает.
• «MoE — в чём trade-off?» — знаний много при малых FLOPs на токен, но вся модель должна жить в памяти, плюс балансировка роутера и сложный шардинг.
• «Как модели тянут контекст 128k?» — RoPE-масштабирование, GQA против распухания кэша, FlashAttention против квадратичной памяти, иногда sliding window.

Разбор с интерактивом и тестом: Современные архитектуры: RoPE, MoE, GQA