Вопросы на собеседовании: Мультимодальные модели

28 вопросов по разделу «Мультимодальные модели» — с короткими ответами и ссылкой на подробный разбор каждой темы.

Как пользоваться: закрой ответ, ответь вслух за минуту, сравни. Все разделы — на странице вопросов с собеседований, теория раздела — в оглавлении раздела, тренажёр — в mock-интервью.

• Как LLM видят изображения · 4
• Звук: распознавание и синтез речи · 4
• Omni-модели: все модальности в одной · 4
• OCR: от классики до распознавания через LLM · 4
• VAE и GAN: генерация до диффузии · 4
• Диффузионные модели: как рисует Stable Diffusion · 4
• Видео-модели: генерация с временной согласованностью · 4

Как LLM видят изображения

• «Как картинка попадает в LLM?» — режется на патчи → каждый патч линейно проецируется в вектор (ViT) → проектор выравнивает векторы с пространством LLM → визуальные токены идут в последовательность вместе с текстовыми.
• «Что даёт CLIP-претрейн?» — контрастивное обучение на парах картинка–текст кладёт изображения и подписи в общее пространство: энкодер «знает смысл» картинки, работает zero-shot классификация.
• «Почему картинка дорогая по токенам?» — токенов N = (H/P)×(W/P): сотни на одну картинку, при tiling — тысячи; это и цена API, и съеденный контекст.
• «Почему VLM не читает мелкий текст?» — детали меньше патча теряются при кодировании; лечится повышением разрешения/tiling или связкой с OCR.

Разбор с интерактивом и тестом: Как LLM видят изображения

Звук: распознавание и синтез речи

• «Как звук попадает в нейросеть?» — волна → окна → спектры → мел-спектрограмма (картинка время×частота); современная альтернатива — дискретные аудиотокены через нейрокодек.
• «Что делает CTC-лосс?» — учит выравнивание кадров и букв без разметки границ: предсказание на каждый кадр, blank-токен, схлопывание повторов («ппр-и-ввв-е-т» → «привет»).
• «Что такое WER?» — (замены + удаления + вставки) / число слов эталона; главная метрика ASR, может превышать 100%.
• «Почему Whisper так хорош?» — масштаб данных (weak supervision на сотнях тысяч часов), а не хитрая архитектура.

Разбор с интерактивом и тестом: Звук: распознавание и синтез речи

Omni-модели: все модальности в одной

• «Чем omni отличается от LLM с адаптерами и от пайплайна ASR→LLM→TTS?» — пайплайн: три модели, задержки складываются, между ними ходит только текст. Адаптеры: энкодер + проектор к замороженной LLM, вход мультимодальный, выход текст. Omni: одна модель, претрейн на interleaved-токенах, мультимодальны и вход, и выход.
• «Почему голос GPT-4o быстрее и живее старого voice mode?» — старый был пайплайном из трёх моделей; omni слышит аудиотокены (интонация, паузы) и отвечает аудиотокенами напрямую — задержка в сотни мс вместо секунд.
• «Что такое early и late fusion?» — ранняя: модальности смешиваются в один поток токенов на входе одной модели; поздняя: отдельные модели на модальность, объединение в конце.
• «В чём главная сложность обучения omni?» — мало interleaved-данных, дорогой компьют и баланс смеси, чтобы не просело качество на чистом тексте.

Разбор с интерактивом и тестом: Omni-модели: все модальности в одной

OCR: от классики до распознавания через LLM

• «Спроектируй распознавание паспортов/чеков» — пайплайн: детекция документа и полей → распознавание (классика/CRNN для печатных полей) → валидация (контрольные цифры, форматы дат, справочники) → ручная проверка при низкой уверенности. VLM — для сложной вёрстки, но с обязательной валидацией.
• «Почему VLM-OCR опасен для критичных данных?» — галлюцинации: модель уверенно «дочитывает» нечитаемое, ошибку не видно без сверки с источником.
• «Чем CRNN+CTC лучше посимвольной сегментации?» — распознаёт строку целиком, не требуя резать её на буквы; слипшиеся символы перестают быть проблемой.
• «Когда достаточно Tesseract?» — чистые сканы печатного текста, большие объёмы, требования по цене/приватности (всё локально).

Разбор с интерактивом и тестом: OCR: от классики до распознавания через LLM

VAE и GAN: генерация до диффузии

• «Чем VAE отличается от автоэнкодера?» — энкодер предсказывает распределение (μ, σ), а не точку, плюс KL-штраф прижимает латент к N(0, 1): пространство гладкое, можно сэмплировать и интерполировать. У AE между кодами — «дыры».
• «Что такое mode collapse?» — генератор GAN выдаёт малое число похожих примеров на любые z: он нашёл, чем обмануть дискриминатора, и потерял разнообразие распределения.
• «Зачем reparameterization trick?» — z = μ + σ·ε выносит случайность в ε, чтобы градиент проходил через μ и σ; иначе через операцию «сэмплировать» бэкпроп не работает.
• «Где VAE и GAN используются сегодня?» — VAE — энкодер/декодер латента в Stable Diffusion; GAN — апскейлеры (ESRGAN) и состязательный лосс при дистилляции диффузии.

Разбор с интерактивом и тестом: VAE и GAN: генерация до диффузии

Диффузионные модели: как рисует Stable Diffusion

• «Что предсказывает диффузионная сеть?» — шум ε, подмешанный на шаге t (не картинку!); лосс — простой MSE между настоящим и предсказанным шумом.
• «Зачем латентная диффузия?» — расшумлять в латенте VAE в десятки раз дешевле, чем в пикселях; декодер VAE возвращает пиксели в самом конце.
• «Что делает classifier-free guidance?» — усиливает разницу между условным и безусловным предсказанием: выше w — точнее следование промпту, но перебор «пережаривает» картинку.
• «Почему диффузия победила GAN?» — стабильный MSE-лосс вместо минимакс-игры, нет mode collapse, качество и разнообразие выше; цена — много шагов, которую снижают DDIM и дистилляцией.

Разбор с интерактивом и тестом: Диффузионные модели: как рисует Stable Diffusion

Видео-модели: генерация с временной согласованностью

• «Чем видео-генерация сложнее картиночной?» — добавляется ось времени: нужна temporal consistency (объекты сохраняют форму/цвет/траекторию), а число токенов = кадры × патчи — стоимость взлетает на порядки.
• «Как устроено пространственно-временное внимание?» — spatial attention связывает патчи внутри кадра, temporal — один участок сцены между кадрами; в Sora-классе латент видео режется на пространственно-временные «кубики»-токены для DiT.
• «Что такое world model?» — модель, предсказывающая развитие сцены («что будет, если»), — видео-модель как симулятор среды для планирования агентов и роботов.
• «Почему кадры нельзя генерировать независимо?» — каждый кадр — независимый сэмпл из распределения: детали (цвет, позиция, фон) выбираются заново → мерцание и телепортация объектов.

Разбор с интерактивом и тестом: Видео-модели: генерация с временной согласованностью