Вопросы на собеседовании: Продакшн и качество

24 вопроса по разделу «Продакшн и качество» — с короткими ответами и ссылкой на подробный разбор каждой темы.

Как пользоваться: закрой ответ, ответь вслух за минуту, сравни. Все разделы — на странице вопросов с собеседований, теория раздела — в оглавлении раздела, тренажёр — в mock-интервью.

• Дизайн ML-систем на собеседовании · 4
• Рекомендательные системы · 4
• Ранжирование: learning-to-rank · 4
• Мониторинг и дрифт данных · 4
• A/B-тесты и продуктовые метрики · 4
• Безопасность: guardrails и prompt injection · 4

Дизайн ML-систем на собеседовании

• «Спроектируйте антифрод» — начни с цены ошибок FP/FN и требования к латентности (реалтайм!), затем по фреймворку; метрика — precision/recall или PR-AUC, не accuracy.
• «Как валидировать модель оттока?» — сплит по времени: учимся на январе–июне, проверяем на июле; random split даст утечку.
• «Модель готова, что дальше?» — теневой запуск (shadow mode), A/B-тест на онлайн-метриках, мониторинг дрифта, план переобучения.
• «Почему сначала бейзлайн?» — точка отсчёта, проверка пайплайна данных и честный ответ на вопрос «а нужен ли здесь ML вообще».

Разбор с интерактивом и тестом: Дизайн ML-систем на собеседовании

Рекомендательные системы

• «Спроектируй ленту рекомендаций» — классика ML system design: двухэтапка retrieval → ranking, оффлайн/онлайн-метрики, план на холодный старт и фолбэк на популярное при отказе модели.
• «Что такое two-tower и причём тут ANN?» — раздельные энкодеры пользователя и объекта; векторы объектов предвычислены и лежат в ANN-индексе — retrieval за миллисекунды.
• «Как бороться с холодным стартом?» — контентные признаки для новых объектов, популярное и онбординг для новых пользователей, бандиты для разведки.
• «Оффлайн nDCG вырос — раскатываем?» — нет: оффлайн-метрика лишь гипотеза, решение принимает A/B-тест на онлайн-метриках.

Разбор с интерактивом и тестом: Рекомендательные системы

Ранжирование: learning-to-rank

• «Чем LTR отличается от регрессии?» — регрессия минимизирует ошибку абсолютного значения по каждому объекту; LTR оптимизирует относительный порядок внутри запроса, и абсолютные скоры сами по себе не важны.
• «Что такое NDCG и зачем нормировка?» — DCG суммирует релевантность с дисконтом по позиции; нормировка на IDCG (идеальный порядок) загоняет метрику в [0,1] и делает её сравнимой между запросами с разным числом релевантных документов.
• «Pointwise vs pairwise vs listwise?» — pointwise предсказывает релевантность по одному документу и сортирует; pairwise учит порядок в паре (RankNet); listwise оптимизирует метрику всего списка (LambdaMART) и обычно даёт лучший NDCG.
• «Почему нельзя учить LTR на сырых кликах?» — position bias: верхнее кликают за позицию, модель закрепляет старый порядок; нужны IPW или модели клика.

Разбор с интерактивом и тестом: Ранжирование: learning-to-rank

Мониторинг и дрифт данных

• «Чем data drift отличается от concept drift?» — в первом случае сменилось распределение X при прежней связи X→y, во втором — сама связь; concept drift не всегда виден по входам.
• «Как мониторить модель, если лейблы приходят через полгода?» — прокси-сигналы: PSI/KL по фичам, распределение предсказаний, доля пропусков; лейблы подключаются к мониторингу ретроспективно.
• «PSI = 0.25 по ключевой фиче — ваши действия?» — сначала расследование (баг пайплайна? новый сегмент?), затем решение: чинить данные, переобучать или откатывать.
• «Как мониторить LLM-приложение без метрики качества?» — доля отказов, длина ответов, пользовательский фидбек, LLM-судья на сэмпле трафика.

Разбор с интерактивом и тестом: Мониторинг и дрифт данных

A/B-тесты и продуктовые метрики

• «Что такое p-value?» — вероятность получить такой или более экстремальный результат при верной H₀. Не вероятность, что H₀ верна — за эту формулировку снимают баллы.
• «Оффлайн-метрика выросла, онлайн — нет. Почему?» — оффлайн-данные собраны под старой моделью, прокси-метрика ≠ бизнес-метрика, сдвиг поведения пользователей.
• «Почему нельзя останавливать тест при первом p < 0.05?» — peeking раздувает ошибку I рода; длительность фиксируется заранее.
• «Тест не показал значимости — эффекта нет?» — не обязательно: возможно, не хватило мощности. Смотрим доверительный интервал и расчёт размера выборки.

Разбор с интерактивом и тестом: A/B-тесты и продуктовые метрики

Безопасность: guardrails и prompt injection

• «Чем prompt injection отличается от jailbreak?» — при джейлбрейке модель атакует сам пользователь; при инъекции вредоносные инструкции спрятаны в данных (письмо, страница), а пользователь — жертва.
• «Как защитить агента с доступом к почте?» — слоями: фильтры входа/выхода, разметка границ данных, наименьшие привилегии, подтверждение внешних действий; и назвать «смертельную триаду».
• «Можно ли решить prompt injection системным промптом?» — нет: модель не различает инструкции и данные архитектурно; промпт снижает вероятность, но гарантию дают только ограничения полномочий.
• «Что такое эшелонированная оборона?» — несколько независимых слоёв, каждый ловит часть атак; расчёт на то, что пропущенное одним слоем поймает следующий.

Разбор с интерактивом и тестом: Безопасность: guardrails и prompt injection