Продакшн и качество
ML в продакшне: дизайн ML-систем на собеседовании, рекомендательные системы и ранжирование, мониторинг и дрифт, A/B-тесты, безопасность и guardrails.
6 тем, читаются сверху вниз — от простого к сложному. У каждой темы есть интерактив, плашка «На собеседовании» и тест из 10–15 вопросов. Проверить себя по всему учебнику можно в диагностике, термины раздела собраны в глоссарии.
1. Дизайн ML-систем на собеседовании
Дизайн ML-систем на интервью: от метрики продукта до данных, модели, сервиса и мониторинга — каркас ответа без лишней теории.
На собеседовании спросят: «Спроектируйте антифрод»
2. Рекомендательные системы
Как из миллионов кандидатов выбрать десять для конкретного пользователя: коллаборативная фильтрация и матричное разложение, two-tower и ANN, холодный старт, метрики и петли обратной связи.
На собеседовании спросят: «Спроектируй ленту рекомендаций»
3. Ранжирование: learning-to-rank
Как обучить модель упорядочивать документы под запрос: pointwise, pairwise и listwise подходы, метрики MRR и NDCG, фичи «запрос-документ» и коварное смещение позиции в кликовых логах.
На собеседовании спросят: «Чем LTR отличается от регрессии?»
4. Мониторинг и дрифт данных
Мониторинг и дрифт данных: data/concept drift, PSI, алерты и когда модель в проде нужно переобучать.
На собеседовании спросят: «Чем data drift отличается от concept drift?»
5. A/B-тесты и продуктовые метрики
Оффлайн-метрики выросли — но выиграет ли от этого продукт? Единственный честный способ узнать — контролируемый эксперимент на живых пользователях. Здесь — как его спроектировать и не обмануть самого себя статистикой.
На собеседовании спросят: «Что такое p-value?»
6. Безопасность: guardrails и prompt injection
LLM с инструментами — это исполнитель, который верит любому тексту. Пока модель просто болтает, худшее — неудачный ответ; как только у неё появляются тулы и доступ к данным, текст в письме превращается в потенциальную команду. Разбираемся, как атакуют LLM-приложения и как строить защиту.
На собеседовании спросят: «Чем prompt injection отличается от jailbreak?»