Вопросы на собеседовании: Основы машинного обучения

72 вопроса по разделу «Основы машинного обучения» — с короткими ответами и ссылкой на подробный разбор каждой темы.

Как пользоваться: закрой ответ, ответь вслух за минуту, сравни. Все разделы — на странице вопросов с собеседований, теория раздела — в оглавлении раздела, тренажёр — в mock-интервью.

• Что такое машинное обучение · 4
• Типы обучения: с учителем, без и с подкреплением · 4
• Линейная регрессия · 4
• Градиентный спуск · 4
• Логистическая регрессия и классификация · 4
• Теорема Байеса и наивный Байес · 4
• Переобучение и регуляризация · 4
• Bias–variance: разложение ошибки · 4
• Метрики качества · 4
• Кросс-валидация и подбор гиперпараметров · 4
• Деревья решений и ансамбли · 4
• SVM и kernel trick · 4
• kNN и кластеризация · 4
• EM-алгоритм и смеси гауссиан (GMM) · 4
• Снижение размерности и PCA · 4
• Фичи и утечки данных (data leakage) · 4
• Временные ряды и прогнозирование · 4
• Обучение с подкреплением: Q-learning и PPO · 4

Что такое машинное обучение

• «Чем ML отличается от классического программирования?» — правила не пишутся вручную, а выводятся из данных через оптимизацию параметров.
• «Приведи примеры задач для каждой парадигмы» — supervised: спам-фильтр, прогноз цены; unsupervised: сегментация клиентов, поиск аномалий; RL: игры, робототехника, RLHF.
• «Зачем отдельные validation и test?» — по валидации подбирают гиперпараметры, значит она «затёрта» этим подбором; тест нужен нетронутым для финальной оценки.
• «Классификация или регрессия?» — смотри на тип ответа: дискретный класс или непрерывное число. Вопрос-ловушка: предсказание вероятности клика — регрессия по форме, но решает задачу классификации.

Разбор с интерактивом и тестом: Что такое машинное обучение

Типы обучения: с учителем, без и с подкреплением

• «Чем self-supervised отличается от unsupervised?» — в self-supervised есть цель-метка, добытая из данных, и явный лосс предсказания; в unsupervised метки нет, есть только структура. Задачи вроде кластеризации — unsupervised; маскирование и next-token — self-supervised.
• «Почему LLM — это self-supervised?» — модель учат предсказывать следующий токен; «правильный ответ» — это сам текст, размечать людьми ничего не нужно, поэтому интернет становится бесплатной разметкой.
• «Что такое exploration/exploitation?» — дилемма RL: исследовать новые действия ради потенциально большей награды или использовать уже найденное хорошее.
• «Зачем transfer learning?» — переиспользовать выученные представления, чтобы обучаться на малых данных быстрее и точнее, чем с нуля.

Разбор с интерактивом и тестом: Типы обучения: с учителем, без и с подкреплением

Линейная регрессия

• «Почему MSE, а не MAE?» — квадрат дифференцируем и сильнее штрафует большие ошибки; MAE устойчивее к выбросам.
• «Когда нормальное уравнение, а когда градиентный спуск?» — аналитика хороша при малом числе признаков; спуск масштабируется на большие данные и стриминг.
• «Что будет при скоррелированных признаках?» — веса нестабильны, помогает регуляризация (L2/ridge) или отбор признаков.
• «Как модель отреагирует на выброс?» — сильно сдвинется из-за квадрата ошибки; проверь в интерактиве мысленно, куда утянула бы прямую точка высоко над остальными.

Разбор с интерактивом и тестом: Линейная регрессия

Градиентный спуск

• «Почему шаг делается против градиента?» — градиент указывает направление наискорейшего роста функции, а мы минимизируем.
• «Что будет при слишком большом/маленьком learning rate?» — расходимость или осцилляции / медленная сходимость и застревание. Идеальный ответ упоминает расписание (learning rate schedule): начать больше, к концу уменьшать.
• «Чем SGD лучше полного batch-градиента?» — шаг в тысячи раз дешевле, шум помогает исследовать поверхность; сходимость по числу шагов хуже, но по времени — быстрее.
• «Почему нельзя просто решить ∇L = 0 аналитически?» — для нейросетей замкнутой формы решения нет, уравнения нелинейны по миллиардам параметров.

Разбор с интерактивом и тестом: Градиентный спуск

Логистическая регрессия и классификация

• «Почему для классификации не годится линейная регрессия с порогом?» — выход не ограничен [0, 1], MSE неверно штрафует уверенные правильные ответы, далёкие точки двигают границу.
• «Почему кросс-энтропия, а не MSE?» — с сигмоидой MSE невыпукла и даёт исчезающие градиенты при уверенных ошибках; кросс-энтропия выпукла и сильно наказывает уверенные ошибки.
• «Граница логистической регрессии линейна или нет?» — линейна: σ монотонна, условие p = 0.5 эквивалентно w·x + b = 0. Нелинейность достигается добавлением признаков (x², произведения).
• «Как связаны сигмоида и softmax?» — softmax для двух классов вырождается в сигмоиду; сигмоида — частный случай.

Разбор с интерактивом и тестом: Логистическая регрессия и классификация

Теорема Байеса и наивный Байес

• «Болезнь у 1%, тест точен на 95%, тест положительный — вероятность болезни?» — решай по шагам на 10 000 человек: 95 истинных срабатываний против 495 ложных → 95/590 ≈ 16%. Назови эффект: base rate neglect.
• «Чем генеративная модель отличается от дискриминативной?» — генеративная учит P(x|y)·P(y) и выводит ответ через Байеса (NB), дискриминативная сразу учит P(y|x) (логрег).
• «Зачем сглаживание Лапласа?» — без него слово, не встречавшееся в классе, даёт нулевую вероятность и зануляет всё произведение.
• «Почему считают в логарифмах?» — произведение сотен малых вероятностей уходит в underflow; сумма логарифмов численно стабильна.

Разбор с интерактивом и тестом: Теорема Байеса и наивный Байес

Переобучение и регуляризация

• «Как отличить переобучение от недообучения?» — по паре ошибок train/val: большой разрыв — overfitting, обе высокие — underfitting.
• «Чем L1 отличается от L2?» — L1 зануляет веса и отбирает признаки, L2 равномерно уменьшает все веса; L2 гладкая и удобнее для оптимизации.
• «Что делать, если модель переобучилась?» — по нарастанию стоимости: регуляризация/early stopping → упростить модель → собрать больше данных.
• «Зачем k-fold, если есть train/val split?» — на малых данных один сплит шумный; усреднение по k фолдам даёт устойчивую оценку и позволяет честно подобрать гиперпараметры.

Разбор с интерактивом и тестом: Переобучение и регуляризация

Bias–variance: разложение ошибки

• «Что такое bias-variance trade-off?» — ожидаемая ошибка = смещение² + разброс + шум; рост сложности снижает смещение, но раздувает разброс, оптимум — на дне U-кривой.
• «Переобучение — это высокий bias или variance?» — высокий variance (разброс): модель идеальна на трейне, но пляшет от выборки к выборке. Высокий bias — это недообучение.
• «Как ансамбли влияют на разложение?» — бэггинг/RF усредняют модели и снижают variance; бустинг наращивает точность и снижает bias.
• «Можно ли убрать шум σ²?» — нет, это неустранимый предел из-за случайности в самих данных; ниже него ошибка на новых данных не опустится.

Разбор с интерактивом и тестом: Bias–variance: разложение ошибки

Метрики качества

• «Классы 1:100, accuracy 0.99 — модель хорошая?» — нет: столько же даёт константа «все здоровы». Смотри precision/recall, PR-AUC.
• «Что произойдёт с precision и recall при повышении порога?» — precision обычно растёт, recall падает: ловим меньше, но увереннее.
• «Как объяснить AUC?» — вероятность, что случайный позитив отранжирован выше случайного негатива; про конкретный порог AUC ничего не говорит.
• «Какую метрику взять для X?» — начни с цены ошибок FP и FN в деньгах/рисках, потом называй метрику, а не наоборот.

Разбор с интерактивом и тестом: Метрики качества

Кросс-валидация и подбор гиперпараметров

• «Зачем нужна валидация, если есть тест?» — тест трогают один раз для честной итоговой оценки; подбор по тесту = утечка и завышенное качество. Гиперпараметры выбирают по валидации/CV.
• «Что такое nested CV и когда он нужен?» — внешний цикл честно оценивает пайплайн, внутренний подбирает гиперпараметры; нужен, чтобы оценка не была завышена самим фактом выбора лучшего варианта.
• «Grid search или random search?» — при малой размерности и дискретных значениях — grid; в многомерном пространстве, где важны лишь пара параметров, эффективнее random (Бергстра) или байесовская оптимизация.
• «Как кросс-валидировать временной ряд?» — только forward-chaining/walk-forward; случайные фолды дают утечку из будущего.

Разбор с интерактивом и тестом: Кросс-валидация и подбор гиперпараметров

Деревья решений и ансамбли

• «Чем Random Forest отличается от бэггинга?» — плюс случайное подмножество признаков в каждом узле: деревья разнообразнее, корреляция между ними ниже.
• «RF или бустинг — что когда?» — RF: быстрый крепкий baseline, минимум тюнинга. Бустинг: максимум качества на табличке, но настраивай learning rate, глубину и early stopping.
• «Почему бустинг нельзя обучать параллельно по деревьям?» — каждое дерево зависит от ошибок предыдущих; параллелизм там внутри одного дерева.
• «Почему на таблицах бустинг бьёт нейросети?» — неоднородные признаки, категории, пропуски, малые и средние выборки — стихия деревьев; сетям нужно больше данных и подготовки.

Разбор с интерактивом и тестом: Деревья решений и ансамбли

SVM и kernel trick

• «Что такое опорные векторы?» — точки на краю улицы (или внутри неё при soft margin); только они определяют границу, удаление остальных её не меняет.
• «Объясни kernel trick словами» — данные неявно отображаются в пространство большой размерности, где становятся линейно разделимыми, а ядро дёшево считает там скалярные произведения, не строя само отображение.
• «Что делают C и gamma?» — C штрафует нарушения зазора (большой C → узкая улица, переобучение), gamma задаёт радиус влияния точки в RBF (большая gamma → островки вокруг точек, переобучение).
• «Почему SVM не берут на большие данные?» — матрица ядра n×n и обучение O(n²)–O(n³).

Разбор с интерактивом и тестом: SVM и kernel trick

kNN и кластеризация

• «Почему kNN называют ленивым?» — нет фазы обучения: модель хранит выборку, вся работа в момент запроса; отсюда дорогое предсказание O(n).
• «Что будет с kNN без нормализации признаков?» — расстояние захватит признак с большим масштабом, остальные перестанут влиять.
• «Гарантирует ли k-means глобальный минимум?» — нет, только локальный; лечится k-means++ и несколькими перезапусками.
• «Кластеры в форме полумесяцев — что взять?» — не k-means (он для выпуклых сфер), а DBSCAN или спектральную кластеризацию.

Разбор с интерактивом и тестом: kNN и кластеризация

EM-алгоритм и смеси гауссиан (GMM)

• «Чем GMM лучше k-means?» — мягкое отнесение (вероятности вместо жёстких меток) и эллиптические кластеры разной формы, наклона и размера за счёт полной ковариации; k-means — это его вырожденный частный случай.
• «Что делают E- и M-шаги?» — E при фиксированных параметрах считает ответственности (мягкие принадлежности), M при фиксированных ответственностях обновляет центры, ковариации и веса; каждый цикл не уменьшает правдоподобие.
• «Почему EM застревает в локальном оптимуме?» — правдоподобие невыпукло; EM монотонно его повышает, но лишь до ближайшего локального максимума, поэтому итог зависит от старта — спасают k-means++ и несколько запусков.
• «Как выбрать число компонент?» — не по правдоподобию (оно растёт с k), а по BIC/AIC со штрафом за сложность.

Разбор с интерактивом и тестом: EM-алгоритм и смеси гауссиан (GMM)

Снижение размерности и PCA

• «Что максимизирует PCA?» — дисперсию проекций; эквивалентно минимизирует среднеквадратичную ошибку линейной реконструкции.
• «Что такое главные компоненты математически?» — собственные векторы ковариационной матрицы; собственные значения — дисперсии вдоль них.
• «Зачем стандартизация перед PCA?» — без неё компоненты захватят признаки с крупными единицами измерения.
• «Можно ли верить расстояниям между кластерами на t-SNE?» — нет: метод сохраняет локальные окрестности, глобальная геометрия искажается.

Разбор с интерактивом и тестом: Снижение размерности и PCA

Фичи и утечки данных (data leakage)

• «AUC 0.99 оффлайн, 0.6 в проде — что случилось?» — классика: утечка. Проверить фичи, заполняемые после события, схему сплита и предобработку до сплита.
• «Как сделать target encoding без утечки?» — out-of-fold: кодировку для строки считаем на фолдах без неё; плюс сглаживание для редких категорий.
• «Почему random split временных данных — обман?» — модель видит будущее: оффлайн-метрика завышена, в проде такой информации не будет.
• «Как ищете утечки на практике?» — аудит фичей по моменту появления, подозрительно важные фичи, сравнение метрики при сплите по времени и случайном.

Разбор с интерактивом и тестом: Фичи и утечки данных (data leakage)

Временные ряды и прогнозирование

• «Как валидировать модель прогноза продаж?» — только сплит по времени, лучше walk-forward: несколько последовательных отрезков «обучение на прошлом — проверка на будущем».
• «Почему naive-бейзлайн обязателен?» — он задаёт планку почти бесплатно; сложная модель, не бьющая seasonal naive, не даёт ценности.
• «Какие фичи нельзя брать?» — всё, что использует данные после момента предсказания: центрированные окна, агрегаты за «весь период», статистики, посчитанные по всему ряду до сплита.
• «Чем бы прогнозировали 10 000 рядов товаров?» — бустинг на лагах и календарных фичах: одна модель на все ряды, внешние признаки добавляются тривиально.

Разбор с интерактивом и тестом: Временные ряды и прогнозирование

Обучение с подкреплением: Q-learning и PPO

• «Что такое Q-learning и уравнение Беллмана?» — Q(s,a) — ожидаемая отдача действия; уравнение Беллмана Q(s,a)=r+γ·max Q(s′,·) связывает её со следующим шагом; Q-learning подгоняет Q к этой цели обновлением Q ← Q+α·[r+γ·max Q(s′,·)−Q], off-policy (учится по max, а не по реально сделанному ходу).
• «Exploration vs exploitation?» — исследовать новое ради потенциально большей награды или использовать найденное лучшее; типичный компромисс — ε-жадность: с вероятностью ε ход наугад, иначе argmax.
• «Как RLHF связан с RL?» — это PPO против reward-модели с KL-штрафом: LLM-политика генерирует ответы, reward-модель их оценивает, PPO повышает награду, KL держит модель у reference.
• «Чем policy-методы отличаются от value-методов?» — value (Q-learning) учит ценность действий и берёт argmax; policy (REINFORCE, PPO) параметризует и двигает саму политику. Для LLM с огромным пространством действий работают именно policy-методы.

Разбор с интерактивом и тестом: Обучение с подкреплением: Q-learning и PPO