Вопросы на собеседовании: RAG: поиск + генерация

32 вопроса по разделу «RAG: поиск + генерация» — с короткими ответами и ссылкой на подробный разбор каждой темы.

Как пользоваться: закрой ответ, ответь вслух за минуту, сравни. Все разделы — на странице вопросов с собеседований, теория раздела — в оглавлении раздела, тренажёр — в mock-интервью.

• Что такое RAG и зачем он нужен · 4
• Векторный поиск и ANN-индексы · 4
• Векторные базы данных и их типы · 4
• Чанкинг и подготовка данных · 4
• Гибридный поиск и реранкинг · 4
• MMR и разнообразие выдачи · 4
• Эмбеддинг-модели: как их обучают · 4
• Оценка качества RAG · 4

Что такое RAG и зачем он нужен

• «RAG или fine-tuning?» — знания vs навык: свежие/приватные факты — RAG; стиль, формат, доменное поведение — fine-tuning; часто комбинация.
• «Нарисуйте пайплайн RAG» — две фазы: индексация (документы → чанки → эмбеддинги → векторная БД) и запрос (эмбеддинг вопроса → топ-k → промпт → генерация).
• «Зачем RAG при окне в миллион токенов?» — масштаб корпуса, цена и латентность запроса, деградация внимания; поиск отбирает только нужное.
• «Как RAG влияет на галлюцинации?» — снижает и делает проверяемыми через цитаты, но не устраняет: мусор на входе — фантазия на выходе.

Разбор с интерактивом и тестом: Что такое RAG и зачем он нужен

Векторный поиск и ANN-индексы

• «Косинус или евклид?» — на нормированных векторах ранжирование почти совпадает; важнее, с какой метрикой обучалась модель эмбеддингов и построен индекс.
• «Объясните HNSW на пальцах» — многослойный граф: сверху «хайвеи» для дальних прыжков, снизу «улицы» для точной доводки; жадный спуск по слоям.
• «Что крутить в IVF, если recall низкий?» — увеличить nprobe (медленнее, полнее) или число/качество центроидов; проверить случай запросов у границ ячеек.
• «Как ANN уживается с фильтрами по метаданным?» — пост-фильтрация может оставить меньше k результатов; нужен движок с фильтрацией внутри обхода индекса.

Разбор с интерактивом и тестом: Векторный поиск и ANN-индексы

Векторные базы данных и их типы

• «Чем векторная БД отличается от реляционной?» — реляционная ищет точное совпадение по значению (равно/больше) и делает JOIN с ACID; векторная ищет семантическую близость через ANN-индекс. Разные вопросы — разные структуры данных.
• «Нужна ли отдельная векторная БД или хватит pgvector?» — если Postgres уже в стеке и векторов до ~1 млн, pgvector проще в эксплуатации: одна база, транзакции, бэкапы. Выделенный сервис — когда масштаб и нагрузка этого требуют.
• «Pre-filtering или post-filtering?» — пост-фильтр может выбить почти все результаты при строгом условии; пре-фильтр точнее, но дороже. В идеале — фильтрация внутри обхода индекса (filter-aware search).
• «Когда векторная БД вообще не нужна?» — на тысячах документов: numpy/FAISS в памяти, без отдельного сервиса.

Разбор с интерактивом и тестом: Векторные базы данных и их типы

Чанкинг и подготовка данных

• «Как выбрать размер чанка?» — это трейд-офф: крупнее — больше контекста, но размытый вектор; мельче — точный вектор, но потерянный смысл. Подбирается экспериментально по метрикам ретривера (см. оценку RAG).
• «Зачем overlap и чем он плох?» — спасает мысли на границах, но плодит дубли в индексе и выдаче.
• «Пользователи жалуются, что ответы обрываются на полуслове. Где искать?» — проверить границы чанков: скорее всего, ответ разрезан; лечится overlap или структурной нарезкой.
• «Что положить в метаданные?» — дату, источник, версию и права доступа; без ACL система небезопасна.

Разбор с интерактивом и тестом: Чанкинг и подготовка данных

Гибридный поиск и реранкинг

• «Чем bi-encoder отличается от cross-encoder?» — раздельное кодирование (векторы предвычислены, поиск быстрый, точность ниже) против совместного чтения пары (точность выше, но O(N) инференсов — только для реранкинга топа).
• «Почему RRF, а не сумма скоров?» — скоры BM25 и косинус живут в несравнимых шкалах; RRF работает с рангами и не требует калибровки.
• «Когда чистого векторного поиска мало?» — точные термины: артикулы, коды ошибок, имена, аббревиатуры, номера статей.
• «Какую цену платим за реранкер?» — латентность и стоимость инференса; поэтому он применяется к топ-N, а не ко всей базе.

Разбор с интерактивом и тестом: Гибридный поиск и реранкинг

MMR и разнообразие выдачи

• «Что делает параметр λ в MMR?» — балансирует релевантность (λ→1, риск дублей в выдаче) и новизну/разнообразие (λ→0, риск нерелевантности); на практике λ ≈ 0.5–0.7.
• «Зачем разнообразие в RAG?» — топ-k по чистой близости часто набивает контекст near-дубликатами; MMR отдаёт LLM разные грани темы вместо копий одного тезиса.
• «Когда MMR вредит?» — на узких фактовых вопросах, где важна точность топ-1; тогда λ держат высоким или отключают MMR.
• «Чем MMR отличается от реранкера?» — реранкер уточняет релевантность каждого документа отдельно, MMR оптимизирует состав набора с учётом уже выбранного (marginal relevance).

Разбор с интерактивом и тестом: MMR и разнообразие выдачи

Эмбеддинг-модели: как их обучают

• «Как дообучить эмбеддер под свой домен?» — пары запрос–документ из своих данных → майнинг hard negatives → контрастивный файнтюн с маленьким LR → переиндексация и замер recall@k на золотом сете. И проговори альтернативу: часто хватает реранкера.
• «Зачем hard negatives?» — случайные негативы слишком лёгкие, градиент по ним почти нулевой; hard negatives учат отличать похожее от релевантного.
• «Что такое матрёшка-эмбеддинги?» — обучение, при котором первые k координат — самостоятельный эмбеддинг: вектор режется под бюджет без переобучения.
• «Почему у E5 префиксы query:/passage:?» — асимметрия ролей: запрос и документ кодируются по-разному, модель должна знать, что перед ней.

Разбор с интерактивом и тестом: Эмбеддинг-модели: как их обучают

Оценка качества RAG

• «Как оценить качество RAG-системы?» — раздельно: ретривер (recall@k, precision@k, MRR/nDCG на золотом сете) и генератор (faithfulness, answer relevance через LLM-as-judge).
• «Ответы плохие — что проверишь первым?» — retrieval: чаще всего нужного чанка просто нет в контексте.
• «Что будет, если сильно увеличить k?» — recall вырастет, но в контекст поедет мусор: faithfulness и точность ответов могут упасть, латентность и стоимость вырастут.
• «Какие проблемы у LLM-as-judge?» — предпочтение длинных ответов, позиционный bias, снисходительность к текстам похожего стиля; лечится калибровкой на человеческой разметке.

Разбор с интерактивом и тестом: Оценка качества RAG