RAG: поиск + генерация
RAG от идеи до продакшна: векторный поиск и ANN-индексы, векторные базы, чанкинг, гибридный поиск и реранкинг, MMR, обучение эмбеддинг-моделей и оценка качества.
8 тем, читаются сверху вниз — от простого к сложному. У каждой темы есть интерактив, плашка «На собеседовании» и тест из 10–15 вопросов. Проверить себя по всему учебнику можно в диагностике, термины раздела собраны в глоссарии.
1. Что такое RAG и зачем он нужен
Что такое RAG: поиск по документам + генерация LLM, зачем нужен в проде, схема пайплайна и базовые вопросы на интервью AI-инженера.
На собеседовании спросят: «RAG или fine-tuning?»
2. Векторный поиск и ANN-индексы
Векторный поиск для RAG: brute-force vs ANN (HNSW, IVF), trade-off recall/latency и типичные вопросы на AI-собеседовании.
На собеседовании спросят: «Косинус или евклид?»
3. Векторные базы данных и их типы
Векторные БД: managed vs self-hosted, метаданные и фильтры, когда хватит pgvector — выбор хранилища на AI-собеседовании.
На собеседовании спросят: «Чем векторная БД отличается от реляционной?»
4. Чанкинг и подготовка данных
Чанкинг в RAG: размер окна, overlap, рекурсивная нарезка — как границы чанков бьют по качеству поиска на собеседовании.
На собеседовании спросят: «Как выбрать размер чанка?»
5. Гибридный поиск и реранкинг
Гибридный поиск и реранкинг: BM25 + векторы, fusion и cross-encoder — прод-рецепт RAG и вопросы на интервью.
На собеседовании спросят: «Чем bi-encoder отличается от cross-encoder?»
6. MMR и разнообразие выдачи
MMR в RAG: баланс релевантности и новизны (λ), зачем убирать дубликаты из топ-k и как объяснить на собеседовании.
На собеседовании спросят: «Что делает параметр λ в MMR?»
7. Эмбеддинг-модели: как их обучают
Эмбеддинг-модели для поиска: InfoNCE, hard negatives, query/passage префиксы и matryoshka — база для RAG-интервью.
На собеседовании спросят: «Как дообучить эмбеддер под свой домен?»
8. Оценка качества RAG
Оценка RAG: метрики ретривера и генератора по отдельности, faithfulness, context precision — что мерить на собеседовании.
На собеседовании спросят: «Как оценить качество RAG-системы?»