Глоссарий: термины ML и LLM

461 терминов из всех разделов учебника — коротко и без воды. Для запоминания есть карточки с интервальным повторением.

Основы машинного обучения

Ансамбльensemble

Объединение многих моделей, чьи ответы усредняются или голосуют. Разные модели ошибаются по-разному, ошибки частично гасятся — вместе они точнее любой по отдельности.Разбор: Деревья решений и ансамбли

Апостериорная вероятностьposterior

Обновлённая вероятность гипотезы после учёта улик — результат применения теоремы Байеса: приор, умноженный на правдоподобие, с нормировкой.Разбор: Теорема Байеса и наивный Байес

Биннингbinning

Разбиение непрерывного признака на корзины-интервалы, чтобы линейная модель смогла поймать нелинейную зависимость.Разбор: Фичи и утечки данных (data leakage)

Бутстрепbootstrap

Случайная выборка с возвращением того же размера, что исходная: часть объектов повторяется, часть не попадает вовсе. Основа бэггинга; непопавшие объекты дают бесплатную out-of-bag оценку.Разбор: Деревья решений и ансамбли

Бэггингbagging

Обучение множества моделей на бутстреп-выборках с последующим усреднением ответов. Снижает разброс нестабильных моделей вроде глубоких деревьев, почти не меняя смещение.Разбор: Деревья решений и ансамбли

Валидационная выборкаvalidation set

Часть данных, отложенная для подбора гиперпараметров и отслеживания момента, когда модель начинает переобучаться. Модель на ней не обучается, но решения под неё подстраиваются.Разбор: Что такое машинное обучение

Временной рядtime series

Наблюдения, упорядоченные во времени: продажи по дням, нагрузка по минутам. Порядок важен, а соседние точки зависимы — это меняет и подготовку признаков, и валидацию.Разбор: Временные ряды и прогнозирование

Выбросoutlier

Аномальная точка, сильно выбивающаяся из общей закономерности данных. Из-за квадрата ошибки в MSE даже один выброс может заметно развернуть линейную модель.Разбор: Линейная регрессия

Выпуклая функцияconvex function

Функция с единственной «долиной»: любой локальный минимум является глобальным, поэтому градиентный спуск гарантированно находит оптимум. Поверхности потерь нейросетей невыпуклы.Разбор: Градиентный спуск

Генеративная модельgenerative model

Модель, которая учит совместное распределение данных и меток — «как выглядят объекты каждого класса» — и выводит ответ через теорему Байеса. Пример — наивный Байес.Разбор: Теорема Байеса и наивный Байес · VAE и GAN: генерация до диффузии

Гиперпараметрыhyperparameters

Настройки модели и процесса обучения, которые задаёт человек (сложность модели, скорость обучения), в отличие от параметров, которые модель подбирает сама. Выбираются по валидационной выборке.Разбор: Что такое машинное обучение

Главная компонентаprincipal component

Направление в пространстве признаков, вдоль которого дисперсия проекций максимальна; каждая следующая ортогональна предыдущим. Математически — собственные векторы ковариационной матрицы.Разбор: Снижение размерности и PCA

Градиентgradient

Вектор производных функции по всем параметрам; указывает направление наискорейшего роста функции. Чтобы уменьшать ошибку, шаг оптимизации делают против градиента.Разбор: Градиентный спуск

Градиентный бустингgradient boosting

Ансамбль, где неглубокие деревья строятся последовательно и каждое исправляет ошибки предыдущих, приближая антиградиент лосса. Чемпион на табличных данных: XGBoost, LightGBM, CatBoost.Разбор: Деревья решений и ансамбли

Градиентный спускgradient descent

Итеративный алгоритм оптимизации: на каждом шаге параметры сдвигаются против градиента функции потерь — в сторону наискорейшего убывания ошибки. Им обучают почти всё, от регрессии до LLM.Разбор: Градиентный спуск

Декомпозиция рядаdecomposition

Разложение временного ряда на тренд (медленное движение уровня), сезонность (повторяющийся узор) и остаток (необъяснённый шум). Хорошая модель ловит первые две компоненты и не учит третью.Разбор: Временные ряды и прогнозирование

Дерево решенийdecision tree

Модель из последовательных вопросов «признак больше порога?», разрезающих пространство признаков на прямоугольные области. Интерпретируема, но нестабильна и на большой глубине переобучается.Разбор: Деревья решений и ансамбли

Дисбаланс классовclass imbalance

Ситуация, когда классов сильно не поровну, например один больной на сто здоровых. Делает accuracy и ROC-AUC обманчивыми; честнее смотреть precision, recall и PR-AUC.Разбор: Метрики качества

Дискриминативная модельdiscriminative model

Модель, которая сразу учит вероятность класса при данном входе — границу между классами, не тратя силы на моделирование самих данных. Пример — логистическая регрессия.Разбор: Теорема Байеса и наивный Байес

Доля объяснённой дисперсииexplained variance ratio

Часть общей дисперсии данных, приходящаяся на главную компоненту. По накопленной доле выбирают число компонент — обычно столько, чтобы суммарно объяснить 90–95% дисперсии.Разбор: Снижение размерности и PCA

Доля правильных ответовaccuracy

Доля объектов, для которых модель угадала класс. Обманчива при дисбалансе классов: константа «все здоровы» даёт 99% на выборке, где болен один из ста.Разбор: Метрики качества

Зазорmargin

Расстояние от разделяющей границы до ближайших точек классов. SVM его максимизирует: чем шире «улица» между классами, тем устойчивее классификация слегка сдвинутых новых точек.Разбор: SVM и kernel trick

Индекс ДжиниGini impurity

Мера «грязности» узла дерева: ноль, когда в узле объекты одного класса, максимум при равной смеси. Дерево жадно выбирает разрезы, сильнее всего снижающие эту грязность.Разбор: Деревья решений и ансамбли

Инерцияinertia

Сумма квадратов расстояний от точек до центров их кластеров — величина, которую минимизирует k-means. Монотонно падает с ростом числа кластеров, поэтому по ней одной число кластеров не выбрать.Разбор: kNN и кластеризация

Инженерия признаковfeature engineering

Придумывание и преобразование признаков — перевод знаний о задаче на язык чисел, понятный модели. На табличных данных удачная фича даёт больше, чем смена алгоритма.Разбор: Фичи и утечки данных (data leakage)

Исследование против использованияexploration vs exploitation

Ключевая дилемма обучения с подкреплением: пробовать новые действия ради потенциально большей награды или эксплуатировать уже найденную хорошую стратегию.Разбор: Типы обучения: с учителем, без и с подкреплением

Кернел-трюкkernel trick

Приём, неявно переводящий данные в пространство большей размерности, где они линейно разделимы: ядро дёшево считает там скалярные произведения, не строя само отображение.Разбор: SVM и kernel trick

Классификацияclassification

Задача предсказания дискретного класса объекта: спам или нет, кошка или собака. Отличается от регрессии, где предсказывается непрерывное число.Разбор: Что такое машинное обучение

Кластеризацияclustering

Задача обучения без учителя: сгруппировать похожие объекты без готовых меток — сегменты клиентов, темы документов, дубликаты данных.Разбор: kNN и кластеризация

Компромисс смещения и разбросаbias-variance trade-off

Смещение — систематическая ошибка слишком простой модели, разброс — чувствительность к конкретной выборке. С ростом сложности смещение падает, а разброс растёт; лучшее качество — посередине.Разбор: Переобучение и регуляризация

Кросс-валидацияcross-validation

Оценка качества по k разбиениям: данные делят на k частей, k раз обучаются на всех, кроме одной, и валидируются на оставшейся, метрики усредняют. Надёжнее одного сплита на малых данных.Разбор: Переобучение и регуляризация

Кросс-энтропияcross-entropy

Функция потерь для классификации, сравнивающая предсказанные вероятности с истинными метками. Почти бесконечно наказывает уверенные ошибки; с сигмоидой даёт выпуклую задачу, в отличие от MSE.Разбор: Логистическая регрессия и классификация · Распознавание цифр из пикселей

Лаговые признакиlag features

Значения ряда в прошлые моменты — вчера, неделю назад, — поданные модели как признаки. Превращают прогноз ряда в обычную табличную задачу, например для градиентного бустинга.Разбор: Временные ряды и прогнозирование

Ленивое обучениеlazy learning

Подход без фазы обучения: модель просто запоминает выборку, а все вычисления откладывает до момента предсказания. Классический пример — kNN с его дорогим поиском соседей на каждый запрос.Разбор: kNN и кластеризация

Линейная разделимостьlinear separability

Свойство данных, при котором классы можно идеально разделить прямой или гиперплоскостью. При полной разделимости веса логистической регрессии без регуляризации раздуваются бесконечно.Разбор: Логистическая регрессия и классификация · От нейрона к многослойному перцептрону

Линейная регрессияlinear regression

Модель, предсказывающая число как взвешенную сумму признаков плюс сдвиг. Обучение — подбор весов, при которых средняя ошибка на обучающих данных минимальна. Фундамент, на котором строится весь ML.Разбор: Линейная регрессия

Логистическая регрессияlogistic regression

Линейная модель классификации: считает взвешенную сумму признаков и пропускает её через сигмоиду, получая вероятность класса. Обучается минимизацией кросс-энтропии.Разбор: Логистическая регрессия и классификация

Локальный минимумlocal minimum

Точка, где функция потерь меньше, чем во всех соседних, но не обязательно минимальна глобально. Чисто градиентным шагом из такой «долины» не выбраться; помогают шум SGD и момент.Разбор: Градиентный спуск

Матрица ошибокconfusion matrix

Таблица четырёх исходов бинарной классификации: истинно и ложно положительные, истинно и ложно отрицательные. Из этих четырёх чисел собираются precision, recall и другие метрики.Разбор: Метрики качества

Машинное обучениеmachine learning

Подход, при котором программа не следует написанным вручную правилам, а выводит их из данных: подбирает параметры модели так, чтобы качество на задаче росло с накоплением опыта.Разбор: Что такое машинное обучение

Метод локтяelbow method

Способ выбрать число кластеров: рисуют зависимость инерции от k и ищут излом, после которого добавление кластера почти ничего не улучшает.Разбор: kNN и кластеризация

Метод k-среднихk-means

Алгоритм кластеризации: чередует приписывание точек к ближайшим центроидам и пересчёт центроидов как средних. Сходится всегда, но лишь к локальному минимуму; число кластеров задаётся заранее.Разбор: kNN и кластеризация

Мультиколлинеарностьmulticollinearity

Сильная корреляция между признаками, из-за которой отдельные веса линейной модели становятся нестабильными и теряют интерпретируемость. Лечится регуляризацией или отбором признаков.Разбор: Линейная регрессия

Мягкий зазорsoft margin

Версия SVM для зашумлённых данных: отдельным точкам разрешают нарушать зазор за штраф. Компромисс между шириной улицы и числом нарушений регулирует гиперпараметр C.Разбор: SVM и kernel trick

Наивный Байесnaive Bayes

Классификатор на теореме Байеса с «наивным» допущением, что признаки условно независимы при данном классе. Обучается подсчётом частот за один проход; классика текстов и быстрый бейзлайн.Разбор: Теорема Байеса и наивный Байес

Наивный прогнозnaive forecast

Бейзлайн «завтра = сегодня» или «завтра = неделю назад» (сезонная версия). Обязательная планка качества: модель, не бьющая сезонный наивный прогноз, не даёт ценности.Разбор: Временные ряды и прогнозирование

Недообучениеunderfitting

Модель слишком проста, чтобы уловить закономерность: ошибка высока и на обучающих, и на новых данных. Лечится более выразительной моделью или лучшими признаками.Разбор: Переобучение и регуляризация

Нормальное уравнениеnormal equation

Аналитическое решение линейной регрессии: оптимальные веса считаются одной матричной формулой без итераций. Непрактично при большом числе признаков из-за дорогого обращения матрицы.Разбор: Линейная регрессия

Обобщениеgeneralization

Способность модели правильно работать на данных, которых она не видела при обучении, — главная цель ML. Разрыв между качеством на обучающей и новых выборках — основной диагностический сигнал.Разбор: Что такое машинное обучение

Обучение без учителяunsupervised learning

Обучение без меток: сигналом служит сама структура данных. Модель группирует похожие объекты, сжимает признаки, находит аномалии — описывает, как устроены данные, а не проверяет ответы.Разбор: Типы обучения: с учителем, без и с подкреплением

Обучение с подкреплениемreinforcement learning

Обучение через действия: агент не получает правильных ответов, а действует в среде и получает награду, иногда отложенную. Методом проб и ошибок он учится действовать так, чтобы награды было больше.Разбор: Типы обучения: с учителем, без и с подкреплением

Обучение с учителемsupervised learning

Обучение на парах «вход — правильный ответ»: модель минимизирует ошибку между своим предсказанием и меткой. Даёт точность, но требует дорогой ручной разметки данных.Разбор: Типы обучения: с учителем, без и с подкреплением

Опорные векторыsupport vectors

Точки обучающей выборки, лежащие на краю зазора: только они определяют положение границы SVM. Остальные объекты можно удалить — граница не изменится.Разбор: SVM и kernel trick

Переобучениеoverfitting

Модель заучивает обучающие данные вместе с шумом вместо закономерности: почти нулевая ошибка на трейне и большая на новых данных. Признак — заметный разрыв между train- и validation-ошибкой.Разбор: Переобучение и регуляризация

Полнотаrecall

Доля найденных моделью положительных объектов среди всех настоящих положительных: «скольких больных мы поймали». Важна, когда дороже всего пропуск.Разбор: Метрики качества

Порог классификацииdecision threshold

Значение скора, выше которого модель относит объект к положительному классу. Понижение порога растит полноту, но роняет точность; положение порога диктует цена ошибок в бизнесе.Разбор: Метрики качества

Правдоподобиеlikelihood

Вероятность наблюдать имеющиеся данные при условии, что гипотеза верна: например, вероятность положительного теста у действительно больного человека.Разбор: Теорема Байеса и наивный Байес

Приорprior

Априорная вероятность гипотезы — вера в неё до появления улик, например базовая частота болезни в популяции. Один из двух множителей в теореме Байеса.Разбор: Теорема Байеса и наивный Байес

Проклятие размерностиcurse of dimensionality

Эффект высоких размерностей: расстояния между всеми парами точек становятся почти одинаковыми, и «ближайший сосед» теряет смысл. Ломает kNN и k-means; лечится снижением размерности.Разбор: Снижение размерности и PCA

Ранняя остановкаearly stopping

Остановка обучения в момент минимума ошибки на валидационной выборке — до того, как модель перейдёт от выучивания закономерности к запоминанию шума.Разбор: Переобучение и регуляризация · Практика обучения: батчи, dropout, batchnorm

Регуляризацияregularization

Штраф за большие веса, добавляемый к функции потерь, чтобы ограничить сложность модели и снизить переобучение, не упрощая саму модель. Сила штрафа управляется отдельным коэффициентом.Разбор: Переобучение и регуляризация

Решающая границаdecision boundary

Поверхность в пространстве признаков, разделяющая области, где модель предсказывает разные классы. У логистической регрессии граница всегда линейна, несмотря на нелинейную сигмоиду.Разбор: Логистическая регрессия и классификация

Сглаживание ЛапласаLaplace smoothing

Добавление виртуального счётчика +1 при оценке частот в наивном Байесе, чтобы слово, не встречавшееся в классе, не давало нулевую вероятность и не зануляло всё произведение.Разбор: Теорема Байеса и наивный Байес

Седловая точкаsaddle point

Точка с почти нулевым градиентом, не являющаяся минимумом: по одним направлениям функция растёт, по другим убывает. В высоких размерностях именно сёдла чаще всего тормозят обучение.Разбор: Градиентный спуск

Сигмоидаsigmoid

Гладкая S-образная функция, сжимающая любое число в интервал от 0 до 1. Превращает линейный скор в вероятность класса в логистической регрессии и нейросетях.Разбор: Логистическая регрессия и классификация · Функции активации

Скорость обученияlearning rate

Множитель, задающий длину шага градиентного спуска. Слишком маленький — обучение мучительно медленное, слишком большой — ошибка начинает расти и процесс расходится.Разбор: Градиентный спуск · Оптимизаторы: SGD, Momentum, Adam

Случайный лесrandom forest

Бэггинг над глубокими деревьями плюс случайное подмножество признаков в каждом узле: деревья разнообразнее, усреднение сильнее гасит разброс. Крепкий бейзлайн на табличных данных.Разбор: Деревья решений и ансамбли

Снижение размерностиdimensionality reduction

Сжатие пространства признаков с сохранением главной структуры данных — ради визуализации, скорости, борьбы с шумом и проклятием размерности.Разбор: Снижение размерности и PCA

Стандартизацияstandardization

Приведение признака к нулевому среднему и единичному разбросу. Обязательна перед методами на расстояниях и регуляризацией; параметры считаются только по обучающей выборке.Разбор: Фичи и утечки данных (data leakage)

Таргет-кодированиеtarget encoding

Замена категории средним значением целевой переменной по ней. Компактно и мощно, но без out-of-fold-схемы редкие категории запоминают свой таргет — получается микро-утечка.Разбор: Фичи и утечки данных (data leakage)

Теорема БайесаBayes' theorem

Правило пересчёта вероятности гипотезы при появлении новых данных: апостериорная вероятность пропорциональна приору, умноженному на правдоподобие улик.Разбор: Теорема Байеса и наивный Байес

Тестовая выборкаtest set

«Неприкосновенная» часть данных, которую трогают один раз в самом конце — для честной итоговой оценки модели. Многократная подстройка решений под тест завышает оценку качества.Разбор: Что такое машинное обучение

Точностьprecision

Доля действительно положительных среди всех объектов, которые модель назвала положительными: «сколько из наших тревог — настоящие». Важна, когда дорога ложная тревога.Разбор: Метрики качества · Видеокарты и VRAM: железо для нейросетей

Трансферное обучениеtransfer learning

Перенос знаний с одной задачи на другую: берут модель, обученную на большой выборке, и дообучают на своей задаче. Позволяет учиться на малых данных быстрее и точнее, чем с нуля.Разбор: Типы обучения: с учителем, без и с подкреплением

Утечка данныхdata leakage

Попадание в признаки информации, которой в момент предсказания ещё нет: поля, заполненные после события, предобработка до сплита, будущее в трейне. Симптом — блестящая оффлайн-метрика и провал в проде.Разбор: Фичи и утечки данных (data leakage)

Функция потерьloss function

Число, измеряющее, насколько предсказания модели плохи на данных. Обучение любой модели — поиск параметров, при которых функция потерь минимальна.Разбор: Линейная регрессия

Центроидcentroid

Центр кластера — среднее всех его точек. В k-means центроиды пересчитываются на каждой итерации, а точки приписываются к ближайшему из них.Разбор: kNN и кластеризация

Частичное обучениеsemi-supervised learning

Комбинация малого числа размеченных примеров и большого объёма неразмеченных: модель учится структуре на неразмеченных данных и уточняет ответы по редким меткам.Разбор: Типы обучения: с учителем, без и с подкреплением

Экспоненциальное сглаживаниеexponential smoothing

Прогноз как взвешенное среднее прошлых значений ряда, где свежие точки весят больше. Версии с трендом и сезонностью известны как метод Холта-Уинтерса.Разбор: Временные ряды и прогнозирование

Ядроkernel

Функция от пары объектов, равная скалярному произведению их образов в спрямляющем пространстве, — по сути мера похожести. Позволяет SVM строить нелинейные границы.Разбор: SVM и kernel trick

ARIMAautoregressive integrated moving average

Классическая модель прогнозирования: следующая точка — линейная комбинация прошлых значений ряда и прошлых ошибок после устранения тренда разностями. Ряд объясняется собственным прошлым.Разбор: Временные ряды и прогнозирование

AUCarea under curve

Площадь под ROC-кривой: вероятность того, что случайный положительный объект получит скор выше случайного отрицательного. 0.5 — уровень монетки, 1 — идеальное ранжирование.Разбор: Метрики качества

DBSCANdensity-based spatial clustering of applications with noise

Плотностная кластеризация: растит кластеры из плотных областей, сама определяет их число и помечает выбросы как шум. Справляется с невыпуклыми формами, на которых k-means ломается.Разбор: kNN и кластеризация

F1-мераf1 score

Гармоническое среднее precision и recall: сворачивает обе метрики в одно число и жёстко штрафует сильный перекос в любую из сторон.Разбор: Метрики качества

kNNk-nearest neighbors

Метод k ближайших соседей: класс нового объекта определяется голосованием меток k самых близких точек обучающей выборки, для регрессии значения усредняются. Обязательна нормализация признаков.Разбор: kNN и кластеризация

L1-регуляризацияlasso

Штраф в виде суммы модулей весов: из-за «острого угла» модуля в нуле выталкивает часть весов ровно в ноль, за счёт чего работает как встроенный отбор признаков.Разбор: Переобучение и регуляризация

L2-регуляризацияridge

Штраф в виде суммы квадратов весов: равномерно прижимает все веса к нулю, не обнуляя их. Гладкая и удобная для оптимизации, стабилизирует модель при скоррелированных признаках.Разбор: Переобучение и регуляризация

MAPEmean absolute percentage error

Средняя абсолютная ошибка в процентах от фактического значения — удобно сравнивать ряды разного масштаба. Взрывается на рядах около нуля; тогда берут MAE или sMAPE.Разбор: Временные ряды и прогнозирование

MSEmean squared error

Среднеквадратичная ошибка: средний квадрат разницы между предсказанием и правдой. Гладкая и удобная для оптимизации, сильнее штрафует большие промахи, поэтому чувствительна к выбросам.Разбор: Линейная регрессия

One-hot кодированиеone-hot encoding

Кодирование категориального признака набором бинарных колонок — по одной на каждое возможное значение. Просто и безопасно, но взрывается на признаках с тысячами категорий.Разбор: Фичи и утечки данных (data leakage)

PCAprincipal component analysis

Метод главных компонент: поворачивает систему координат так, чтобы максимум дисперсии собрался в первых осях, и отбрасывает остальные. Лучшее линейное сжатие по среднеквадратичной ошибке.Разбор: Снижение размерности и PCA

R²coefficient of determination

Доля дисперсии целевой переменной, которую объясняет модель: единица — идеальное предсказание, ноль — не лучше, чем всегда предсказывать среднее значение.Разбор: Линейная регрессия

RBF-ядроradial basis function

Самое популярное ядро SVM: похожесть, экспоненциально падающая с расстоянием между точками. Параметр gamma задаёт радиус влияния точки; слишком большой — переобучение «островками».Разбор: SVM и kernel trick

ROC-криваяreceiver operating characteristic curve

График доли пойманных позитивов против доли ложных тревог при всех порогах сразу. Идеальная модель прижимается к левому верхнему углу, случайная идёт по диагонали.Разбор: Метрики качества

SGDstochastic gradient descent

Стохастический градиентный спуск: градиент оценивается не по всему датасету, а по одному примеру или небольшому мини-батчу. Шаги шумные, но дешёвые; шум помогает выскакивать из плохих минимумов.Разбор: Градиентный спуск · Оптимизаторы: SGD, Momentum, Adam

Softmaxsoftmax

Обобщение сигмоиды на много классов: превращает произвольные числа-скоры в распределение вероятностей — все положительны и в сумме дают единицу. Стоит в выходном слое классификаторов и LLM.Разбор: Логистическая регрессия и классификация · Функции активации

SVMsupport vector machine

Метод опорных векторов — классификатор, проводящий границу с максимальным зазором до ближайших точек обоих классов. Широкий зазор даёт запас прочности и лучшее обобщение.Разбор: SVM и kernel trick

t-SNEt-distributed stochastic neighbor embedding

Нелинейный метод визуализации: вкладывает данные в 2D, сохраняя локальные окрестности точек. Расстояния между кластерами на картинке не интерпретируются — инструмент разглядывания, а не измерения.Разбор: Снижение размерности и PCA

Walk-forward валидацияwalk-forward validation

Валидация рядов расширяющимся окном: обучение на данных до точки, прогноз следующего отрезка, сдвиг границы и усреднение ошибок. Честная замена random split, который подсматривает в будущее.Разбор: Временные ряды и прогнозирование

Нейронные сети

Автоматическое дифференцированиеautomatic differentiation

Механизм фреймворков, который строит граф вычислений и сам считает производные любой композиции операций. Благодаря ему backprop работает для любой архитектуры без ручного вывода формул.Разбор: Обратное распространение ошибки

Батч-нормализацияbatch normalization

Нормировка активаций по статистикам текущего батча с обучаемыми сдвигом и масштабом. Ускоряет обучение CNN, но зависит от размера батча и требует бегущих статистик на инференсе.Разбор: Практика обучения: батчи, dropout, batchnorm

Вентильgate

Маленький сигмоидный слой со значениями от 0 до 1, управляющий потоком информации в рекуррентной сети: что стереть из памяти, что записать, что показать наружу. Основной механизм LSTM и GRU.Разбор: Рекуррентные сети (RNN, LSTM)

Весweight

Обучаемый коэффициент, на который нейрон умножает входной сигнал. Веса подбираются градиентным спуском и определяют, какие признаки и насколько сильно влияют на выход.Разбор: От нейрона к многослойному перцептрону

Взрывающиеся градиентыexploding gradients

Экспоненциальный рост градиента по цепочке умножений, из-за которого лосс скачет или уходит в NaN. Стандартное лекарство — обрезка градиентов.Разбор: Обратное распространение ошибки

Гиперболический тангенсtanh

Активация с диапазоном от минус единицы до единицы: центрирована вокруг нуля, что удобнее для оптимизации, чем сигмоида, но точно так же насыщается на больших входах.Разбор: Функции активации

Глубокое обучениеdeep learning

Обучение нейросетей со многими слоями, где каждый слой строит признаки поверх предыдущих. Композиция даёт иерархию признаков и требует куда меньше нейронов, чем один широкий слой.Разбор: От нейрона к многослойному перцептрону

Затухание весовweight decay

Регуляризация, на каждом шаге слегка уменьшающая веса, чтобы они не разрастались. В AdamW применяется отдельным слагаемым, а не как L2-штраф в лоссе.Разбор: Оптимизаторы: SGD, Momentum, Adam

Затухающие градиентыvanishing gradients

Экспоненциальное уменьшение градиента к ранним слоям, когда множители в цепочке производных меньше единицы. Классическая причина — насыщающиеся активации; лечат ReLU, нормализация и остаточные связи.Разбор: Обратное распространение ошибки

Инвариантность к сдвигуtranslation invariance

Способность модели узнавать признак независимо от его положения на картинке. У свёрток встроена благодаря скольжению одного ядра; у полносвязных сетей отсутствует.Разбор: Свёрточные сети (CNN)

Индуктивное смещениеinductive bias

Встроенные в архитектуру априорные предположения о данных — например, локальность и разделяемые веса свёрток. Помогает учиться на малых данных, но ограничивает гибкость.Разбор: Свёрточные сети (CNN)

Инициализация весовweight initialization

Задание стартовых весов случайными числами правильного масштаба (схемы Xavier и He). Нулевая инициализация вырождает слой: из-за симметрии все нейроны навсегда остаются копиями друг друга.Разбор: Практика обучения: батчи, dropout, batchnorm

Искусственный нейронartificial neuron

Базовый элемент нейросети: взвешивает входы, суммирует их со смещением и пропускает результат через функцию активации. Из таких блоков, соединённых слоями, строится любая нейросеть.Разбор: От нейрона к многослойному перцептрону

Карта признаковfeature map

Выход свёрточного фильтра: карта откликов детектора на каждом участке изображения. Слой из многих фильтров выдаёт по отдельной карте на каждый искомый признак.Разбор: Свёрточные сети (CNN)

Линейный классификаторlinear classifier

Модель, считающая скор каждого класса как взвешенную сумму признаков плюс смещение. Границы классов — гиперплоскости; для картинок веса можно увидеть как выученные «шаблоны» классов.Разбор: Распознавание цифр из пикселей

Мёртвые нейроныdead neurons

ReLU-нейроны, застрявшие в отрицательной зоне на всех входах: их выход и градиент — тождественный ноль, и обучение их уже не вернёт. Лечится Leaky ReLU, GELU и аккуратным learning rate.Разбор: Функции активации

Мини-батчmini-batch

Случайная пачка примеров (обычно 32–1024), по которой оценивается градиент на одном шаге. Компромисс между шумной оценкой по одному примеру и дорогим подсчётом по всему датасету.Разбор: Практика обучения: батчи, dropout, batchnorm

Многослойный перцептронmultilayer perceptron

Нейросеть из чередующихся линейных слоёв и нелинейных активаций. Простейшая полносвязная архитектура, способная приближать очень сложные функции.Разбор: От нейрона к многослойному перцептрону

Насыщениеsaturation

Зона активации, где её производная почти нулевая, — например, большие по модулю входы сигмоиды. Градиент через насыщенный нейрон не проходит, и слой перестаёт учиться.Разбор: Функции активации

Нормализация слояlayer normalization

Нормировка активаций по признакам одного примера, без участия батча. Дружит с последовательностями переменной длины и стала стандартом трансформеров.Разбор: Практика обучения: батчи, dropout, batchnorm

Обратное распространение ошибкиbackpropagation

Алгоритм вычисления градиента лосса по всем весам сети за один обратный проход через повторное применение правила цепочки. Считает градиенты, но не обновляет веса — это работа оптимизатора.Разбор: Обратное распространение ошибки

Обратный проходbackward pass

Проход от лосса к входам, на котором градиент каждого узла получается умножением входящего градиента на локальную производную. Стоит примерно как два прямых прохода.Разбор: Обратное распространение ошибки

Обрезка градиентовgradient clipping

Масштабирование градиента вниз, если его норма превышает порог: один аномальный батч не сможет разнести веса. Стандартная практика для рекуррентных сетей и LLM.Разбор: Практика обучения: батчи, dropout, batchnorm

Перцептронperceptron

Один нейрон с пороговой активацией — простейший линейный классификатор. Проводит гиперплоскость в пространстве признаков и потому решает только линейно разделимые задачи.Разбор: От нейрона к многослойному перцептрону

Правило цепочкиchain rule

Правило дифференцирования сложной функции: чувствительности перемножаются по цепочке зависимостей. Математическая основа обратного распространения ошибки.Разбор: Обратное распространение ошибки

Прогревwarmup

Начальный этап обучения, когда learning rate линейно растёт от нуля. Защищает хрупкую свежеинициализированную модель от разноса, пока статистики моментов оптимизатора не накопились.Разбор: Оптимизаторы: SGD, Momentum, Adam

Прямой проходforward pass

Вычисление выхода сети от входа к лоссу с сохранением промежуточных активаций — они понадобятся на обратном проходе для подсчёта локальных производных.Разбор: Обратное распространение ошибки

Разделяемые весаweight sharing

Использование одного и того же ядра во всех позициях изображения: признак детектируется где угодно одними весами, а параметров нужно в тысячи раз меньше, чем полносвязному слою.Разбор: Свёрточные сети (CNN)

Расписание скорости обученияlearning rate schedule

План изменения learning rate по ходу обучения: типично линейный прогрев в начале и косинусное затухание к концу. Постоянный шаг почти никогда не оптимален.Разбор: Практика обучения: батчи, dropout, batchnorm

Рецептивное полеreceptive field

Область входного изображения, влияющая на данный нейрон. С глубиной сети растёт: верхние слои «видят» крупные фрагменты и собирают из простых признаков сложные.Разбор: Свёрточные сети (CNN)

Скрытое состояниеhidden state

Вектор фиксированного размера, в который RNN ужимает всю прочитанную историю и который обновляется на каждом шаге. Константная память — и сила, и бутылочное горлышко рекуррентных сетей.Разбор: Рекуррентные сети (RNN, LSTM)

Скрытый слойhidden layer

Слой нейронов между входом и выходом сети. Строит новые признаки из исходных, благодаря чему сеть решает линейно неразделимые задачи вроде XOR.Разбор: От нейрона к многослойному перцептрону

Смещениеbias

Обучаемый сдвиг, прибавляемый к взвешенной сумме входов нейрона. Без него граница решения была бы обязана проходить через начало координат.Разбор: От нейрона к многослойному перцептрону

Сопоставление с шаблонамиtemplate matching

Интерпретация линейного классификатора картинок: веса каждого класса — картинка-шаблон, а предсказание — выбор шаблона, с которым вход дал наибольшее скалярное произведение.Разбор: Распознавание цифр из пикселей

Теорема об универсальной аппроксимацииuniversal approximation theorem

Утверждение, что MLP даже с одним достаточно широким скрытым слоем может приблизить любую непрерывную функцию. Не гарантирует ни разумный размер сети, ни то, что обучение найдёт нужные веса.Разбор: От нейрона к многослойному перцептрону

Функция активацииactivation function

Нелинейное преобразование выхода нейрона. Без активаций стопка линейных слоёв схлопывается в один линейный слой, а производная активации определяет, как течёт градиент при обучении.Разбор: Функции активации

Эпохаepoch

Один полный проход обучения по всем примерам датасета. Обучение обычно длится десятки эпох, а прогресс отслеживают по кривым ошибки на трейне и валидации.Разбор: Практика обучения: батчи, dropout, batchnorm

Ядро свёрткиconvolution kernel

Маленькая матрица весов (например, 3 на 3), скользящая по изображению и считающая скалярное произведение с каждым окном. Один обучаемый детектор признака, применяемый во всех позициях.Разбор: Свёрточные сети (CNN)

Ячейка памятиcell state

Отдельный «конвейер» памяти в LSTM, по которому информация течёт сквозь шаги почти без изменений и обновляется аддитивно — благодаря этому градиенты затухают куда медленнее.Разбор: Рекуррентные сети (RNN, LSTM)

Adamadaptive moment estimation

Оптимизатор, объединяющий momentum и RMSProp: ведёт скользящие средние градиента и его квадрата с поправкой смещения. Дефолтный выбор для большинства задач.Разбор: Оптимизаторы: SGD, Momentum, Adam

AdamWadam with decoupled weight decay

Adam с исправленным weight decay: штраф за большие веса применяется отдельным слагаемым, а не через градиент, где его исказила бы адаптивная нормировка. Стандарт обучения трансформеров.Разбор: Оптимизаторы: SGD, Momentum, Adam

BPTTbackpropagation through time

Обучение RNN через «развёртку» цепочки шагов в глубокую сеть с общими весами и обратное распространение по ней. Именно здесь градиенты затухают или взрываются с ростом длины последовательности.Разбор: Рекуррентные сети (RNN, LSTM)

CNNconvolutional neural network

Свёрточная нейросеть: архитектура для изображений, где маленькие ядра-детекторы скользят по картинке. Локальность и разделяемые веса дают экономию параметров и устойчивость к сдвигам.Разбор: Свёрточные сети (CNN)

Dropoutdropout

Регуляризация: при обучении каждый нейрон случайно выключается с заданной вероятностью, чтобы признаки стали избыточными. На инференсе выключен — отсюда различие режимов train и eval.Разбор: Практика обучения: батчи, dropout, batchnorm

GELUgaussian error linear unit

Гладкая версия ReLU, взвешивающая вход по функции нормального распределения. Вместе с SiLU — стандартная активация FFN-блоков современных трансформеров.Разбор: Функции активации

GRUgated recurrent unit

Упрощённая альтернатива LSTM с двумя вентилями вместо трёх и без отдельной ячейки памяти. Быстрее, а по качеству обычно сопоставима.Разбор: Рекуррентные сети (RNN, LSTM)

LSTMlong short-term memory

Рекуррентная архитектура с ячейкой памяти и тремя вентилями, управляющими записью, стиранием и чтением. Аддитивное обновление памяти позволяет градиенту течь на сотни шагов без затухания.Разбор: Рекуррентные сети (RNN, LSTM)

MNISTmodified national institute of standards and technology database

Классический датасет из 70 тысяч рукописных цифр 28 на 28 пикселей — «hello world» компьютерного зрения и стандартная песочница для отладки пайплайна обучения.Разбор: Распознавание цифр из пикселей

Momentummomentum

Приём оптимизации, накапливающий экспоненциальное скользящее среднее градиентов — «скорость». Гасит колебания поперёк оврага и разгоняет движение вдоль него.Разбор: Оптимизаторы: SGD, Momentum, Adam

ReLUrectified linear unit

Активация, возвращающая ноль для отрицательного входа и сам вход для положительного. С ней глубокие сети впервые стали стабильно обучаться, но нейроны могут «умирать» в нулевой зоне.Разбор: Функции активации

RMSProproot mean square propagation

Оптимизатор с адаптивным шагом: делит обновление на корень скользящего среднего квадратов градиента, выравнивая масштаб шага у параметров с разными по величине градиентами.Разбор: Оптимизаторы: SGD, Momentum, Adam

RNNrecurrent neural network

Рекуррентная сеть: обрабатывает последовательность шаг за шагом, храня «конспект» прочитанного в скрытом состоянии. Один и тот же слой с общими весами применяется на каждом шаге.Разбор: Рекуррентные сети (RNN, LSTM)

SSMstate space model

Модели пространства состояний (например, Mamba) — современные линейные рекуррентные сети: дешёвый пошаговый инференс как у RNN при параллельном обучении как у трансформера.Разбор: Рекуррентные сети (RNN, LSTM)

Языковые модели: от n-грамм до трансформера

Биграммная модельbigram model

Простейшая языковая модель: вероятность следующего слова считается как доля случаев, когда оно шло за текущим словом в корпусе. По сути таблица счётчиков пар.Разбор: Биграммы и n-граммы

Декодерdecoder

Трансформер с каузальной маской (как GPT): генерирует текст слева направо, предсказывая следующий токен. Основа всех современных генеративных LLM.Разбор: Архитектура трансформера

Дистрибутивная гипотезаdistributional hypothesis

Идея, что смысл слова определяется его типичными контекстами: слова с похожими соседями по тексту близки по смыслу. Теоретическая основа word2vec и эмбеддингов вообще.Разбор: Эмбеддинги и word2vec

Запрос, ключ и значениеquery, key, value

Три проекции токена во внимании: запрос — что токен ищет, ключ — по чему его находят, значение — что он отдаёт. Похожесть запроса и ключа задаёт вес значения в итоговой смеси.Разбор: Механизм внимания (attention)

Каузальная маскаcausal mask

Запрет токену смотреть на позиции правее себя в декодере: скоры будущих позиций зануляются до softmax. Без неё модель при обучении «подглядывала» бы ответ и не училась предсказывать.Разбор: Механизм внимания (attention)

Контекстные эмбеддингиcontextual embeddings

Векторы токенов, пересчитываемые с учётом всего предложения через внимание: многозначное слово получает разные векторы в разных фразах — в отличие от статических эмбеддингов word2vec.Разбор: Эмбеддинги и word2vec

Марковское предположениеmarkov assumption

Допущение, что будущее зависит только от короткого недавнего прошлого, а не от всей истории. Для языка заведомо неверно, но делает языковую модель счётной.Разбор: Биграммы и n-граммы

Механизм вниманияattention

Механизм, позволяющий каждому токену смотреть на все остальные с разными весами: дифференцируемый «мягкий словарь», где ответ — взвешенная сумма значений по похожести запроса на ключи.Разбор: Механизм внимания (attention)

Многоголовое вниманиеmulti-head attention

Несколько параллельных «голов» внимания со своими проекциями меньшей размерности; результаты конкатенируются. Головы специализируются: синтаксис, кореференции, соседние токены.Разбор: Механизм внимания (attention)

Остаточная связьresidual connection

Прибавление выхода подслоя к его входу вместо замены: градиент течёт по этому «шоссе» сквозь десятки блоков не затухая. Без остаточных связей глубокие сети практически не обучаются.Разбор: Архитектура трансформера

Перекрёстное вниманиеcross-attention

Внимание, где запросы приходят из декодера, а ключи и значения — из энкодера: так декодер «подглядывает» во входную последовательность в encoder-decoder моделях вроде T5.Разбор: Архитектура трансформера

Перплексияperplexity

Метрика качества языковой модели: экспонента средней кросс-энтропии, интуитивно — число равновероятных вариантов, между которыми модель колеблется на каждом шаге. Меньше — лучше.Разбор: Биграммы и n-граммы

Подсловная токенизацияsubword tokenization

Золотая середина между символами и словами: частые слова остаются целыми токенами, редкие собираются из кусочков. Убирает проблему OOV при умеренной длине последовательностей.Разбор: Токенизация и BPE

Позиционное кодированиеpositional encoding

Добавление информации о позиции токена к его вектору, поскольку внимание само по себе не знает порядка слов. Варианты: синусоиды, обучаемые векторы, RoPE в современных моделях.Разбор: Архитектура трансформера

Предсказание следующего токенаnext token prediction

Постановка задачи языкового моделирования: по контексту выдать распределение вероятностей следующего токена. Одна и та же задача у биграммы Шеннона и у GPT.Разбор: Биграммы и n-граммы

Самовниманиеself-attention

Внимание, где запросы, ключи и значения делаются из одних и тех же токенов: каждый токен строит новое представление из всей последовательности. Память и вычисления квадратичны по длине.Разбор: Механизм внимания (attention)

Сглаживаниеsmoothing

Приёмы борьбы с нулевыми вероятностями невиданных сочетаний: от прибавления единицы ко всем счётчикам (Лаплас) до отката к коротким контекстам и метода Кнесера–Нея.Разбор: Биграммы и n-граммы

Скользящее окно вниманияsliding window attention

Ограничение внимания последними w токенами: стоимость становится линейной, а дальняя информация всё равно доходит — рецептивное поле растёт со стопкой слоёв. Используется в Mistral.Разбор: Современные архитектуры: RoPE, MoE, GQA

Словарь токенизатораvocabulary

Набор всех токенов, которые знает модель, обычно 50–200 тысяч. Размер — компромисс: больше словарь — короче последовательности, но тяжелее эмбеддинг-матрица и хуже обучены редкие токены.Разбор: Токенизация и BPE

Токенtoken

Минимальная единица текста для модели: символ, слово или чаще подслово из фиксированного словаря. Модель видит только номера токенов, а не буквы.Разбор: Токенизация и BPE

Токенизацияtokenization

Превращение текста в последовательность номеров токенов из конечного словаря. Определяет цену запроса, эффективную длину контекста и слабости модели в посимвольных задачах.Разбор: Токенизация и BPE

Трансформерtransformer

Архитектура из стопки одинаковых блоков «внимание плюс MLP» поверх эмбеддингов токенов. Обучается параллельно по всей длине последовательности — скелет GPT, Llama и почти всех современных LLM.Разбор: Архитектура трансформера

Эмбеддингembedding

Плотный вектор, представляющий слово или токен так, что близость векторов отражает близость смысла. Фундамент семантического поиска, RAG и первый слой любого трансформера.Разбор: Эмбеддинги и word2vec

Энкодерencoder

Трансформер без каузальной маски (как BERT): каждый токен видит всё предложение в обе стороны. Хорош для понимания текста — классификации, поиска, извлечения сущностей.Разбор: Архитектура трансформера

Языковая головаlanguage model head

Финальный линейный слой трансформера, превращающий вектор токена в логиты по всему словарю, — из них softmax даёт вероятности следующего токена.Разбор: Архитектура трансформера

Языковая модельlanguage model

Модель распределения вероятностей следующего токена при заданном контексте. Всё различие между n-граммной таблицей и GPT — в том, чем это распределение параметризовано.Разбор: Биграммы и n-граммы

BPEbyte pair encoding

Алгоритм построения подсловного словаря: жадно сливает самую частую пару соседних токенов, пока словарь не вырастет до нужного размера. Частые слова — целые токены, редкие собираются из кусков.Разбор: Токенизация и BPE

CBOWcontinuous bag of words

Режим word2vec: предсказать центральное слово по «мешку» его соседей. Быстрее skip-gram, но хуже справляется с редкими словами.Разбор: Эмбеддинги и word2vec

FlashAttentionflash attention

Точная реализация внимания с другим порядком вычислений: скоры считаются блоками в быстрой памяти GPU без материализации квадратной матрицы. Кратное ускорение и почти линейная память.Разбор: Современные архитектуры: RoPE, MoE, GQA

GQAgrouped-query attention

Компромисс между обычным вниманием и MQA: запросные головы делятся на группы, каждая делит одну пару «ключ-значение». Сжимает KV-кэш в разы почти без потери качества; используется в Llama.Разбор: Современные архитектуры: RoPE, MoE, GQA

KV-кэшkey-value cache

Кэш ключей и значений всех прошлых токенов при генерации, чтобы не пересчитывать их на каждом шаге. Растёт линейно с длиной контекста и на больших длинах съедает память GPU быстрее весов.Разбор: Современные архитектуры: RoPE, MoE, GQA

MoEmixture of experts

Смесь экспертов: MLP-блок заменяется на несколько параллельных «экспертов», из которых роутер выбирает пару на каждый токен. Экономит вычисления, но память нужна под все параметры сразу.Разбор: Современные архитектуры: RoPE, MoE, GQA

MQAmulti-query attention

Вариант внимания, где запросных голов много, а пара «ключ-значение» одна на всех: KV-кэш худеет в число голов раз, но качество заметно проседает.Разбор: Современные архитектуры: RoPE, MoE, GQA

N-граммаn-gram

Последовательность из n подряд идущих токенов; n-граммная модель предсказывает следующий токен по статистике таких цепочек в корпусе. С ростом n число контекстов растёт экспоненциально.Разбор: Биграммы и n-граммы

One-hot векторone-hot vector

Разреженное представление слова: вектор длиной со словарь с единицей на позиции слова и нулями в остальных. Геометрически бессмысленно: все слова равноудалены друг от друга.Разбор: Эмбеддинги и word2vec

OOVout-of-vocabulary

Проблема слов, отсутствующих в словаре токенизатора: в пословных словарях они превращались в бесполезный токен UNK. Подсловная и байтовая токенизации снимают её полностью.Разбор: Токенизация и BPE

RMSNormroot mean square normalization

Упрощённая нормализация: только приведение масштаба вектора, без вычитания среднего. Проще и быстрее LayerNorm; стандарт современных LLM.Разбор: Современные архитектуры: RoPE, MoE, GQA

RoPErotary position embedding

Позиционное кодирование вращением векторов запросов и ключей на угол, пропорциональный позиции: их скалярное произведение зависит только от относительного сдвига токенов. Основа удлинения контекста.Разбор: Современные архитектуры: RoPE, MoE, GQA

SentencePiecesentencepiece

Токенизатор, работающий с сырой строкой без предварительного деления по пробелам — пробел считается обычным символом. Удобен для языков без пробелов, например японского.Разбор: Токенизация и BPE

Skip-gramskip-gram

Режим word2vec: по центральному слову предсказать слова-соседи в окне. Работает для редких слов лучше, чем обратный режим CBOW.Разбор: Эмбеддинги и word2vec

SwiGLUswish-gated linear unit

Гейтированная активация MLP-блоков, заменившая ReLU в современных LLM: одна ветвь слоя умножается на «ворота» из другой, что стабильно даёт чуть лучшее качество.Разбор: Современные архитектуры: RoPE, MoE, GQA

Word2vecword2vec

Метод обучения эмбеддингов: маленькая сеть учится предсказывать соседей слова, а полезный продукт — её матрица эмбеддингов, где похожие по смыслу слова оказываются рядом.Разбор: Эмбеддинги и word2vec

WordPiecewordpiece

Подсловный токенизатор BERT: сливает не самую частую пару, а ту, что сильнее всего увеличивает правдоподобие корпуса; куски внутри слова помечаются специальным префиксом.Разбор: Токенизация и BPE

LLM: обучение и инференс

Бенчмаркbenchmark

Стандартный набор задач с проверяемыми ответами для сравнения моделей: MMLU (тесты по 57 предметам), GSM8K (математика), HumanEval (код с тестами). Дёшево и воспроизводимо, но грозят контаминация и насыщение.Разбор: Оценка LLM: бенчмарки и LLM-as-judge

Дедупликацияdeduplication

Удаление повторов из претрейн-данных: дубликаты заставляют модель заучивать тексты наизусть и завышают результаты на бенчмарках, утёкших в обучающую выборку.Разбор: Претрейнинг и scaling laws

Декомпозиция промптовprompt decomposition

Принцип «одна задача — один промпт»: цепочка маленьких промптов вместо монстра на десять задач. Каждое звено отлаживается и оценивается отдельно, а инструкции не конкурируют за внимание модели.Разбор: Промпт-паттерны и structured outputs

Дистилляция знанийknowledge distillation

Перенос качества большой модели-учителя в маленькую модель-ученика: ученик обучается воспроизводить предсказания учителя, а не только правильные ответы, и усваивает больше, чем из сырых данных.Разбор: Дистилляция и сжатие моделей

Жадная генерацияgreedy decoding

Стратегия, всегда берущая самый вероятный токен. На длинном открытом тексте вырождается: модель зацикливается и повторяет фразы, потому что локально вероятный токен не значит глобально хороший текст.Разбор: Сэмплирование: temperature, top-k, top-p

Каскад моделейmodel cascade

Продакшн-схема: дешёвая маленькая модель обрабатывает простые запросы, а роутер отправляет сложные к большой. Средняя цена запроса падает в разы при почти той же метрике качества.Разбор: Дистилляция и сжатие моделей

Катастрофическое забываниеcatastrophic forgetting

Потеря общих способностей модели после агрессивного дообучения на узкой задаче: новые веса «переписывают» старые навыки. Смягчается малым learning rate, подмешиванием общих данных и LoRA.Разбор: Fine-tuning: SFT, LoRA, PEFT

Квантизацияquantization

Сжатие весов модели в числа меньшей точности (fp16 → int8/int4): память падает в 2–4 раза, и генерация ускоряется почти пропорционально, потому что decode упирается в трафик памяти. Методы GPTQ и AWQ минимизируют потерю качества.Разбор: Инференс: KV-cache, квантизация, спекулятивный декодинг · Видеокарты и VRAM: железо для нейросетей

Контаминацияcontamination

Утечка задач бенчмарка в обучающие данные модели: она «помнит» ответы, а не решает. Красивая цифра на контаминированном бенчмарке ничего не говорит о реальных способностях.Разбор: Оценка LLM: бенчмарки и LLM-as-judge

Контекст-инжинирингcontext engineering

Сборка и разметка всего входа модели: роли, порядок блоков, разделители, бюджет токенов. Шире промпт-инжиниринга, который отвечает только за формулировку конкретной инструкции.Разбор: Работа с контекстом и разметка сообщений

Контекстное окноcontext window

Максимальная длина входа модели в токенах — жёсткий бюджет, который расходует каждый блок контекста: инструкции, примеры, документы, история. При переполнении приходится урезать наименее важное.Разбор: Работа с контекстом и разметка сообщений

Логитыlogits

Сырые числа, которые модель выдаёт для каждого токена словаря до нормализации; softmax превращает их в вероятности. Именно с логитами работают температура и другие параметры сэмплирования.Разбор: Сэмплирование: temperature, top-k, top-p · Архитектура трансформера

Мягкие меткиsoft labels

Полное распределение вероятностей учителя вместо one-hot ответа: «кошка 0.8, рысь 0.13, волк 0.01». Несут информацию об отношениях между классами — какие варианты почти верны, а какие абсурдны.Разбор: Дистилляция и сжатие моделей

Насыщение бенчмаркаbenchmark saturation

Состояние, когда топовые модели выбивают почти максимум, и бенчмарк перестаёт различать их между собой: разница тонет в шуме. Поэтому сообщество постоянно строит более трудные наборы задач.Разбор: Оценка LLM: бенчмарки и LLM-as-judge

Полный файнтюнfull fine-tuning

Дообучение, при котором обновляются все веса модели. Требует около 16 байт памяти на параметр (веса, градиенты, состояния Adam), поэтому даже для 7B-модели нужен кластер или PEFT.Разбор: Fine-tuning: SFT, LoRA, PEFT

Претрейнингpretraining

Первый и самый дорогой этап обучения LLM: модель на триллионах токенов текста учится предсказывать следующий токен, попутно усваивая грамматику, факты, логику и код.Разбор: Претрейнинг и scaling laws

Промпт-инжинирингprompt engineering

Формулировка инструкций так, чтобы желаемое продолжение стало статистически самым вероятным: роль и явные критерии вместо «сделай хорошо», примеры, декомпозиция, явный формат выхода.Разбор: Промпт-паттерны и structured outputs

Прунингpruning

Сжатие модели удалением её частей: неструктурный обнуляет отдельные «неважные» веса, структурный выбрасывает целые головы внимания, каналы или слои — модель реально уменьшается и ускоряется.Разбор: Дистилляция и сжатие моделей

Самообучениеself-supervised learning

Режим обучения, при котором метки создаются из самих данных без разметчиков: в претрейне LLM следующий токен текста и есть правильный ответ, поэтому обучающей выборкой становится весь интернет.Разбор: Претрейнинг и scaling laws · Типы обучения: с учителем, без и с подкреплением

Системный промптsystem prompt

Сообщение с ролью system — правила поведения модели: модель обучена относиться к нему как к приоритетной рамке, в отличие от реплик user (запросы) и assistant (её собственные прошлые ответы).Разбор: Работа с контекстом и разметка сообщений

Спекулятивный декодингspeculative decoding

Ускорение генерации: маленькая draft-модель предлагает несколько токенов вперёд, а большая проверяет их одним параллельным прогоном. Правило принятия сохраняет распределение большой модели — качество не страдает.Разбор: Инференс: KV-cache, квантизация, спекулятивный декодинг

Спецтокеныspecial tokens

Служебные токены chat-шаблона, размечающие границы ходов и роли в диалоге. Модель видела их миллионы раз при обучении — именно они сообщают ей, где инструкция, а где её очередь отвечать.Разбор: Работа с контекстом и разметка сообщений

Сэмплированиеsampling

Выбор следующего токена из распределения вероятностей, которое выдаёт модель: можно всегда брать самый вероятный, а можно «кидать кубик». От стратегии зависит, будет текст скучным, живым или бессвязным.Разбор: Сэмплирование: temperature, top-k, top-p

Температураtemperature

Параметр сэмплирования: логиты делятся на T до softmax. При T меньше 1 распределение обостряется к самому вероятному токену, при T больше 1 сглаживается — растёт разнообразие, а с ним и доля случайного мусора.Разбор: Сэмплирование: temperature, top-k, top-p

Температура дистилляцииdistillation temperature

Деление логитов учителя на T перед softmax при дистилляции: при T около 3–5 почти one-hot распределение размягчается, и отношения между классами становятся видимыми для лосса ученика.Разбор: Дистилляция и сжатие моделей

Эмерджентные способностиemergent abilities

Навыки, «внезапно» появляющиеся у моделей с ростом масштаба: многошаговая арифметика, следование инструкциям. Часть «скачков» — артефакт жёстких метрик, но непредсказуемость новых навыков реальна.Разбор: Претрейнинг и scaling laws

Alignmentalignment

Этап обучения, делающий модель полезной, безвредной и честной: вместо эталонных ответов используются сравнения («из этих двух ответов этот лучше»), на которых модель выучивает человеческие предпочтения.Разбор: Alignment: RLHF и DPO

Base modelbase model

Модель сразу после претрейнинга: она гениально продолжает текст, но не умеет «отвечать» и выполнять просьбы. Формат полезного ассистента ей прививают позже — на SFT и alignment.Разбор: Претрейнинг и scaling laws

Beam searchbeam search

Лучевой поиск: декодер держит несколько лучших префиксов и ищет последовательность с максимальной суммарной вероятностью. Хорош для перевода и распознавания речи, но для открытой генерации даёт однообразный текст.Разбор: Сэмплирование: temperature, top-k, top-p

Best-of-Nbest-of-n sampling

Стратегия инференса: сгенерировать N вариантов ответа и выбрать лучший с помощью отдельной модели-оценщика. Обмен вычислений на точность «вширь», в отличие от длинного рассуждения «вглубь».Разбор: Reasoning-модели и test-time compute

Chain-of-thoughtchain-of-thought

Приём «думай пошагово»: модель пишет промежуточные шаги рассуждения перед ответом. Каждый токен — дополнительный компьют, а записанные шаги работают рабочей памятью для следующих.Разбор: Reasoning-модели и test-time compute

Chat-шаблонchat template

Формат оборачивания реплик диалога спецтокенами (например, ChatML), размечающий роли и границы ходов так, как модель видела при обучении. Склейка реплик простым текстом заметно роняет качество.Разбор: Работа с контекстом и разметка сообщений

Chinchilla-оптимумchinchilla-optimal training

Вывод работы Chinchilla: при фиксированном бюджете компьюта параметры и токены надо растить вместе, примерно по 20 токенов на параметр. Продакшн-модели часто сознательно «перетренировывают» ради дешёвого инференса.Разбор: Претрейнинг и scaling laws

Continuous batchingcontinuous batching

Серверный батчинг, при котором запросы входят и выходят из батча на каждом шаге генерации, не дожидаясь самого длинного ответа. Заметно повышает пропускную способность GPU.Разбор: Инференс: KV-cache, квантизация, спекулятивный декодинг

Dark knowledgedark knowledge

Термин Хинтона: структура малых вероятностей в предсказаниях учителя, кодирующая его понимание мира. Именно это «тёмное знание» перенимает ученик при дистилляции на мягких метках.Разбор: Дистилляция и сжатие моделей

Decodedecode

Фаза генерации: по одному токену за шаг, ради каждого через чип гонятся все веса модели и весь KV-cache. Упирается не в арифметику, а в пропускную способность памяти — и определяет скорость генерации.Разбор: Инференс: KV-cache, квантизация, спекулятивный декодинг

DPOdirect preference optimization

Метод выравнивания без RL: оптимум RLHF-задачи выражается аналитически, и политика обучается напрямую на парах предпочтений обычным supervised-лоссом — без reward model, PPO и онлайн-генерации.Разбор: Alignment: RLHF и DPO

Elo-рейтингelo rating

Рейтинг моделей из парных «дуэлей», как в шахматах: пользователи вслепую голосуют за лучший из двух анонимных ответов (LMArena), и миллионы сравнений сворачиваются в общий ранг.Разбор: Оценка LLM: бенчмарки и LLM-as-judge

Few-shotfew-shot prompting

Включение в контекст нескольких пар «вход → эталонный выход»: примеры задают формат и стиль ответа мощнее словесных инструкций, потому что модель — машина продолжения паттернов.Разбор: Работа с контекстом и разметка сообщений

Fine-tuningfine-tuning

Дообучение готовой LLM под конкретную задачу: стиль, формат, домен или манеру отвечать. Оправдан, когда промптинг и RAG уже исчерпаны, а нужен устойчивый специфичный результат на большом потоке запросов.Разбор: Fine-tuning: SFT, LoRA, PEFT

Frequency penaltyfrequency penalty

Штраф за повторы: логиты уже использованных токенов понижаются, и модели становится «дороже» ходить по кругу. Основное средство против зацикливания при генерации.Разбор: Сэмплирование: temperature, top-k, top-p

JSON modejson mode

Режим инференса у провайдера, при котором выход гарантированно является валидным JSON. Без схемы структура полей не фиксируется, а правильность значений не проверяется.Разбор: Промпт-паттерны и structured outputs

KL-штрафkl penalty

Слагаемое в лоссе RLHF, штрафующее политику за отход от исходной reference-модели. «Поводок», который не даёт модели выродиться, эксплуатируя дыры несовершенной reward model.Разбор: Alignment: RLHF и DPO · VAE и GAN: генерация до диффузии

KV-cachekey-value cache

Кэш ключей и значений внимания всех обработанных токенов: они не меняются, поэтому пересчитывать их не нужно. Снижает стоимость шага генерации с квадратичной до линейной, но память растёт линейно с контекстом.Разбор: Инференс: KV-cache, квантизация, спекулятивный декодинг

Length biaslength bias

Предвзятость LLM-судьи: любовь к длинным, развёрнутым ответам, даже водянистым. Из-за неё раздувание текста выглядит как рост качества; проверяется корреляцией вердиктов с длиной ответа.Разбор: Оценка LLM: бенчмарки и LLM-as-judge

LLM-as-judgellm-as-judge

Оценка ответов сильной LLM вместо людей: судья получает вопрос, пару ответов и рубрику, выдаёт вердикт. Дёшево и масштабируемо, но судья систематически предвзят и требует калибровки по человеческим вердиктам.Разбор: Оценка LLM: бенчмарки и LLM-as-judge

Logit-дистилляцияlogit distillation

Классическая потокенная дистилляция LLM: ученик приближает распределение учителя над словарём на каждом шаге генерации. Требует общей токенизации и доступа к логитам учителя.Разбор: Дистилляция и сжатие моделей

LoRAlow-rank adaptation

Метод дообучения: сдвиг весов представляют произведением двух узких матриц низкого ранга и учат только их. После обучения добавку вливают в исходные веса, поэтому инференс не замедляется.Разбор: Fine-tuning: SFT, LoRA, PEFT

Min-pmin-p sampling

Отсечение хвоста относительно лидера: остаются токены с вероятностью не ниже заданной доли от максимальной. Ещё один адаптивный метод, популярный в open-source-инференсе.Разбор: Сэмплирование: temperature, top-k, top-p

Next token predictionnext token prediction

Базовая задача языковой модели: по началу текста предсказать распределение вероятностей следующего токена. Из этой «тупой» задачи при огромном масштабе вырастают все способности LLM.Разбор: Претрейнинг и scaling laws

PagedAttentionpagedattention

Механизм vLLM: KV-cache хранится страницами, как виртуальная память ОС. Убирает фрагментацию памяти и позволяет держать в GPU намного больше параллельных запросов.Разбор: Инференс: KV-cache, квантизация, спекулятивный декодинг

PEFTparameter-efficient fine-tuning

Семейство методов дообучения, при которых базовая модель заморожена, а обучается лишь небольшая добавка параметров — доли процента от всех весов. Самый популярный представитель — LoRA.Разбор: Fine-tuning: SFT, LoRA, PEFT

Position biasposition bias

Предвзятость LLM-судьи: склонность выбирать ответ, показанный первым или последним, независимо от содержания. Ловится контрольным прогоном каждой пары с переставленными местами A и B.Разбор: Оценка LLM: бенчмарки и LLM-as-judge

PPOproximal policy optimization

Алгоритм обучения с подкреплением, стандартный для RL-этапа RLHF: модель генерирует ответы, reward model их оценивает, и веса обновляются так, чтобы награда росла. Капризен к гиперпараметрам и дорог.Разбор: Alignment: RLHF и DPO

Prefillprefill

Фаза инференса, обрабатывающая промпт: все его токены известны заранее и прогоняются через модель параллельно одной матричной операцией. Быстрая, ограничена вычислениями; определяет время до первого токена.Разбор: Инференс: KV-cache, квантизация, спекулятивный декодинг

QLoRAquantized low-rank adaptation

Вариант LoRA, где замороженная базовая модель квантуется в 4 бита, а адаптеры обучаются в обычной точности. Позволяет дообучать модели на 70 млрд параметров на одной GPU.Разбор: Fine-tuning: SFT, LoRA, PEFT

Reasoning-модельreasoning model

LLM, обученная через RL с проверяемыми наградами «думать» перед ответом: генерировать длинное рассуждение с декомпозицией, самопроверкой и откатами. Примеры: o1, DeepSeek R1, Claude с extended thinking.Разбор: Reasoning-модели и test-time compute

Reward modelreward model

Отдельная модель-судья в RLHF: обучается на парных сравнениях разметчиков и выдаёт число-награду за ответ. Это несовершенный прокси предпочтений, поэтому её нельзя оптимизировать без ограничений.Разбор: Alignment: RLHF и DPO

RLAIFreinforcement learning from ai feedback

Замена человеческой разметки в RLHF на ИИ-фидбек: пары ответов сравнивает сильная модель. Вариант — Constitutional AI, где модель критикует свои ответы по явному списку принципов.Разбор: Alignment: RLHF и DPO

RLHFreinforcement learning from human feedback

Конвейер выравнивания из трёх шагов: SFT, обучение reward model на человеческих сравнениях ответов и RL (обычно PPO), где политика максимизирует награду с KL-штрафом за отход от исходной модели.Разбор: Alignment: RLHF и DPO

RLVRreinforcement learning with verifiable rewards

Обучение с подкреплением, где награда — объективная проверка: сошёлся ли ответ по математике, прошли ли тесты код. Такую награду нельзя «взломать» красивым, но неверным текстом; двигатель reasoning-моделей.Разбор: Reasoning-модели и test-time compute

Scaling lawsscaling laws

Эмпирические степенные законы: лосс модели предсказуемо падает с ростом параметров, данных и компьюта. Позволяют по дешёвым маленьким прогонам заранее выбрать оптимальный размер большой модели.Разбор: Претрейнинг и scaling laws

Self-consistencyself-consistency

Параллельное test-time compute: модель сэмплирует несколько независимых цепочек рассуждений, и ответ выбирается большинством голосов — верные решения сходятся к одному ответу чаще, чем ошибки.Разбор: Reasoning-модели и test-time compute

Self-preference biasself-preference bias

Предвзятость LLM-судьи: завышение оценок ответам, похожим на его собственный стиль, особенно ответам своей же модели. Поэтому модель не судят судьёй того же семейства.Разбор: Оценка LLM: бенчмарки и LLM-as-judge

Sequence-level дистилляцияsequence-level distillation

Дистилляция LLM через данные: учитель генерирует ответы и цепочки рассуждений, а ученик дообучается на них обычным SFT. Так рассуждения DeepSeek R1 перенесли в модели размера 7B.Разбор: Дистилляция и сжатие моделей

SFTsupervised fine-tuning

Дообучение модели на парах «промпт → эталонный ответ» тем же предсказанием следующего токена, но лосс считается только по токенам ответа: модель учат отвечать, а не воспроизводить вопросы.Разбор: Fine-tuning: SFT, LoRA, PEFT

Structured outputsstructured outputs

Получение от LLM машиночитаемого выхода (обычно JSON) с гарантией формата. Лестница надёжности: просьба → few-shot → JSON mode → constrained decoding по схеме; только последний уровень даёт гарантию.Разбор: Промпт-паттерны и structured outputs

Sycophancysycophancy

Подхалимство модели — склонность соглашаться с пользователем даже в ущерб правде. Возникает из перекоса данных предпочтений: разметчики чаще выбирают ответы, которые с ними соглашаются.Разбор: Alignment: RLHF и DPO

Test-time computetest-time compute

Третья ось масштабирования после данных и параметров: точность растёт за счёт дополнительных вычислений в момент инференса — длинного рассуждения или нескольких параллельных попыток.Разбор: Reasoning-модели и test-time compute

Thinking budgetthinking budget

Регулируемый параметр инференса reasoning-модели — сколько токенов рассуждения ей разрешено. Точность растёт с насыщением, а цена и латентность — линейно, поэтому после «колена» кривой бюджет тратится впустую.Разбор: Reasoning-модели и test-time compute

Thinking-токеныthinking tokens

Токены рассуждения, которые reasoning-модель генерирует отдельным блоком до финального ответа. Провайдер может скрывать их от пользователя, но оплачиваются они как обычные выходные токены.Разбор: Reasoning-модели и test-time compute

Top-pnucleus sampling

Адаптивное отсечение хвоста: остаётся минимальный набор токенов с суммарной вероятностью не ниже p. У уверенной модели «ядро» — 1–2 токена, у неуверенной — десятки; поэтому top-p почти вытеснил top-k.Разбор: Сэмплирование: temperature, top-k, top-p

TTFTtime to first token

Время до первого токена ответа — ключевая метрика сервинга LLM: сколько пользователь ждёт начала генерации. В основном определяется фазой prefill и очередью запросов; скорость дальше меряют в tokens/s.Разбор: Инференс: KV-cache, квантизация, спекулятивный декодинг

Мультимодальные модели

Автоэнкодерautoencoder

Пара сетей: энкодер сжимает объект в короткий латентный вектор, декодер восстанавливает его обратно, лосс — ошибка реконструкции. Для генерации непригоден: латентное пространство «дырявое».Разбор: VAE и GAN: генерация до диффузии

Аудиотокеныaudio tokens

Дискретные токены из конечного словаря, в которые нейрокодек сжимает звуковую волну. Звук становится «языком», и модель может слушать и генерировать его как обычный текст.Разбор: Звук: распознавание и синтез речи

Бинаризацияbinarization

Шаг препроцессинга OCR: пиксели темнее порога считаются «чернилами», светлее — «бумагой». Порог подбирают автоматически, например методом Оцу по гистограмме яркостей.Разбор: OCR: от классики до распознавания через LLM

Вокодерvocoder

Сеть, восстанавливающая звуковую волну из мел-спектрограммы: спектрограмма хранит только энергии частот без фазы, поэтому вокодер учится дорисовывать правдоподобную волну.Разбор: Звук: распознавание и синтез речи

Детекция текстаtext detection

Поиск областей с текстом на изображении (рамки строк и слов) — первый этап современного DL-OCR; идею реализуют модели типа CRAFT и EAST.Разбор: OCR: от классики до распознавания через LLM

Диаризацияspeaker diarization

Разметка аудиозаписи по говорящим: «кто и когда говорит» в записи с несколькими людьми.Разбор: Звук: распознавание и синтез речи

Дискриминаторdiscriminator

Сеть в GAN, которая учится отличать настоящие примеры от сгенерированных; её вердикт служит генератору сигналом качества вместо попиксельного лосса.Разбор: VAE и GAN: генерация до диффузии

Диффузионная модельdiffusion model

Генеративная модель, обученная убирать шум маленькими шагами: сеть предсказывает подмешанный шум, а генерация — цепочка шагов расшумления, превращающая чистый шум в картинку.Разбор: Диффузионные модели: как рисует Stable Diffusion

Латентное пространствоlatent space

Пространство сжатых векторов-кодов, в которое энкодер отображает данные. У VAE оно гладкое: соседние точки декодируются в похожие объекты, между кодами можно плавно интерполировать.Разбор: VAE и GAN: генерация до диффузии

Мел-спектрограммаmel spectrogram

«Картинка» время×частота: волну режут на окна, в каждом считают спектр, а частотную ось сжимают по мел-шкале под чувствительность человеческого уха. Стандартный вход речевых моделей.Разбор: Звук: распознавание и синтез речи

Мерцаниеflickering

Артефакт генерации видео независимыми кадрами: цвет, размер и позиция объектов заново выбираются в каждом кадре, при проигрывании картинка мигает, а объекты «телепортируются».Разбор: Видео-модели: генерация с временной согласованностью

Нейрокодекneural codec

Модель сжатия звука (идея EnCodec): энкодер, квантизация RVQ (несколько словарей, каждый следующий кодирует остаток предыдущего) и декодер, восстанавливающий волну из дискретных токенов.Разбор: Звук: распознавание и синтез речи

Пайплайн ASR→LLM→TTScascaded voice pipeline

Голосовой ассистент из трёх отдельных моделей: распознавание речи, языковая модель, синтез речи. Задержки блоков складываются в секунды, а на стыках теряются интонация и эмоции.Разбор: Omni-модели: все модальности в одной

Патчpatch

Квадратный фрагмент изображения (обычно 14×14 или 16×16 пикселей), который после линейной проекции становится одним визуальным токеном. Чем меньше патч, тем больше токенов и дороже обработка.Разбор: Как LLM видят изображения

Поздняя фузияlate fusion

Объединение модальностей в конце: отдельные модели обрабатывают каждая свою модальность, а результаты склеиваются. Крайний случай — пайплайн из распознавания речи, LLM и синтеза речи.Разбор: Omni-модели: все модальности в одной

Проекторprojector, adapter

Небольшой модуль (MLP или cross-attention) между vision-энкодером и LLM: переводит визуальные эмбеддинги в пространство эмбеддингов языковой модели, выравнивая и размерность, и «язык» векторов.Разбор: Как LLM видят изображения

Пространственно-временные патчиspatio-temporal patches

Токены видео-моделей Sora-класса: сжатый видео-VAE латент режется на «кубики» по ширине, высоте и времени, и каждый кубик становится токеном для диффузионного трансформера.Разбор: Видео-модели: генерация с временной согласованностью

Ранняя фузияearly fusion

Объединение модальностей на входе: токены текста, аудио и изображений смешиваются в один поток, и одна модель учится связям между ними глубоко внутри.Разбор: Omni-модели: все модальности в одной

Расписание шумаnoise schedule

Кривая, задающая долю сигнала исходной картинки на каждом шаге зашумления — от единицы (чистая картинка) до почти нуля (чистый шум). Форму подбирают для равномерного разрушения информации.Разбор: Диффузионные модели: как рисует Stable Diffusion

Сегментация символовcharacter segmentation

Шаг классического OCR: страница режется на строки, слова и символы, например по проекциям — пустые столбцы пикселей считаются границами. Ломается на слипшихся буквах.Разбор: OCR: от классики до распознавания через LLM

ASRautomatic speech recognition

Распознавание речи — превращение аудио в текст. Современный подход в духе Whisper: мел-спектрограмма подаётся в трансформер encoder-decoder, декодер авторегрессионно выводит текст.Разбор: Звук: распознавание и синтез речи

CFGclassifier-free guidance

Управление диффузией: на каждом шаге модель делает предсказание с промптом и без, итог экстраполируется в сторону условного. Больше сила — точнее следование промпту, перебор «пережаривает» картинку.Разбор: Диффузионные модели: как рисует Stable Diffusion

CLIPcontrastive language-image pretraining

Модель, обученная контрастивно на сотнях миллионов пар «картинка–подпись»: эмбеддинги изображений и текстов живут в общем пространстве, что даёт zero-shot классификацию.Разбор: Как LLM видят изображения

CRNNconvolutional recurrent neural network

Сеть для распознавания строки текста: свёртки превращают строку в последовательность кадров-признаков, рекуррентный слой читает её, а CTC-лосс выравнивает кадры с буквами без посимвольной сегментации.Разбор: OCR: от классики до распознавания через LLM

CTCconnectionist temporal classification

Лосс для распознавания речи, решающий проблему выравнивания без разметки границ звуков: модель предсказывает букву или пустой токен на каждый кадр, повторы схлопываются, blank выбрасывается.Разбор: Звук: распознавание и синтез речи

DDIMdenoising diffusion implicit models

Детерминированный сэмплер диффузии, позволяющий шагать крупнее: 20–50 шагов расшумления вместо тысячи, без переобучения модели.Разбор: Диффузионные модели: как рисует Stable Diffusion

DiTdiffusion transformer

Диффузионный трансформер: замена U-Net на трансформер над патчами латента. Лучше масштабируется и стал стандартом новых моделей генерации изображений и видео.Разбор: Диффузионные модели: как рисует Stable Diffusion

Forward-процессforward process

Прямой процесс диффузии: в картинку за много шагов постепенно замешивается гауссов шум по расписанию, пока не останется чистый шум. Так создаются обучающие пары для сети-расшумлятора.Разбор: Диффузионные модели: как рисует Stable Diffusion

GANgenerative adversarial network

Генеративно-состязательная сеть: генератор превращает шум в картинку, дискриминатор учится отличать настоящее от сгенерированного. Минимакс-игра даёт резкие картинки, но обучение нестабильно.Разбор: VAE и GAN: генерация до диффузии

Image-to-videoimage-to-video

Режим видео-генерации с кондиционированием на стартовый кадр: картинка фиксирует композицию и стиль, а модель дорисовывает согласованное движение.Разбор: Видео-модели: генерация с временной согласованностью

Interleaved-данныеinterleaved data

Обучающие последовательности, где токены разных модальностей чередуются в одном потоке — как текст со вставленными картинками на веб-странице. На них omni-модель учится связям между модальностями.Разбор: Omni-модели: все модальности в одной

Latent diffusionlatent diffusion model

Диффузия не в пикселях, а в компактном латенте VAE: энкодер сжимает картинку в десятки раз, расшумление идёт в латенте, декодер возвращает пиксели. Основа Stable Diffusion.Разбор: Диффузионные модели: как рисует Stable Diffusion

Mode collapsemode collapse

Хроническая болезнь GAN: генератор находит несколько примеров, стабильно обманывающих дискриминатора, и выдаёт почти одно и то же на любые входы — разнообразие распределения потеряно.Разбор: VAE и GAN: генерация до диффузии

OCRoptical character recognition

Распознавание текста на изображении: из пикселей — машиночитаемая строка. Три поколения инструментов: правила и шаблоны, свёрточные сети, мультимодальные LLM.Разбор: OCR: от классики до распознавания через LLM

Omni-модельnatively multimodal model

Модель, с претрейна обученная на перемешанных последовательностях токенов разных модальностей: единый трансформер принимает и генерирует текст, аудио и изображения как один поток.Разбор: Omni-модели: все модальности в одной

Reparameterization trickreparameterization trick

Приём в VAE: сэмпл записывают как среднее плюс разброс, умноженный на стандартный шум. Случайность вынесена в отдельную переменную, и градиент проходит через параметры распределения.Разбор: VAE и GAN: генерация до диффузии

Structured extractionstructured extraction

Извлечение структурированных полей из документа («номер счёта», «сумма», «дата») сразу в машиночитаемом виде — типичная задача для чтения документов мультимодальной LLM.Разбор: OCR: от классики до распознавания через LLM

Temporal attentiontemporal attention

Внимание по оси времени: участок сцены смотрит на себя в соседних кадрах. Вместе с пространственным вниманием образует пространственно-временное (3D) внимание видео-моделей.Разбор: Видео-модели: генерация с временной согласованностью

Temporal consistencytemporal consistency

Временная согласованность видео: объекты сохраняют форму, цвет и плавную траекторию от кадра к кадру. Главная проблема видео-генерации — сама собой согласованность не возникает.Разбор: Видео-модели: генерация с временной согласованностью

Tilingtiling

Обработка изображения высокого разрешения по частям: картинка режется на фрагменты стандартного размера плюс уменьшенная глобальная копия. Деталей видно больше, но визуальных токенов кратно больше.Разбор: Как LLM видят изображения

TTStext-to-speech

Синтез речи: конвейер «текст → мел-спектрограмма → волна», где последний шаг выполняет отдельная сеть — вокодер.Разбор: Звук: распознавание и синтез речи

U-Netu-net

Свёрточная архитектура «энкодер–декодер», исторически основная сеть предсказания шума в диффузионных моделях; в новых моделях вытеснена диффузионным трансформером.Разбор: Диффузионные модели: как рисует Stable Diffusion

VAEvariational autoencoder

Автоэнкодер, где энкодер предсказывает распределение (среднее и разброс) вместо точки, а KL-штраф прижимает латент к нормальному — пространство становится гладким и пригодным для сэмплирования.Разбор: VAE и GAN: генерация до диффузии

Visual instruction tuningvisual instruction tuning

Дообучение VLM на диалогах с картинками («что на фото?», «прочитай таблицу»), после которого модель не просто подписывает изображения, а умеет разговаривать о них.Разбор: Как LLM видят изображения

ViTvision transformer

Трансформер для изображений: картинка режется на патчи фиксированного размера, каждый линейно проецируется в вектор и получает позиционный эмбеддинг — дальше работает обычный механизм внимания.Разбор: Как LLM видят изображения · Свёрточные сети (CNN)

VLMvisual language model

Мультимодальная модель «текст + изображения»: vision-энкодер превращает картинку в визуальные токены, проектор выравнивает их с пространством LLM, и языковая модель отвечает на вопросы об изображении.Разбор: Как LLM видят изображения

WERword error rate

Главная метрика качества распознавания речи: сумма замен, удалений и вставок слов, делённая на число слов в эталоне. Из-за вставок может превышать 100%.Разбор: Звук: распознавание и синтез речи

World modelworld model

Модель, предсказывающая развитие сцены («что будет, если»): видео-модель как симулятор среды, в котором агент или робот может прокрутить последствия действий до реального шага.Разбор: Видео-модели: генерация с временной согласованностью

Zero-shot классификацияzero-shot classification

Классификация без дообучения: эмбеддинг картинки сравнивается с эмбеддингами текстовых описаний классов («фото кошки», «фото собаки»), и выбирается ближайший.Разбор: Как LLM видят изображения

Железо и развёртывание

3D-параллелизм3d parallelism

Комбинация трёх осей для обучения фронтир-моделей: tensor parallelism внутри узла с NVLink, pipeline parallelism между узлами и data parallelism поверх получившихся копий.Разбор: Распределённое обучение: DP, TP, PP и ZeRO

Микробатчmicro-batch

Малая часть батча, на которые его режут при pipeline parallelism, чтобы стадии конвейера работали внахлёст (схемы GPipe, 1F1B): чем больше микробатчей, тем меньше доля простоя.Разбор: Распределённое обучение: DP, TP, PP и ZeRO

Пропускная способность памятиmemory bandwidth

Скорость, с которой память отдаёт данные чипу. У VRAM — порядка терабайта в секунду, у обычной RAM — в 10–30 раз меньше; для инференса LLM это важнее объёма и терафлопсов.Разбор: Видеокарты и VRAM: железо для нейросетей

Роутинг запросовrouting

Гибридная схема: дешёвая локальная модель обрабатывает простые и приватные запросы, а сложные уходят в мощный API — экономия на объёме плюс доступ к frontier-качеству там, где оно нужно.Разбор: Локальные модели против SaaS и API

Точка переломаcrossover point

Объём использования, на котором один вариант затрат становится дешевле другого: линейно растущая стоимость API пересекает почти фиксированную стоимость собственного железа.Разбор: Локальные модели против SaaS и API

All-reduceall-reduce

Коллективная операция обмена, усредняющая или суммирующая значения со всех GPU и раздающая результат каждой; так синхронизируются градиенты при data parallelism.Разбор: Распределённое обучение: DP, TP, PP и ZeRO

Capexcapital expenditure

Капитальные затраты — разовые вложения, например покупка GPU. Модель затрат собственного кластера: дорого на старте, зато цена за токен при высокой утилизации крошечная.Разбор: Локальные модели против SaaS и API

Cloud burstingcloud bursting

Гибридная схема размещения: базовая стабильная нагрузка обслуживается собственным железом, а пики трафика отдаются в облако.Разбор: Локальные модели против SaaS и API

Data parallelismdata parallelism

Параллелизм по данным: на каждой GPU полная копия модели, батчи разные; градиенты усредняются операцией all-reduce на каждом шаге. Ускоряет обучение почти линейно, но память не экономит.Разбор: Распределённое обучение: DP, TP, PP и ZeRO

FSDPfully sharded data parallel

Реализация идей ZeRO в PyTorch: веса, градиенты и состояния оптимизатора шардируются по GPU, а полные веса слоя собираются только на время его вычисления и сразу отбрасываются.Разбор: Распределённое обучение: DP, TP, PP и ZeRO

GPUgraphics processing unit

Графический процессор: тысячи простых ядер, параллельно перемалывающих однотипную арифметику. Нейросети — потоки умножений матриц, поэтому на GPU они в десятки раз быстрее, чем на CPU.Разбор: Видеокарты и VRAM: железо для нейросетей

Memory-bandwidth-boundmemory-bandwidth-bound

Режим, когда скорость упирается не в вычисления, а в перекачку данных: на каждый токен генерации через чип прогоняются все веса и кэш, а арифметики при этом мало.Разбор: Видеокарты и VRAM: железо для нейросетей

NVLinknvlink

Быстрая шина для обмена данными между GPU внутри узла, в разы быстрее обычного PCIe. Необходима тензорному параллелизму, где карты обмениваются активациями на каждом слое.Разбор: Видеокарты и VRAM: железо для нейросетей

Offloadoffloading

Выгрузка части слоёв модели из VRAM в оперативную память или на диск с подкачкой по мере надобности: модель запускается на слабом железе, но каждый выгруженный слой замедляет генерацию.Разбор: Видеокарты и VRAM: железо для нейросетей

Open-weight модельopen-weight model

Модель с опубликованными весами: её можно скачать, запустить на своём железе и дообучить — в отличие от проприетарной frontier-модели, доступной только через API провайдера.Разбор: Локальные модели против SaaS и API

Opexoperational expenditure

Операционные затраты — регулярные платежи, например почасовая аренда GPU: гибко масштабируется вверх и вниз, но платить приходится и за простаивающие часы.Разбор: Локальные модели против SaaS и API

Pipeline bubblepipeline bubble

Простой стадий конвейера при pipeline parallelism: в начале шага последние стадии ждут данных, в конце первые уже закончили. Лечится разбиением батча на много микробатчей.Разбор: Распределённое обучение: DP, TP, PP и ZeRO

Pipeline parallelismpipeline parallelism

Разрез модели «вдоль»: разным GPU достаются разные группы слоёв, данные идут по конвейеру, между стадиями передаются только активации. Плата — пузырь простоя в начале и конце шага.Разбор: Распределённое обучение: DP, TP, PP и ZeRO

Self-hostedself-hosted

Запуск модели на собственном железе: данные не покидают периметр, есть полный контроль и свой файнтюн, а затраты капитальные — выгодно при большом стабильном потоке запросов.Разбор: Локальные модели против SaaS и API

TCOtotal cost of ownership

Полная стоимость владения: не только цена GPU, но и электричество, амортизация, зарплаты инженеров и стоимость простоя недозагруженных карт. Именно TCO сравнивают со стоимостью API.Разбор: Локальные модели против SaaS и API

Tensor parallelismtensor parallelism

Разрез модели «поперёк»: каждая матрица слоя делится между GPU, карты считают слой сообща и обмениваются активациями внутри каждого слоя. Из-за частых обменов живёт только на NVLink внутри узла.Разбор: Распределённое обучение: DP, TP, PP и ZeRO

Vendor lock-invendor lock-in

Зависимость от провайдера: невозможность легко сменить API или модель, риск внезапных изменений модели и цен на стороне вендора.Разбор: Локальные модели против SaaS и API

VRAMvideo ram

Видеопамять, распаянная рядом с чипом GPU. Ключевое свойство — пропускная способность порядка терабайт в секунду; веса модели должны помещаться в VRAM целиком, иначе скорость падает в разы.Разбор: Видеокарты и VRAM: железо для нейросетей

ZeROzero redundancy optimizer

Устранение избыточности data parallelism шардированием состояний по картам: стадия 1 — состояния оптимизатора, 2 — плюс градиенты, 3 — плюс сами веса. Память на карту падает почти в число карт раз.Разбор: Распределённое обучение: DP, TP, PP и ZeRO

Агенты и инструменты

Агентagent

LLM, запущенная в цикле «думай — действуй — наблюдай»: модель сама решает, какие шаги нужны и сколько их будет, вызывая инструменты до достижения цели. В отличие от пайплайна, последовательность шагов не задана заранее.Разбор: Агентный цикл и критерий остановки

Верификация результата агентаverification

Внешняя проверка после «готово»: запуск тестов, компиляция, валидация схемы или модель-критик. Превращает мнение агента об успехе в наблюдаемый факт и резко поднимает надёжность.Разбор: Агентный цикл и критерий остановки

Галлюцинация инструментаtool hallucination

Ситуация, когда модель вызывает инструмент, которого нет в списке доступных. Правильная реакция кода — вернуть модели сообщение об ошибке с перечнем доступных инструментов, а не исполнять «похожий».Разбор: Tool calling: как модель вызывает инструменты

Динамическое обнаружениеdynamic discovery

Свойство MCP: клиент запрашивает у сервера список инструментов в рантайме и узнаёт о новых тулах без перекомпиляции и правок кода приложения.Разбор: MCP: стандарт подключения инструментов

Компакцияcompaction

Сжатие старой истории агента в короткое резюме: многословные результаты инструментов заменяются парой фраз с сутью. Освобождает контекстное окно, сохраняя ключевые факты.Разбор: Память, планирование и мультиагентные системы

Компаундинг ошибокerror compounding

Накопление ошибок в многошаговой траектории агента: даже при 95% успеха на каждом шаге задача из 20 шагов доходит до конца лишь примерно в трети случаев. Лечится верификацией и короткими подзадачами.Разбор: Агентный цикл и критерий остановки

Критерий остановкиstopping criterion

Правило завершения агентного цикла: ответ модели без вызова инструмента, проверяемое условие успеха, лимит итераций или детекция зацикливания. Внешняя проверка надёжнее самооценки модели.Разбор: Агентный цикл и критерий остановки

Оркестраторorchestrator

Главный агент мультиагентной системы: декомпозирует задачу, раздаёт подзадачи субагентам и собирает их короткие результаты, не засоряя свой контекст деталями их работы.Разбор: Память, планирование и мультиагентные системы

Параллельные вызовы инструментовparallel tool calls

Способность модели вернуть в одном ответе сразу несколько вызовов инструментов, чтобы код исполнил их одновременно — например, запросить погоду в двух городах за один шаг.Разбор: Tool calling: как модель вызывает инструменты

Песочницаsandbox

Изолированное воспроизводимое окружение с фиксированным начальным состоянием, в котором прогоняют агента. Без неё оценка «флакает»: внешний мир меняется, и метрики прыгают без изменений в агенте.Разбор: Оценка агентов: pass@k и траектории

Рабочая память агентаworking memory

Контекстное окно агента, куда попадает всё: системный промпт, план, вызовы инструментов и их результаты. Она конечна, а качество использования деградирует ещё до переполнения.Разбор: Память, планирование и мультиагентные системы

Риск цепочки поставокsupply chain risk

Угроза от стороннего MCP-сервера: это чужой код с реальными полномочиями, который может красть данные или подменять описания инструментов. Лечится доверенными источниками и наименьшими привилегиями.Разбор: MCP: стандарт подключения инструментов

Субагентsubagent

Агент с собственным чистым контекстом, которому делегируют подзадачу. Может прочитать десятки файлов и перебрать гипотезы — весь шум останется у него, наверх вернётся только результат.Разбор: Память, планирование и мультиагентные системы

Траекторияtrajectory

Полная последовательность «мысль — действие — наблюдение» за один прогон агента. Главный материал для отладки: читают её целиком, а не только финальный ответ.Разбор: Агентный цикл и критерий остановки

Успех задачиtask success

Автоматически проверяемый исход прогона агента: тесты прошли, файл создан, ответ совпал с эталоном. Фундамент оценки агентов — внешняя проверка вместо мнения модели.Разбор: Оценка агентов: pass@k и траектории

Хостhost

Приложение с LLM внутри — чат, IDE, ассистент. Внутри хоста живёт MCP-клиент, который держит соединение с MCP-серверами и получает от них инструменты, ресурсы и промпты.Разбор: MCP: стандарт подключения инструментов

Constrained decodingconstrained decoding

Генерация с маскированием токенов, нарушающих заданную грамматику или схему. Так модель гарантированно выдаёт синтаксически валидный формат, например JSON для вызова инструмента.Разбор: Tool calling: как модель вызывает инструменты · Промпт-паттерны и structured outputs

JSON-схема инструментаjson schema

Формальное описание параметров инструмента: имена аргументов, их типы и обязательность. По ней модель заполняет вызов, а код приложения валидирует аргументы перед исполнением.Разбор: Tool calling: как модель вызывает инструменты

JSON-RPCjson-rpc 2.0

Формат сообщений протокола MCP: запросы вида «метод плюс параметры» поверх stdio для локальных серверов или HTTP/SSE для удалённых.Разбор: MCP: стандарт подключения инструментов

Lost in the middlelost in the middle

Эффект, при котором модель хуже использует информацию из середины длинного контекста, чем из его начала и конца. Поэтому «напихать всё в окно» — не стратегия управления памятью.Разбор: Память, планирование и мультиагентные системы · Работа с контекстом и разметка сообщений

MCPmodel context protocol

Открытый стандарт подключения LLM-приложений к инструментам и источникам данных: вместо N×M самодельных интеграций — N+M подключений к общему протоколу. Опубликован Anthropic в конце 2024 года.Разбор: MCP: стандарт подключения инструментов

MCP-серверmcp server

Обёртка над источником возможностей — файловой системой, базой данных, браузером, — которая описывает свои инструменты по стандарту MCP. Любой совместимый клиент может ими пользоваться.Разбор: MCP: стандарт подключения инструментов

Milestone-оценкаmilestone evaluation

Частичный зачёт по чекпоинтам траектории: «нашёл нужный файл», «воспроизвёл баг», «написал фикс». На сложных задачах различает «почти решил» и «не понял задачу».Разбор: Оценка агентов: pass@k и траектории

pass@1pass at 1

Доля задач, решённых агентом с первой попытки. Метрика пользовательского опыта: именно её видит человек, запустивший агента один раз.Разбор: Оценка агентов: pass@k и траектории

pass@kpass at k

Доля задач, решённых агентом хотя бы раз из k попыток. Показывает потолок способностей: решение в принципе достижимо, но не гарантировано в каждом прогоне.Разбор: Оценка агентов: pass@k и траектории

pass^kpass hat k

Доля задач, решённых агентом во всех k прогонах подряд. Метрика надёжности для продакшна: агент, которому можно доверять без присмотра.Разбор: Оценка агентов: pass@k и траектории

ReActreasoning and acting

Классическая формулировка агентного цикла: модель чередует рассуждение и действие — думает, вызывает инструмент, наблюдает результат и рассуждает снова.Разбор: Агентный цикл и критерий остановки

Reward hackingreward hacking

Агент формально проходит проверку, взломав её: находит ответ в файлах тестов, ослабляет проверку или подгоняет вывод под грейдер. Подозрительно резкий рост метрики — повод читать траектории.Разбор: Оценка агентов: pass@k и траектории · Alignment: RLHF и DPO

Scratchpadscratchpad

Внешний файл-блокнот агента для находок, решений и списка дел. Живёт вне контекстного окна, поэтому переживает компакцию и переполнение — это долговременная память агента.Разбор: Память, планирование и мультиагентные системы

Structured outputstructured output, json mode

Режим, в котором модель принуждают выдавать строго валидный JSON по заданной схеме, без последующего исполнения. Tool calling — та же механика плюс цикл «вызов — исполнение — результат».Разбор: Tool calling: как модель вызывает инструменты

SWE-benchswe-bench

Бенчмарк агентов на реальных issue из GitHub-репозиториев: агент должен написать патч, успех проверяется скрытыми тестами.Разбор: Оценка агентов: pass@k и траектории

Tool callingtool calling

Механизм, при котором LLM генерирует структурированный JSON-запрос на вызов внешней функции, а код приложения исполняет его и возвращает результат в контекст. Сама модель ничего не исполняет — только «просит».Разбор: Tool calling: как модель вызывает инструменты

RAG: поиск + генерация

Векторная база данныхvector database

Хранилище эмбеддингов с ANN-индексом: за миллисекунды находит ближайшие по смыслу векторы среди миллионов, храня вместе с ними метаданные и исходный текст. Отвечает на вопрос «что похоже по смыслу».Разбор: Векторные базы данных и их типы

Генерация с опорой на контекстgrounded generation

Режим, при котором модель отвечает по переданным в промпт фрагментам документов, а не по памяти. Снижает галлюцинации и позволяет цитировать источники, делая ответы проверяемыми.Разбор: Что такое RAG и зачем он нужен

Гибридный поискhybrid search

Параллельный запуск лексического и векторного поиска со слиянием списков результатов. Слабости методов не пересекаются, поэтому гибрид почти всегда выигрывает у каждого по отдельности.Разбор: Гибридный поиск и реранкинг

Дата отсечения знанийknowledge cutoff

Момент, на котором заморожены знания LLM: о событиях после даты обучения модель не знает и может отвечать выдумкой. Одна из главных причин использовать RAG.Разбор: Что такое RAG и зачем он нужен

Золотой сетgolden set

Набор из 100–500 реальных запросов продукта с эталонными ответами или человеческими оценками. Главный актив eval-инфраструктуры: им калибруют судью и по нему гоняют регрессионные прогоны на каждый релиз.Разбор: Оценка качества RAG · Оценка LLM: бенчмарки и LLM-as-judge

Индексацияindexing

Офлайн-фаза RAG: документы нарезаются на чанки, каждый превращается в вектор-эмбеддинг, векторы складываются в векторную базу данных для последующего поиска.Разбор: Что такое RAG и зачем он нужен

Контрастивное обучениеcontrastive learning

Обучение эмбеддинг-моделей: векторы пары «запрос — релевантный документ» стягиваются, а с нерелевантными негативами расталкиваются. Качество модели определяется тем, что было негативом.Разбор: Эмбеддинг-модели: как их обучают · Как LLM видят изображения

Косинусная близостьcosine similarity

Мера сходства векторов через угол между ними: похожие по смыслу тексты дают близкие направления. Стандартная метрика близости эмбеддингов в семантическом поиске.Разбор: Векторный поиск и ANN-индексы · Эмбеддинги и word2vec

Ложные негативыfalse negatives

Релевантные, но неразмеченные документы, случайно попавшие в негативы при майнинге: модель учат отталкивать правильные ответы. Кандидатов фильтруют, например отбрасывая высокие скоры кросс-энкодера.Разбор: Эмбеддинг-модели: как их обучают

Лямбда-параметр MMRlambda parameter

Коэффициент баланса в MMR: ближе к единице — чистая релевантность с риском дублей, ближе к нулю — чистое разнообразие с риском нерелевантности. На практике держат около 0.5–0.7.Разбор: MMR и разнообразие выдачи

Маргинальная релевантностьmarginal relevance

Прирост полезности документа с учётом уже отобранных: фрагмент, повторяющий выбранное, почти ничего не добавляет, даже если сам по себе релевантен запросу.Разбор: MMR и разнообразие выдачи

Матрёшка-эмбеддингиmatryoshka representation learning

Обучение, при котором первые k координат вектора — самостоятельный рабочий эмбеддинг. Вектор на 1024 измерения можно обрезать до 256 под бюджет памяти, почти не теряя качества и ничего не переобучая.Разбор: Эмбеддинг-модели: как их обучают

Метаданныеpayload, metadata

Структурированные поля записи векторной базы: автор, дата, отдел, язык, права доступа. По ним фильтруют кандидатов при семантическом поиске.Разбор: Векторные базы данных и их типы

Перекрытие чанковoverlap

Соседние чанки перекрываются на несколько токенов, чтобы мысль на границе целиком попала хотя бы в один из них. Цена — дубли в индексе и почти одинаковые кандидаты в выдаче.Разбор: Чанкинг и подготовка данных

Пост-фильтрацияpost-filtering

Стратегия фильтров: сначала найти топ-k по близости, потом отсеять по метаданным. Строгий фильтр может выбить почти все результаты, оставив два из десяти.Разбор: Векторные базы данных и их типы

Пре-фильтрацияpre-filtering

Стратегия фильтров в векторном поиске: сначала сузить кандидатов по метаданным, потом искать по близости. Точнее пост-фильтрации, но дороже для индекса.Разбор: Векторные базы данных и их типы

Пулингpooling

Сборка контекстных векторов всех токенов в один вектор текста: усреднение (mean pooling) или вектор служебного CLS-токена. Так трансформер-энкодер выдаёт эмбеддинг целого запроса или документа.Разбор: Эмбеддинг-модели: как их обучают · Свёрточные сети (CNN)

Разнообразие выдачиdiversity

Свойство набора результатов покрывать разные грани темы вместо повторов одного тезиса. Важно для широких обзорных вопросов и вредно для узких фактовых, где решает точность первого результата.Разбор: MMR и разнообразие выдачи

Рекурсивный сплиттерrecursive character splitter

Стратегия нарезки: резать по самым крупным разделителям (абзац, предложение, слово), спускаясь ниже, только если кусок не влезает в лимит. Практичный дефолт чанкинга.Разбор: Чанкинг и подготовка данных

Реранкерreranker

Вторая ступень поиска: точная модель пересортировывает топ кандидатов от быстрого ретривера. Отвечает за precision, но не вернёт документ, который первая ступень потеряла.Разбор: Гибридный поиск и реранкинг

Ретриверretriever

Первая ступень поиска, быстро отбирающая кандидатов из миллионов документов. Её recall — жёсткий потолок качества всей системы: что не найдено на этом этапе, не спасёт никакой реранкер.Разбор: Гибридный поиск и реранкинг

Семантический чанкингsemantic chunking

Нарезка по смыслу: считаются эмбеддинги соседних предложений, и граница ставится там, где близость резко падает. Точнее фиксированной нарезки, но дороже на этапе индексации.Разбор: Чанкинг и подготовка данных

Чанкchunk

Фрагмент документа — единица индексации в RAG: его эмбеддинг участвует в поиске, его текст попадает в промпт. Хороший чанк понятен сам по себе, без остального документа.Разбор: Чанкинг и подготовка данных

Чанкингchunking

Нарезка документов на фрагменты перед индексацией. От того, где пройдут границы, качество поиска зависит сильнее, чем от выбора модели эмбеддингов.Разбор: Чанкинг и подготовка данных

ACLaccess control list

Список прав доступа, который обязательно прокидывают в метаданные чанков. Без фильтрации по ACL на этапе поиска RAG отдаст содержимое закрытых документов любому, кто задал подходящий вопрос.Разбор: Чанкинг и подготовка данных

ANNapproximate nearest neighbors

Приближённый поиск ближайших соседей: находит «почти наверняка ближайшие» векторы на порядки быстрее полного перебора ценой небольшой потери полноты. Основа векторного поиска на миллионах документов.Разбор: Векторный поиск и ANN-индексы

Answer relevanceanswer relevance

Метрика генерации: отвечает ли сгенерированный текст на заданный вопрос. Ответ может быть верен контексту, но не о том, что спрашивали.Разбор: Оценка качества RAG

Bi-encoderbi-encoder

Модель поиска, кодирующая запрос и документ по отдельности: векторы документов предвычислены заранее, поэтому поиск по миллионам занимает миллисекунды. Раздельное кодирование — потеря точности.Разбор: Гибридный поиск и реранкинг

BM25bm25

Классический алгоритм лексического поиска по взвешенному совпадению слов, наследник TF-IDF. Мгновенно находит точные термины — артикулы, коды ошибок, имена, — но пасует перед синонимами и перефразировками.Разбор: Гибридный поиск и реранкинг

Contextual retrievalcontextual retrieval

Обогащение чанков: LLM читает весь документ и дописывает к каждому фрагменту одно-два предложения контекста — откуда он и о чём. Дороже на индексации, но заметно поднимает точность поиска.Разбор: Чанкинг и подготовка данных

Cross-encodercross-encoder

Модель, читающая пару «запрос плюс документ» целиком одним проходом и выдающая точный скор релевантности. На порядки дороже bi-encoder, поэтому применяется только к топу выдачи.Разбор: Гибридный поиск и реранкинг

FAISSfaiss

Библиотека векторных индексов, работающая в памяти процесса без отдельного сервера. Максимум контроля и скорости, но персистентность, репликация и фильтры — забота разработчика.Разбор: Векторные базы данных и их типы

Faithfulnessfaithfulness, groundedness

Метрика генерации в RAG: опирается ли ответ на переданный контекст или содержит выдуманные утверждения. Именно она ловит галлюцинации; обычно считается LLM-судьёй.Разбор: Оценка качества RAG

Flat-индексflat index

Точный перебор всех векторов при поиске: стопроцентная полнота, но линейная стоимость на каждый запрос. Годится для небольших баз и как эталон при измерении качества ANN-индексов.Разбор: Векторные базы данных и их типы

Hard negativeshard negatives

Похожие, но нерелевантные документы, которые майнят через BM25 или прошлую версию модели. Учат тонким различиям внутри темы; случайные негативы слишком лёгкие и почти не дают градиента.Разбор: Эмбеддинг-модели: как их обучают

HNSWhierarchical navigable small world

Многослойный граф-индекс для ANN: верхние слои — редкие «хайвеи» для дальних прыжков по пространству, нижние — плотные «улицы» для точной доводки. Быстрый и точный, но требует много памяти.Разбор: Векторный поиск и ANN-индексы

In-batch negativesin-batch negatives

Приём контрастивного обучения: для каждого запроса негативами служат документы остальных пар того же батча — без отдельной разметки.Разбор: Эмбеддинг-модели: как их обучают

InfoNCEinfonce loss

Лосс контрастивного обучения: softmax-классификация «найди свой документ среди чужих в батче». Скор позитива тянется вверх относительно негативов, температура задаёт резкость распределения.Разбор: Эмбеддинг-модели: как их обучают

IVFinverted file index

ANN-индекс, в котором база заранее разбита на ячейки вокруг центроидов кластеризации. Поиск идёт только в нескольких ближайших ячейках; их число балансирует полноту и скорость.Разбор: Векторный поиск и ANN-индексы

MMRmaximal marginal relevance

Жадный отбор документов, на каждом шаге балансирующий близость к запросу и непохожесть на уже выбранные. Превращает «k копий лучшего ответа» в «k разных граней темы».Разбор: MMR и разнообразие выдачи

MRRmean reciprocal rank

Средний обратный ранг первого релевантного результата по множеству запросов. Учитывает позицию: релевантный фрагмент на первом месте ценнее, чем на пятом.Разбор: Оценка качества RAG

MTEBmassive text embedding benchmark

Большой бенчмарк задач с эмбеддингами, по которому сравнивают и выбирают эмбеддинг-модели. Лишь ориентир: решает полнота поиска на золотом сете из собственных запросов и документов.Разбор: Эмбеддинг-модели: как их обучают

nDCGnormalized discounted cumulative gain

Метрика качества ранжирования, учитывающая позиции: релевантные результаты наверху списка дают больше очков, чем внизу. Используется в оценке поиска и рекомендаций.Разбор: Оценка качества RAG

Near-дубликатыnear-duplicates

Почти совпадающие фрагменты корпуса, которые забивают топ выдачи перефразировками одного и того же. Отсеиваются MMR: документ, слишком похожий на уже выбранный, теряет ценность.Разбор: MMR и разнообразие выдачи

pgvectorpgvector

Расширение PostgreSQL, добавляющее вектор-колонку и ANN-индекс в обычную базу. Лучший старт до миллиона векторов, если Postgres уже в стеке: одна система, транзакции, привычные бэкапы.Разбор: Векторные базы данных и их типы

PQproduct quantization

Сжатие векторов для ANN-индексов: вектор режется на части, каждая кодируется номером ближайшего эталона из маленького словаря. Память падает в десятки раз при небольшой потере точности.Разбор: Векторный поиск и ANN-индексы

Precision@kprecision at k

Доля действительно релевантных среди k подтянутых фрагментов. Показывает, сколько мусора едет в контекст модели вместе с полезным.Разбор: Оценка качества RAG

RAGretrieval-augmented generation

Паттерн, дающий LLM знания вне её весов: перед генерацией система находит в базе знаний релевантные фрагменты и подставляет их в промпт. Обновить знания — значит переиндексировать документы, а не переобучать модель.Разбор: Что такое RAG и зачем он нужен

Recall@krecall at k

Доля вопросов, для которых релевантный фрагмент попал в топ-k выдачи. Главная метрика ретривера: если нужного чанка нет в контексте, генератор бессилен.Разбор: Оценка качества RAG

RRFreciprocal rank fusion

Слияние ранжированных списков по позициям документов, а не по скорам: чем выше документ в каждом списке, тем больше очков. Не требует калибровки несравнимых шкал BM25 и косинусной близости.Разбор: Гибридный поиск и реранкинг

Top-ktop-k retrieval

Число ближайших фрагментов, которые поиск отдаёт модели в промпт. Мало — риск не захватить нужный, много — шум и лишние токены; значение подбирают эмпирически по метрикам поиска.Разбор: Что такое RAG и зачем он нужен · Сэмплирование: temperature, top-k, top-p

Продакшн и качество

Бейзлайнbaseline

Простое стартовое решение: правила, логистическая регрессия, «рекомендуем популярное». Даёт точку отсчёта, проверяет пайплайн данных и честно отвечает, нужен ли здесь ML вообще.Разбор: Дизайн ML-систем на собеседовании · Распознавание цифр из пикселей

Джейлбрейкjailbreak

Попытка самого пользователя уговорить модель нарушить её правила. Отличается от prompt injection, где вредоносные инструкции спрятаны в читаемых моделью данных, а пользователь — жертва.Разбор: Безопасность: guardrails и prompt injection

Дрифт данныхdata drift, covariate shift

Изменение распределения входных данных при прежней связи входов с целевой переменной: модель смотрит на данные, не похожие на обучающие, но продолжает уверенно предсказывать.Разбор: Мониторинг и дрифт данных

Дрифт концепцииconcept drift

Изменение самой связи между входами и целевой переменной — например, мошенники сменили схему. Самый коварный вид дрифта: входы могут выглядеть как раньше, и мониторинг распределений молчит.Разбор: Мониторинг и дрифт данных

Дрифт лейбловlabel drift, prior shift

Изменение распределения целевой переменной: доля спама выросла с 5% до 20%, и откалиброванные пороги модели поплыли.Разбор: Мониторинг и дрифт данных

Единица рандомизацииrandomization unit

Кто попадает в группу эксперимента целиком — обычно пользователь, а не сессия или запрос. Иначе один человек увидит обе версии, и эффекты смешаются.Разбор: A/B-тесты и продуктовые метрики

Интерливингinterleaving

Чувствительный способ сравнить два ранкера: их результаты перемешиваются в одну выдачу, и по кликам видно, чьи документы предпочитают. Каждый пользователь сравнивает обе модели сразу.Разбор: A/B-тесты и продуктовые метрики

Коллаборативная фильтрацияcollaborative filtering

Рекомендации по поведению: люди с похожими вкусами любят похожее. Признаки контента не нужны — только история взаимодействий; варианты user-based и item-based.Разбор: Рекомендательные системы

Контентная фильтрацияcontent-based filtering

Рекомендации по признакам самого объекта: жанр, текст описания, эмбеддинг обложки. Работает даже для объектов, которые ещё никто не видел, — спасение при холодном старте.Разбор: Рекомендательные системы

Матричное разложениеmatrix factorization

Приближение разреженной матрицы «пользователи × объекты» произведением двух узких матриц: у каждого пользователя и объекта появляется латентный вектор, предсказание — их скалярное произведение.Разбор: Рекомендательные системы

Многорукие бандитыmulti-armed bandits

Алгоритмы баланса разведки и эксплуатации: часть трафика тратится на исследование новых вариантов, остальное — на проверенно лучшие. Формализуют разведку в рекомендациях и экспериментах.Разбор: Рекомендательные системы

Мощностьstatistical power

Вероятность эксперимента обнаружить эффект, когда он действительно есть; обычно целятся в 80%. При маленькой выборке и слабом эффекте реальное улучшение утонет в шуме.Разбор: A/B-тесты и продуктовые метрики

Наименьшие привилегииleast privilege

Принцип: у инструмента агента ровно те права, что нужны задаче — читать одну папку, а не всю почту; создать черновик, а не отправить письмо. Лишние полномочия атакующий найдёт как применить.Разбор: Безопасность: guardrails и prompt injection

Неявный фидбекimplicit feedback

Сигналы вместо явных оценок: клики, просмотры, дочитывания, покупки. Отсутствие клика не значит «не нравится» — объект могли просто не показать, поэтому пропуски взвешивают осторожно.Разбор: Рекомендательные системы

Петля обратной связиfeedback loop

Модель учится на кликах по собственным рекомендациям: что показали, то и кликают, и лог всё меньше отражает истинные вкусы. Без разведки и поправок на позицию система застревает в самоподтверждении.Разбор: Рекомендательные системы

Подглядываниеpeeking

Ежедневная проверка p-value с остановкой теста при первом значимом результате. Раздувает долю ложных срабатываний с 5% до десятков процентов; длительность фиксируют до запуска.Разбор: A/B-тесты и продуктовые метрики

Прокси-сигналыproxy metrics

Наблюдаемые сразу показатели вместо запаздывающих лейблов: дрифт входных фичей, распределение предсказаний, доля пропусков и отказов. Качество модели в проде напрямую не видно — мониторят входы и выходы.Разбор: Мониторинг и дрифт данных

Рекомендательная системаrecommender system

Система, предсказывающая, что понравится пользователю, и отбирающая для него десяток объектов из каталога в миллионы за десятки миллисекунд.Разбор: Рекомендательные системы

Ретрейнингretraining

Обновление модели на свежих данных: по расписанию (просто, но модель стареет между циклами) или по триггеру от дрифт-алертов (экономнее, но требует зрелой автоматики).Разбор: Мониторинг и дрифт данных

Смертельная триадаlethal trifecta

Опасное сочетание у агента: доступ к приватным данным, обработка недоверенного контента и возможность внешних действий. Когда есть все три, утечка — вопрос времени; убирайте хотя бы один угол.Разбор: Безопасность: guardrails и prompt injection

Сплит по времениtime-based split

Валидация моделей на временных данных: обучение на прошлом, тест на будущем. Случайное перемешивание подсовывает модели будущее — метрики завышены, в проде провал.Разбор: Дизайн ML-систем на собеседовании

Фолбэкfallback

Запасное поведение продукта при отказе ML-сервиса: правила, кэш или «популярное». План на отказ — обязательная часть дизайна системы; ответ «лента будет пустой» не принимается.Разбор: Дизайн ML-систем на собеседовании

Холодный стартcold start

Проблема нового объекта или пользователя без истории взаимодействий. Лечится контентными признаками, показом популярного, онбордингом и разведочными показами.Разбор: Рекомендательные системы

Цена ошибкиcost of fp vs fn

Соотношение ущерба от ложного срабатывания и от пропуска, определяющее метрики и пороги системы. Во фроде ложное срабатывание — заблокированный честный клиент, пропуск — украденные деньги.Разбор: Дизайн ML-систем на собеседовании

Человек в контуреhuman-in-the-loop

Требование явного подтверждения человеком для необратимых и внешних действий агента: отправки письма, платежа, удаления данных. Граница, которую prompt injection обойти не может.Разбор: Безопасность: guardrails и prompt injection

Экзфильтрация данныхdata exfiltration

Вывод приватных данных наружу через действия скомпрометированного агента: инъекция в письме заставляет агента с доступом к почте самому переслать переписку атакующему.Разбор: Безопасность: guardrails и prompt injection

Эшелонированная оборонаdefense in depth

Несколько независимых слоёв защиты: валидация входов и выходов, разметка границ данных, ограничение прав, подтверждения человека. Пропущенное одним слоем ловит следующий.Разбор: Безопасность: guardrails и prompt injection

A/B-тестa/b testing

Контролируемый эксперимент: пользователи случайно делятся на контроль и тест, и различие метрик можно приписать изменению продукта, а не составу групп. Единственный честный судья онлайн-эффекта.Разбор: A/B-тесты и продуктовые метрики

Guardrail-метрикиguardrail metrics

Метрики-предохранители эксперимента, которые не должны просесть: латентность, жалобы, отток. Рост конверсии ценой удвоившейся задержки — не победа.Разбор: A/B-тесты и продуктовые метрики

Guardrailsguardrails

Защитные механизмы вокруг LLM-приложения: модерационные классификаторы, валидация схем входов и выходов, ограничение тем и полномочий. Главное — что агент может сделать, а не что сказать.Разбор: Безопасность: guardrails и prompt injection

ML system designml system design

Дисциплина и тип интервью: довести ML от продуктовой цели до работающей системы. Порядок — цель, метрики, данные, бейзлайн, модель, валидация, деплой, мониторинг; модель лишь пятый шаг из восьми.Разбор: Дизайн ML-систем на собеседовании

P-valuep-value

Вероятность увидеть такую или ещё более экстремальную разницу между группами, если на самом деле эффекта нет. Это не вероятность того, что эффекта нет, — частая ловушка на собеседовании.Разбор: A/B-тесты и продуктовые метрики

Prompt injectionprompt injection

Вредоносные инструкции, спрятанные в данных — письме, веб-странице, результате вызова инструмента, — которые перехватывают управление моделью. Пользователь при этом жертва, атакует автор контента.Разбор: Безопасность: guardrails и prompt injection

PSIpopulation stability index

Классическая метрика сдвига распределения: значения фичи разбивают на корзины и сравнивают доли в проде и в обучении. Ориентиры из кредитного скоринга: меньше 0.1 — спокойно, больше 0.2 — распределение уехало.Разбор: Мониторинг и дрифт данных

Shadow modeshadow mode

Теневой запуск: новая модель получает реальный трафик и пишет предсказания в лог, но пользователям их не показывает. Позволяет сравнить поведение моделей без риска перед A/B-тестом.Разбор: Мониторинг и дрифт данных

SRMsample ratio mismatch

Расхождение фактического деления трафика с ожидаемым — 52/48 вместо 50/50. Значит, рандомизация сломана (баг трекинга, фильтрация ботов), и результатам верить нельзя при любом p-value.Разбор: A/B-тесты и продуктовые метрики

Two-towertwo-tower model

Модель retrieval-этапа рекомендаций: две «башни»-энкодера кодируют пользователя и объект в общее векторное пространство. Векторы объектов предвычислены и лежат в ANN-индексе — отбор за миллисекунды.Разбор: Рекомендательные системы