Видеокарты и VRAM: железо для нейросетей

Почему нейросети живут на GPU, а не на CPU, что такое видеопамять (VRAM) и как по простой арифметике заранее сказать, влезет ли модель в вашу карту — или придётся квантовать, делить на несколько GPU и офлоадить слои в RAM.

Интуиция: почему GPU, а не CPU

Нейросеть — это по сути гигантский поток умножений матриц: миллиарды одинаковых операций «умножь и сложи», не зависящих друг от друга. Тут важно не быть умным, а быть массовым. Центральный процессор (CPU, central processing unit) — это десяток очень мощных ядер, заточенных под сложную последовательную логику: ветвления, работу с операционной системой, «умные» одиночные задачи. Графический процессор (GPU, graphics processing unit) — наоборот, тысячи простых ядер, которые все вместе перемалывают однотипную арифметику.

Аналогия: нужно сложить десять тысяч пар чисел. Восемь профессоров (CPU) сделают это блестяще, но по очереди. Десять тысяч студентов (GPU), каждый со своей парой, закончат за один шаг. Матричное умножение — ровно такая задача «много одинаковых сложений сразу», поэтому на GPU обучение и инференс идут в десятки раз быстрее.

VRAM против RAM: где узкое место

У GPU своя память — видеопамять (VRAM, video RAM), распаянная прямо на плате рядом с чипом. Её главное свойство — не объём, а пропускная способность (bandwidth): современная VRAM отдаёт данные на скорости порядка терабайт в секунду (ТБ/с), тогда как обычная системная память (RAM) — десятки гигабайт в секунду (ГБ/с), в 10–30 раз медленнее. Разница критична, потому что на каждый шаг генерации через чип нужно прокачать все веса модели.

Отсюда железное правило: веса модели должны поместиться в VRAM целиком. Как только часть весов не влезла и лежит в RAM или на диске, каждый токен ждёт, пока их перекачают по медленной шине — скорость падает в разы. Именно поэтому инференс LLM называют memory-bandwidth-bound (упирающимся в пропускную способность памяти, а не в вычисления): арифметики на токен мало, а байтов гонять через чип — очень много.

Арифметика памяти: считаем честно

Сколько VRAM нужно под саму модель? Вес модели — это число параметров, умноженное на число байт, которыми кодируется один параметр. Байт на параметр задаёт точность (precision):

fp32 — 4 байта, fp16 / bf16 — 2 байта, int8 — 1 байт, int4 — 0.5 байта. Отсюда простое правило прикидки: модель 7B (7 миллиардов параметров) в fp16 ≈ 7 × 2 = 14 ГБ. В int4 та же модель — уже ~3.5 ГБ.

Но веса — не единственный жилец VRAM. К ним прибавляется:

• KV-cache — кэш ключей и значений внимания (см. инференс). Он растёт линейно с длиной контекста и числом параллельных запросов: для 7B в fp16 это ≈ 0.5 МБ на токен, то есть контекст 32k съедает ~16 ГБ — сопоставимо с весами.
• Активации — промежуточные тензоры прямого прохода; на инференсе их немного, но они есть.
• Оверхед — фрагментация, буферы CUDA, сам фреймворк: закладывают ~15–20% сверху.

Итоговая формула планирования: VRAM ≈ (веса + KV-cache × число запросов + активации) × 1.2. Для обучения всё намного тяжелее — там к весам добавляются градиенты и состояния оптимизатора, и с Adam получается ~16 байт на параметр (порядка ×8 к fp16-весам), поэтому полный файнтюн 7B требует ~112 ГБ (подробно — в теме про fine-tuning).

Попробуйте поставить 70B в fp16 на RTX 4090 (24 ГБ) — стопка вылетает за рамку, красный вердикт. Переключите точность на int4: веса ужимаются вчетверо, и та же 70B внезапно почти помещается там, где fp16 не влезала. А теперь потяните контекст к 128k — синий блок весов стоит на месте, но оранжевый KV-cache растёт и снова выталкивает стопку за границу. Это и есть два главных рычага планирования: квантизация давит веса, длина контекста и число запросов раздувают кэш.

Как запускают огромные модели

Что делать, когда модель честно не влезает? Инструментов несколько, и на собеседовании ждут, что вы назовёте их по порядку цены:

• Квантизация — самый дешёвый ход: fp16 → int8/int4 уменьшает веса в 2–4 раза почти без потери качества (методы GPTQ, AWQ). Часто квантуют и KV-cache.
• Offload — часть слоёв держат в VRAM, остальные в RAM или на диске и подкачивают по мере надобности. Модель запустится где угодно, но каждый offloaded-слой тормозит генерацию на медленной шине — это компромисс «работает вообще» против «работает быстро».
• Несколько GPU. Тензорный параллелизм (tensor parallelism) режет каждый слой между картами (они считают одну операцию сообща, обмениваясь на каждом шаге). Пайплайн-параллелизм (pipeline parallelism) отдаёт разным картам разные слои по конвейеру. Для быстрого обмена между картами дата-центровые GPU соединяют шиной NVLink — она в разы быстрее обычного PCIe.

Отдельно стоит помнить про разницу инференса и обучения. На инференсе в VRAM живут веса + кэш. На обучении к весам добавляются градиенты и состояния оптимизатора — с Adam это ~16 байт на параметр, в 8 раз больше fp16-весов. Поэтому обучать большие модели без PEFT/LoRA и кластера нереально.

Потребительские против дата-центровых карт

Игровые карты (RTX 4090, 24 ГБ) дёшевы и отлично подходят для локальных экспериментов и инференса моделей до ~30B в int4. Дата-центровые (A100, H100 — 80 ГБ) стоят в десятки раз дороже, но дают втрое больше VRAM, выше пропускную способность и NVLink для сборки в кластер — их берут под обучение и высоконагруженный сервинг. Выбор «своё железо или облако/API» — отдельная тема (локальные модели против SaaS).