Сколько видеопамяти нужно для нейросетей: 16, 24, 48, 80 или 96 ГБ

Для тестов и небольших моделей обычно достаточно 16–24 ГБ видеопамяти, для рабочих AI-сервисов и RAG-систем чаще стоит смотреть на 48 ГБ, а для крупных моделей, длинного контекста, высокой нагрузки и продакшена — на 80–96 ГБ или сервер с несколькими GPU. Но выбирать видеокарту только по объему памяти нельзя: итог зависит от размера модели, формата хранения, длины контекста, числа одновременных запросов, кэша внимания, оперативной памяти, NVMe и запаса под рост проекта.

Видеопамять стала одним из главных параметров при выборе GPU для нейросетей. Именно в нее загружается модель и данные, с которыми видеокарта работает прямо сейчас. Если памяти не хватает, модель может не запуститься, работать нестабильно или резко терять скорость.

Но вопрос «сколько нужно видеопамяти» сложнее, чем кажется. Одна и та же карта на 24 ГБ может быть нормальным вариантом для прототипа и слабым решением для сервиса, где десятки пользователей одновременно отправляют длинные запросы. А 80 ГБ могут быть избыточными для простого теста, но необходимыми для крупной модели с длинным контекстом.

При выборе важно смотреть не на один параметр, а на весь сценарий:

• какую модель нужно запускать;
• будет ли только генерация ответов или еще дообучение;
• сколько пользователей будет работать одновременно;
• насколько длинные документы нужно обрабатывать;
• нужна ли пакетная обработка запросов;
• будет ли система развиваться через 6–12 месяцев;
• возможно ли масштабирование путём увеличения количества GPU;
• хватает ли серверу оперативной памяти, CPU и быстрых NVMe.

Если задача уже понятна, можно сразу смотреть подходящие видеокарты NVIDIA для нейросетей, но сначала полезно разобраться, где заканчивается «просто запустить модель» и начинается полноценная серверная нагрузка.

Что такое видеопамять и почему она важна для нейросетей

Видеопамять — это память на самой видеокарте. Она быстрее обычной оперативной памяти и находится рядом с вычислительными блоками GPU. Для нейросетей это критично: модель делает огромное количество операций, и данные должны быстро поступать в GPU без постоянного ожидания со стороны процессора или диска.

В видеопамяти обычно находятся:

• веса модели;
• входной запрос пользователя;
• промежуточные вычисления;
• кэш внимания;
• часть данных для параллельной обработки;
• служебные буферы программной среды;
• данные, необходимые для обучения или дообучения.

Важно понимать: видеопамять нужна не только для самой модели. Даже если модель «помещается» в 24 ГБ, это еще не значит, что она будет нормально работать в реальном сервисе. Нужно оставить место под контекст, кэш, несколько запросов, служебные операции и запас на непредвиденные пики.

Есть еще одна частая ошибка: путать видеопамять и оперативную память сервера. Если в сервере 512 ГБ RAM, это не значит, что модель сможет использовать их как 512 ГБ видеопамяти. Часть данных действительно можно выгружать в RAM или на диск, но это почти всегда медленнее. Для стабильной работы нейросети важнее, чтобы основная нагрузка помещалась именно в память GPU.

Почему нельзя выбирать GPU только по объему памяти

Объем видеопамяти — важный параметр, но не единственный. Две карты с одинаковыми 48 ГБ могут заметно отличаться по скорости, поколению, энергопотреблению, поддержке современных форматов вычислений и поведению в сервере.

При выборе GPU для нейросетей нужно учитывать:

• поколение архитектуры;
• пропускную способность памяти;
• тип памяти;
• поддержку нужных форматов вычислений;
• энергопотребление;
• охлаждение;
• форм-фактор;
• совместимость с сервером;
• возможность установки нескольких карт;
• скорость обмена между GPU.

Для простого запуска модели важнее, чтобы она поместилась в память. Для сервиса с большим числом пользователей уже важны задержка, пропускная способность и стабильность. Для дообучения нужны не только гигабайты, но и вычислительная производительность. Для сервера, который работает 24/7, критичны питание, охлаждение и совместимость с корпусом.

Поэтому 16, 24, 48, 80 и 96 ГБ — это не «лестница мощности», а ориентиры под разные классы задач.

Что именно занимает видеопамять

Потребление видеопамяти складывается из нескольких частей. Если учитывать только размер модели, расчет почти всегда получится слишком оптимистичным.

Размер модели

Чем больше параметров у модели, тем больше памяти нужно для ее хранения. Небольшая модель может запускаться на одной карте с 16–24 ГБ, а крупная языковая модель уже потребует 48, 80, 96 ГБ или несколько GPU.

Но нельзя смотреть только на число параметров. На итоговый расход влияет и то, как модель хранится:

• в более «тяжелом» формате;
• в более компактном формате;
• с квантованием;
• с дополнительными оптимизациями;
• с учетом длины контекста и числа запросов.

Квантование — это способ хранить модель компактнее. Проще говоря, модель начинает занимать меньше памяти, потому что числа внутри нее записываются менее подробно. Это помогает запускать более крупные модели на меньшем объеме VRAM, но иногда влияет на качество ответа, стабильность или скорость.

Длина контекста

Контекст — это объем информации, который модель учитывает при ответе. В него входят вопрос пользователя, история диалога, системные инструкции, найденные документы и уже сгенерированный текст.

Длинный контекст особенно важен для:

• чат-ботов;
• анализа документов;
• юридических и технических баз знаний;
• ассистентов поддержки;
• поиска по корпоративной документации;
• RAG-систем.

RAG — это подход, при котором модель отвечает не только на основе своих знаний, но и с учетом найденных фрагментов из базы документов. Сама база знаний обычно не лежит целиком в видеопамяти, но найденные фрагменты добавляются в запрос. Поэтому расход памяти растет не из-за базы как таковой, а из-за увеличения контекста.

Например, модель может спокойно отвечать на короткие вопросы на одной карте, но начать упираться в память, когда к каждому запросу добавляют несколько страниц документации, историю переписки и длинную инструкцию.

Количество одновременных запросов

Один пользователь и сто пользователей — это разные режимы работы. Когда модель обслуживает несколько запросов одновременно, память нужна не только под веса модели, но и под параллельные вычисления.

На расход влияют:

• сколько запросов обрабатывается одновременно;
• сколько текста приходит на вход;
• сколько текста модель должна сгенерировать;
• объединяются ли запросы в пакеты;
• какой запас памяти оставлен под пиковую нагрузку.

Пакетная обработка запросов помогает эффективнее использовать GPU, но увеличивает расход видеопамяти. Чем больше запросов в работе одновременно, тем больше памяти требуется под промежуточные данные.

Кэш внимания

Во время генерации текста модель хранит промежуточные данные, чтобы не пересчитывать весь предыдущий текст заново на каждом шаге. Эти данные часто называют кэшем внимания.

Он особенно важен для языковых моделей, потому что растет вместе с:

• длиной контекста;
• количеством одновременных запросов;
• размером пакета;
• длиной ответа;
• числом пользователей.

Если под кэш не хватает места, сервис может начать работать медленнее. В документации vLLM указано, что при нехватке места под кэш запросы могут вытесняться и пересчитываться, а уменьшение числа одновременных запросов или размера пакета снижает потребление памяти.

Сколько видеопамяти нужно: матрица выбора

Эта таблица не означает, что границы всегда жесткие. Оптимизация может позволить запустить модель на меньшем объеме памяти. Но для рабочего сервиса лучше считать не «минимум, на котором модель один раз стартует», а конфигурацию, которая выдержит реальные запросы, длинный контекст, обновление модели и рост нагрузки.

16 ГБ: для тестов, обучения и небольших моделей

Источник изображения: NVIDIA T4 — пример компактной GPU на 16 ГБ для инференса, тестов и небольших AI-нагрузок.

16 ГБ видеопамяти — это стартовый уровень для работы с нейросетями. Такой объем подходит, если нужно изучать инструменты, запускать небольшие модели, тестировать идеи и работать с задачами, где нет высокой нагрузки.

На 16 ГБ можно рассматривать:

• учебные эксперименты;
• небольшие языковые модели;
• часть задач компьютерного зрения;
• простую генерацию текста;
• тесты локальных AI-инструментов;
• проверку пайплайна перед переносом на более мощный сервер.

Но запас здесь небольшой. Ограничения быстро проявляются, если появляется длинный контекст, несколько пользователей или дообучение. Для серьезной RAG-системы 16 ГБ часто становится тесным вариантом: даже если модель запускается, память может закончиться на кэше, документах и параллельных запросах.

16 ГБ стоит выбирать, если задача экспериментальная и понятно, что при росте проекта конфигурацию придется менять.

24 ГБ: комфортнее для прототипов, но без большого запаса

Источник изображения: NVIDIA A10 — пример GPU на 24 ГБ для прототипов, AI-инструментов и смешанных серверных нагрузок.

24 ГБ — популярный объем для прототипов. Он дает больше свободы, чем 16 ГБ, и позволяет работать с более широким набором моделей. Такой вариант подходит для команд, которые проверяют гипотезу, собирают демонстрацию, тестируют внутреннего ассистента или запускают небольшой сервис.

24 ГБ могут подойти для:

• небольших и части средних моделей;
• тестового RAG;
• локального ассистента для команды;
• экспериментов с компактным дообучением;
• обработки небольших наборов документов;
• первого стенда для API.

Но у 24 ГБ есть очевидное ограничение: мало запаса. Сегодня модель помещается, а завтра появляются длинные документы, больше пользователей, другой формат модели или необходимость держать несколько задач одновременно.

Особенно осторожно нужно относиться к 24 ГБ в трех случаях:

1. Планируется продакшен, а не только тест.
2. Нужен длинный контекст.
3. Ожидается рост числа пользователей.

В таких сценариях 24 ГБ могут оказаться промежуточным решением, которое быстро придется заменять.

48 ГБ: рабочий минимум для многих AI-задач

Источник изображения: NVIDIA L40S — пример серверной GPU на 48 ГБ для рабочих AI-задач, RAG, инференса и дообучения.

48 ГБ — более практичный объем для корпоративных AI-проектов. Его часто стоит рассматривать как рабочий минимум, если задача выходит за рамки личных экспериментов.

На 48 ГБ уже можно строить более уверенные сценарии:

• инференс моделей среднего класса;
• RAG по корпоративным документам;
• обработку длинных запросов;
• дообучение небольших и средних моделей;
• прототипы с перспективой продакшена;
• сервисы для команды или внутреннего отдела;
• обработку изображений, видео и документов.

Например, NVIDIA L40S 48 ГБ можно рассматривать для рабочих AI-нагрузок, где важны не только гигабайты памяти, но и серверное исполнение, производительность и запас под разные типы задач.

48 ГБ не превращают одну карту в универсальное решение для любых моделей, но дают гораздо больше пространства для маневра. Здесь уже проще держать запас под кэш внимания, более длинный контекст и несколько параллельных запросов.

Ограничения начинаются там, где появляются крупные языковые модели, высокая параллельная нагрузка или требования к длинному контексту. В таких случаях одной карты на 48 ГБ может быть мало, особенно если сервис должен стабильно работать для большого числа пользователей.

80 ГБ: крупные модели, длинный контекст и продакшен

Источник изображения: NVIDIA H100 — пример GPU класса 80 ГБ для тяжелых AI-нагрузок, крупных моделей и продакшен-инференса.

80 ГБ — уровень для тяжелых AI-нагрузок. Такой объем нужен, когда модель крупнее, контекст длиннее, пользователей больше, а сервис должен работать стабильно.

80 ГБ стоит рассматривать, если нужно:

• запускать крупные языковые модели;
• обслуживать длинные диалоги;
• работать с большими документами;
• делать RAG для корпоративной базы знаний;
• обрабатывать много запросов;
• дообучать модели;
• держать запас под рост нагрузки.

Для таких задач подходит класс ускорителей вроде NVIDIA H100 80 ГБ. Но даже 80 ГБ не означают, что можно не считать остальную систему. Если данные медленно читаются с диска, не хватает оперативной памяти или CPU не успевает готовить запросы, видеокарта будет простаивать.

80 ГБ особенно полезны там, где нужно не просто «запустить модель», а обеспечить предсказуемую работу:

• с несколькими пользователями;
• с длинным контекстом;
• с очередью запросов;
• с контролем задержки;
• с запасом на обновление модели.

96 ГБ: максимум запаса на одной профессиональной GPU

Источник изображения: RTX PRO 6000 Blackwell Server Edition — пример профессиональной GPU с 96 ГБ видеопамяти для тяжелых AI-сценариев.

96 ГБ видеопамяти — это вариант для задач, где важен максимальный запас на одной карте. Он полезен для тяжелого инференса, крупных моделей, мультимодальных сценариев, работы с большими данными и корпоративных AI-сервисов, где 80 ГБ уже мало или хочется снизить риск упора в память.

Такой объем может быть нужен, если:

• модель большая и плохо помещается в меньшую память;
• контекст длинный;
• запросов много;
• есть несколько типов задач на одном сервере;
• планируется рост модели;
• нужно снизить зависимость от распределения модели между несколькими GPU.

Официальная страница NVIDIA RTX PRO 6000 Blackwell Server Edition указывает 96 ГБ памяти GDDR7 с ECC и позиционирует карту для крупных AI- и визуальных задач.

Но 96 ГБ — не магическая граница. Для обучения больших моделей с нуля одной карты все равно может быть мало. В таких задачах важен уже не только объем VRAM, а вся архитектура: несколько GPU, связь между ними, RAM, NVMe, сеть, питание, охлаждение и программный стек.

Сколько памяти нужно под разные сценарии

Запуск готовой модели

Обычный запуск готовой модели требует меньше памяти, чем обучение. Основной расход приходится на веса модели, контекст, кэш внимания и служебные буферы.

Ориентиры такие:

• 16 ГБ — небольшие модели и тесты;
• 24 ГБ — более комфортные прототипы;
• 48 ГБ — рабочие сервисы и модели среднего класса;
• 80–96 ГБ — крупные модели, длинный контекст, высокая нагрузка.

Важно не путать локальный тест и сервис. Запустить модель для одного запроса — это одно. Обслуживать пользователей через API, держать историю диалога и обрабатывать длинные документы — совсем другое.

RAG и база знаний

RAG-система состоит не только из модели. Обычно рядом есть база документов, поиск, разбиение текстов на фрагменты, индексы, API и логика приложения. Не все это лежит в видеопамяти, но найденные фрагменты документов добавляются в запрос к модели.

Поэтому расход VRAM зависит от нескольких факторов:

• сколько фрагментов добавляется в контекст;
• какой длины эти фрагменты;
• сколько пользователей обращаются к системе;
• как долго хранится история диалога;
• какой объем кэша внимания нужен;
• какой запас памяти оставлен под пики.

Для небольшого тестового RAG может хватить 24 ГБ. Для рабочей системы по корпоративным документам разумнее смотреть на 48 ГБ и выше. Если пользователей много, документы длинные, а модель крупная, нужен уже класс 80–96 ГБ или несколько GPU.

Дообучение

Дообучение потребляет больше памяти, чем обычный запуск модели. Помимо весов модели, нужны данные для обновления параметров, промежуточные значения, оптимизатор и служебные структуры.

Упрощенно можно ориентироваться так:

• 24 ГБ — эксперименты с небольшими моделями и экономичными методами;
• 48 ГБ — более практичный минимум для рабочих задач;
• 80–96 ГБ — серьезное дообучение, крупные модели, запас под стабильность.

Не стоит формулировать задачу как «какую максимальную модель можно втиснуть в память». Для дообучения важнее, чтобы процесс не падал, не требовал слишком много компромиссов и оставлял запас под данные.

Обучение с нуля

Обучение с нуля — самый тяжелый сценарий. Для крупных моделей одна видеокарта почти никогда не является полноценным решением. Здесь нужны несколько GPU, быстрый обмен между ними, большой объем RAM, быстрые NVMe и продуманное хранение датасетов.

В этом случае вопрос «16, 24, 48, 80 или 96 ГБ» становится слишком узким. Нужно оценивать весь сервер или кластер:

• сколько GPU нужно;
• как они связаны между собой;
• хватает ли оперативной памяти;
• выдерживает ли хранилище поток данных;
• как организована сеть;
• можно ли масштабировать конфигурацию.

Если задача — обучение больших моделей с нуля, объем памяти одной GPU важен, но решает не только он.

Пакетная обработка запросов

Пакетная обработка — это когда система объединяет несколько запросов, чтобы эффективнее загрузить GPU. Это полезно для сервиса, где много пользователей или задач.

Плюсы:

• выше пропускная способность;
• лучше загрузка GPU;
• эффективнее обработка очереди.

Минусы:

• больше расход видеопамяти;
• сложнее управлять задержкой;
• выше требования к кэшу внимания;
• нужен запас под пиковые запросы.

Для простого внутреннего инструмента можно начинать с 24–48 ГБ. Для сервиса с большим количеством запросов лучше заранее смотреть на 80 ГБ, 96 ГБ или multi-GPU.

Что влияет на расход видеопамяти

Эта таблица полезна тем, что показывает: VRAM расходуется не по одной причине. Иногда модель небольшая, но контекст длинный. Иногда контекст короткий, но пользователей много. Иногда модель помещается, но дообучение уже не проходит. Поэтому при выборе нужно считать сценарий целиком.

Когда одной видеокарты уже мало

Одна GPU перестает быть достаточной не только тогда, когда модель физически не помещается в память. Есть и другие причины перехода на несколько карт:

• нужно обслуживать больше пользователей;
• требуется снизить задержку;
• модель слишком крупная для одной GPU;
• нужен длинный контекст;
• планируется обучение или дообучение;
• нужно разделить разные задачи между картами;
• нужен запас под рост.

При этом важно помнить: 4 карты по 24 ГБ — это не то же самое, что одна карта на 96 ГБ.

У каждой GPU своя видеопамять. В некоторых задачах модель можно распределить между несколькими картами, но это требует поддержки со стороны программного стека. Появляются накладные расходы на обмен между GPU, синхронизацию и распределение данных.

Иногда несколько карт меньшего объема выгоднее. Например, если нужно параллельно обслуживать несколько независимых задач. Но если модель должна целиком работать с большим контекстом, большая память на одной карте может быть удобнее и стабильнее.

Где начинаются ограничения по CPU, RAM и NVMe

Видеопамять часто обсуждают как главный ресурс, но сервер для нейросетей не состоит из одной GPU. Узким местом может стать что угодно: процессор, оперативная память, накопители, сеть, питание или охлаждение.

Оперативная память

RAM нужна для:

• загрузки моделей и данных;
• подготовки датасетов;
• работы приложения;
• очередей запросов;
• кэшей;
• индексов;
• баз данных;
• обработки документов.

Для RAG-системы обычная оперативная память особенно важна. Рядом с моделью могут работать база векторов, обработчики файлов, API, очередь задач и система логирования. Если RAM мало, сервер начнет чаще обращаться к диску, а это ухудшит скорость.

Процессор

CPU может стать узким местом при подготовке данных. Он участвует в токенизации, обработке документов, работе API, маршрутизации запросов и обслуживании внешних сервисов.

Если процессор слабый, GPU может ждать данные. В итоге дорогая видеокарта будет использоваться не полностью.

NVMe

Быстрые NVMe нужны для хранения:

• моделей;
• датасетов;
• индексов;
• временных файлов;
• логов;
• промежуточных результатов.

Медленное хранилище особенно мешает при обучении, обработке больших массивов данных и работе с документами. Формально модель может помещаться в видеопамять, но весь пайплайн будет тормозить из-за чтения данных.

Сеть и связь между GPU

Для одной карты это не главный фактор. Но если в сервере несколько GPU или несколько узлов, скорость обмена становится критичной. Чем больше модель и нагрузка, тем важнее, как GPU передают данные друг другу.

Типичные ошибки при выборе видеопамяти

Брать GPU только по объему памяти

Большой объем VRAM не гарантирует хорошую производительность. Нужно учитывать поколение карты, скорость памяти, охлаждение, питание, форм-фактор и совместимость с сервером.

Считать только запуск модели

Модель может запуститься, но работать плохо. В реальном сервисе нужен запас под контекст, кэш, параллельные запросы и пики нагрузки.

Путать память одной карты и суммарную память сервера

2 × 48 ГБ не всегда равны одной GPU на 96 ГБ. Для части задач это может быть удобно, но не всегда память нескольких карт работает как единый общий пул.

Не учитывать рост модели

Сегодня хватает 24 ГБ. Потом появляется более тяжелая модель, длинный контекст, больше пользователей и необходимость дообучения. В итоге конфигурация быстро становится тесной.

Забывать про кэш внимания

Это частая причина неожиданных проблем. Модель вроде помещается, но при длинных диалогах или параллельных запросах память заканчивается.

Экономить на RAM и NVMe

GPU может быть мощной, но слабое хранилище или недостаток оперативной памяти испортят общую производительность.

Выбирать потребительскую карту для серверной нагрузки

Не каждая видеокарта подходит для 24/7. В сервере важны охлаждение, питание, поддержка, форм-фактор и стабильность под постоянной нагрузкой.

Как выбрать объем видеопамяти

Перед покупкой полезно пройти короткий чек-лист.

1. Определить задачу: запуск модели, RAG, дообучение, обучение с нуля или сервис для пользователей.
2. Понять класс модели: небольшая, средняя, крупная.
3. Оценить длину контекста.
4. Посчитать ожидаемое число одновременных запросов.
5. Решить, нужен ли запас под рост.
6. Проверить, хватит ли одной GPU.
7. Оценить RAM, CPU, NVMe, питание и охлаждение.
8. Сравнить одну мощную карту и несколько GPU.
9. Проверить, насколько легко будет масштабировать сервер.
10. Выбирать не минимальный вариант, а устойчивую конфигурацию.

Ориентиры можно сформулировать так:

• 16 ГБ — тесты, обучение, небольшие модели;
• 24 ГБ — прототипы и первые эксперименты;
• 48 ГБ — рабочий вариант для многих AI-задач;
• 80 ГБ — крупные модели, длинный контекст, продакшен;
• 96 ГБ — максимальный запас на одной профессиональной GPU.

Что выбрать в итоге

Если задача учебная или экспериментальная, можно начинать с 16–24 ГБ. Этого достаточно, чтобы разобраться с инструментами, проверить идею и запустить небольшие модели.

Если нужен рабочий сервер для RAG, обработки документов, внутреннего ассистента, инференса и небольшого дообучения, разумнее смотреть на 48 ГБ. Такой объем дает запас и не заставляет постоянно бороться за каждый гигабайт.

Если планируется крупная модель, длинный контекст, много пользователей, API или стабильный продакшен, лучше рассматривать 80 ГБ. Это уже класс для серьезной нагрузки, где важно не просто запустить модель, а выдерживать реальные сценарии.

Если нужен максимальный запас на одной GPU, стоит смотреть на 96 ГБ. Это полезно для тяжелого инференса, мультимодальных моделей, сложных корпоративных сервисов и задач, где несколько карт меньшего объема менее удобны.

А если речь идет об обучении больших моделей с нуля или о высоконагруженном AI-сервисе, вопрос нужно ставить шире: не «сколько видеопамяти у одной карты», а «какой сервер или кластер выдержит модель, данные, пользователей и рост нагрузки».