Простая формула
Видеопамять ≈ (число параметров в млрд × размер кванта в байтах) + запас на контекст. Для Q4 — примерно 0,6 ГБ на 1 млрд параметров.
Таблица по моделям
| Модель | Q4 (4 бита) | Q5 | Q8 | Что нужно |
|---|---|---|---|---|
| 3B | ~2 ГБ | ~2,5 ГБ | ~3,5 ГБ | Любая карта 4 ГБ |
| 7–8B | ~5 ГБ | ~6 ГБ | ~8 ГБ | RTX 3060 8 ГБ |
| 13–14B | ~9 ГБ | ~11 ГБ | ~15 ГБ | RTX 4060 Ti 16 ГБ |
| 32–34B | ~20 ГБ | ~24 ГБ | ~34 ГБ | RTX 4090 24 ГБ |
| 70B | ~40 ГБ | ~48 ГБ | ~70 ГБ | Две карты 24 ГБ |
Что такое квант
Сжатие модели: вместо точных чисел используется приближённые. Q4 — 4 бита на вес, экономия памяти в 4 раза при небольшой потере качества. Q8 — почти без потерь, но памяти нужно вдвое больше. Начинайте с Q4_K_M.
Сколько нужно под контекст
К контексту тоже нужна память: примерно 0,5–1 ГБ на каждые 8 тыс. токенов. Для диалогов хватает 4–8 тыс., для работы с документами — 32 тыс. и больше.
Если памяти не хватает
- Возьмите меньшую модель (7B вместо 14B).
- Используйте более сильное сжатие (Q4 вместо Q8).
- Уменьшите контекст.
- Разгрузите часть слоёв на процессор (медленнее, но работает).
- Арендуйте GPU-сервер — сравнение вариантов.
Пример расчёта для 14B
Модель 14B в кванте Q4 занимает примерно 9 ГБ. Плюс контекст 8 тыс. токенов — ещё около 1 ГБ. Плюс служебные буферы — 0,5 ГБ. Итого ~10,5 ГБ. Значит, нужна карта на 12 ГБ и больше.
Что будет, если памяти не хватит
| Симптом | Что происходит | Решение |
|---|---|---|
| Модель не загружается | Ошибка out of memory | Меньшая модель или квант Q4 |
| Работает, но медленно | Часть слоёв ушла на CPU | Уменьшить контекст или модель |
| Тормозит на длинных ответах | Контекст растёт в процессе | Уменьшить max_tokens |
| Вылетает через час | Утечка памяти в драйвере | Обновить драйверы GPU |
Как сэкономить память
- Квант Q4 вместо Q8 — экономия почти вдвое при небольшой потере качества.
- Контекст 4 тыс. токенов вместо 32 тыс. — минус 3–4 ГБ.
- Закрыть браузер и другие приложения, использующие GPU.
- Отключить мультимодальность, если модель её поддерживает (экономит 1–2 ГБ).
Когда выгоднее аренда, а не своё железо
Если модель нужна редко или объём запросов небольшой — арендуйте GPU почасово. Сервер с картой 16 ГБ стоит 40–100 ₽/час. За 20 часов работы в месяц это 800–2 000 ₽ — дешевле, чем покупать карту.
Локально vs облако по деньгам
| Сценарий | Своё железо | Аренда GPU | Облачный API |
|---|---|---|---|
| 100 запросов в месяц | невыгодно | 500–1 000 ₽ | 200–400 ₽ |
| 1000 запросов | невыгодно | 1 500–3 000 ₽ | 1 000–2 000 ₽ |
| 10 000 запросов | окупается за год | 4 000–8 000 ₽ | 5 000–15 000 ₽ |
| Данные под NDA | единственный вариант | подходит | не подходит |
Какая видеокарта подойдёт
| Карта | Память | Что запустит | Цена карты |
|---|---|---|---|
| GTX 1660 Super | 6 ГБ | 7B в Q4 | ~15 000 ₽ |
| RTX 3060 12 ГБ | 12 ГБ | 7B комфортно, 14B в Q4 | ~30 000 ₽ |
| RTX 4060 Ti 16 ГБ | 16 ГБ | 14B комфортно | ~50 000 ₽ |
| RTX 3090 | 24 ГБ | 32B в Q4 | ~80 000 ₽ |
| RTX 4090 | 24 ГБ | 32B быстро | ~200 000 ₽ |
| 2× RTX 3090 | 48 ГБ | 70B в Q4 | ~160 000 ₽ |
Арентда GPU: когда это выгоднее покупки
Если модель нужна 1–2 раза в неделю по часу, покупка карты за 50 000 ₽ не окупится никогда. Аренда почасовая: 40–100 ₽/час. За 8 часов в месяц — 320–800 ₽.
Покупка окупается, если вы используете модель больше 20 часов в месяц в течение года. Тогда аренда обойдётся в 9 600–24 000 ₽, а карта — 50 000 ₽ единоразово плюс электричество.
Где арендовать с оплатой из РФ
- Selectel — российский облачный провайдер, GPU-серверы с оплатой в рублях.
- VK Cloud — крупный провайдер, гибкие конфигурации.
- Fornex — европейские GPU, оплата российской картой.