Обновлено: 18 октября 2026 · Проверено вручную
Когда данные нельзя отдавать — модель запускают у себя.
Когда это нужно
- Работаете с персональными данными, медициной, юридическими документами под NDA
- Нет стабильного доступа к зарубежным сервисам
- Нужна работа без лимитов и оплаты за каждый запрос
- Хотите разобраться, как это устроено
Что нужно по железу
| Модель | Память GPU | Что умеет |
|---|---|---|
| 3B (Qwen, Llama) | 4 ГБ | Простые ответы, подойдёт для теста |
| 7-8B | 8 ГБ | Тексты, код начального уровня |
| 14B | 16 ГБ | Хорошие тексты, уверенный код |
| 32B+ | 24 ГБ и выше | Близко к облачным моделям |
Без видеокарты тоже работает, но медленно — на процессоре 7B модель отвечает 2-5 токенов в секунду. Это терпимо для коротких вопросов, неудобно для длинных текстов.
Два инструмента — выберите один
Ollama — если нужен командный интерфейс
Ставится одной командой, модели качает сам, отдаёт API на localhost. Хорошо для разработки.
LM Studio — если нужен обычный интерфейс
Графическое приложение: скачал, выбрал модель из списка, нажал «запустить». Работает как обычный чат. Умеет отдавать API, совместимый с OpenAI.
Установка за 15 минут (LM Studio)
- Скачать с официального сайта под свою ОС (Windows, macOS, Linux).
- В поиске внутри приложения ввести модель, например
qwen2.5-7b-instruct. - Выбрать квант Q4_K_M — оптимальный баланс качества и размера (~4,5 ГБ).
- Нажать «Download», затем «Load».
- Писать в чат.
Квантование — что это
Сжатие модели: вместо точных чисел используется приближённые. Q4 — 4 бита на вес, экономия памяти в 4 раза при небольшой потере качества. Q8 — почти без потерь, но памяти нужно вдвое больше. Начинайте с Q4_K_M.
Чего ждать
| Локальная 7B | Облачная топ-модель |
|---|---|
| Хорошо пишет простые тексты | Хорошо пишет любые тексты |
| Код базового уровня | Код сложной логики |
| Не знает новостей | Может искать в интернете |
| Данные у вас | Данные на сервере |
| Бесплатно навсегда | Оплата за месяц или токены |
Локальная модель не заменит GPT-4 в сложных задачах. Но для черновиков, перевода, простых вопросов и работы с чувствительными данными — вполне.
Аренда сервера с GPU
Если своего железа нет, а данные отдавать нельзя — берут GPU-сервер. В России это Selectel или VK Cloud. Стоимость от 3 000 ₽/мес за видеокарту с 8-16 ГБ.
Шаг 3. Отключить интернет и проверить
Выключите сеть и задайте вопрос. Если ответ есть — всё работает автономно.
Шаг 4. Поставить интерфейс
- Open WebUI — полноценный веб-чат через Docker.
- LM Studio — отдельное приложение со своим интерфейсом.
- AnythingLLM — если нужна работа с документами внутри.
Какая модель лучше для русского
| Модель | Русский | Код | Скорость |
|---|---|---|---|
| qwen2.5:7b | Хорошо | Средне | Быстро |
| llama3.1:8b | Средне | Хорошо | Быстро |
| gemma2:9b | Хорошо | Средне | Средне |
| qwen2.5:14b | Отлично | Хорошо | Нужна GPU |
Что не получится
- Актуальные данные — модель не знает новостей.
- Точная математика — считайте в калькуляторе.
- Работа с файлами «из коробки» — нужен дополнительный интерфейс.
Нет железа? GPU-сервер в Selectel →
Сколько места займёт
Одна модель 7B — около 5 ГБ. Плюс интерфейс (Open WebUI через Docker) — ещё 2–3 ГБ. Итого 8–10 ГБ на диске. Держите 2–3 модели — 20–30 ГБ.
Если компьютер слабый
- Начните с модели 3B — работает на 4 ГБ ОЗУ.
- Используйте квант Q4 — вдвое меньше памяти.
- Закройте браузер и другие тяжёлые приложения.
- Для регулярной работы арендуйте GPU-сервер — сравнение вариантов.
Три модели, которые стоит попробовать
| Модель | Размер | Сильная сторона | Слабая сторона |
|---|---|---|---|
| qwen2.5:7b | 4,7 ГБ | Лучшая для русского среди 7B | Код среднего уровня |
| llama3.1:8b | 4,9 ГБ | Общие задачи, английский | Русский слабее |
| gemma2:9b | 5,4 ГБ | Хороший баланс | Медленнее на CPU |
| qwen2.5-coder:7b | 4,7 ГБ | Только код | Тексты слабые |
Как обновлять модели
ollama pull qwen2.5:7b # скачать обновление
ollama list # список моделей
ollama rm старая:модель # удалить ненужнуюКуда дальше
Что реально умеет локальная модель
| Задача | Уровень 7B | Уровень 14B | Комментарий |
|---|---|---|---|
| Простые тексты | Хорошо | Отлично | Письма, описания, черновики |
| Перевод | Удовлетворительно | Хорошо | Лучше через специализированные модели |
| Код | Средне | Хорошо | qwen2.5-coder предпочтительнее |
| Ответы на вопросы | Хорошо | Отлично | По общим темам |
| Работа с документами | Через интерфейс | Через интерфейс | Нужен Open WebUI |
| Актуальные данные | Нет | Нет | Модель не знает новостей |
Сколько электричества потребляет
Модель 7B на обычном ПК с видеокартой тянет около 150–250 Вт в момент генерации. При работе 2 часа в день это 9–15 кВт·ч в месяц — примерно 50–100 ₽ по бытовому тарифу. Дешевле любой подписки, если пользоваться регулярно.
Когда это действительно выгодно
| Сценарий | Локально | Облако |
|---|---|---|
| 2 часа в день, приватные данные | выгодно | нарушает 152-ФЗ |
| Редко, короткие вопросы | невыгодно | бесплатный тариф |
| Большие тексты каждый день | условно выгодно | качество выше в облаке |
| Код каждый день | невыгодно | DeepSeek дешевле и лучше |
Безопасность: что надо настроить
- Отключите телеметрию — некоторые интерфейсы по умолчанию её собирают.
- Не открывайте порт модели в интернет без пароля.
- Храните модели на зашифрованном диске, если работаете с чувствительными данными.
- Проверьте, куда пишутся логи диалогов.