ИИ без интернета

Когда данные нельзя отдавать — модель запускают у себя.

Когда это нужно

Работаете с персональными данными, медициной, юридическими документами под NDA
Нет стабильного доступа к зарубежным сервисам
Нужна работа без лимитов и оплаты за каждый запрос
Хотите разобраться, как это устроено

Что нужно по железу

Модель	Память GPU	Что умеет
3B (Qwen, Llama)	4 ГБ	Простые ответы, подойдёт для теста
7-8B	8 ГБ	Тексты, код начального уровня
14B	16 ГБ	Хорошие тексты, уверенный код
32B+	24 ГБ и выше	Близко к облачным моделям

Без видеокарты тоже работает, но медленно — на процессоре 7B модель отвечает 2-5 токенов в секунду. Это терпимо для коротких вопросов, неудобно для длинных текстов.

Два инструмента — выберите один

Ollama — если нужен командный интерфейс

Ставится одной командой, модели качает сам, отдаёт API на localhost. Хорошо для разработки.

# установка
curl -fsSL https://ollama.com/install.sh | sh

# запуск модели
ollama run qwen2.5:7b

# API на localhost:11434

LM Studio — если нужен обычный интерфейс

Графическое приложение: скачал, выбрал модель из списка, нажал «запустить». Работает как обычный чат. Умеет отдавать API, совместимый с OpenAI.

Установка за 15 минут (LM Studio)

Скачать с официального сайта под свою ОС (Windows, macOS, Linux).
В поиске внутри приложения ввести модель, например qwen2.5-7b-instruct.
Выбрать квант Q4_K_M — оптимальный баланс качества и размера (~4,5 ГБ).
Нажать «Download», затем «Load».
Писать в чат.

Квантование — что это

Сжатие модели: вместо точных чисел используется приближённые. Q4 — 4 бита на вес, экономия памяти в 4 раза при небольшой потере качества. Q8 — почти без потерь, но памяти нужно вдвое больше. Начинайте с Q4_K_M.

Чего ждать

Локальная 7B	Облачная топ-модель
Хорошо пишет простые тексты	Хорошо пишет любые тексты
Код базового уровня	Код сложной логики
Не знает новостей	Может искать в интернете
Данные у вас	Данные на сервере
Бесплатно навсегда	Оплата за месяц или токены

Локальная модель не заменит GPT-4 в сложных задачах. Но для черновиков, перевода, простых вопросов и работы с чувствительными данными — вполне.

Аренда сервера с GPU

Если своего железа нет, а данные отдавать нельзя — берут GPU-сервер. В России это Selectel или VK Cloud. Стоимость от 3 000 ₽/мес за видеокарту с 8-16 ГБ.