Свой ИИ дома: что поставить обычному пользователю и что — тем, кто дружит с командной строкой

Женщина за ноутбуком дома: локальные ИИ-модели на своём компьютере
Женщина за ноутбуком: локальные ИИ-модели на своём компьютере
Локальный ИИ на своём компьютере: движок моделей, интерфейс и агенты, которые работают внутри вашего контура.

В 2026-м «ИИ у себя дома» перестал быть хобби для гиков. Локальные модели поднялись до приличного качества, агенты научились не показывать демо, а делать работу. Но под словами «ИИ дома» скрываются две разные задачи: человеку с ноутбуком на 16 ГБ ОЗУ и человеку с 24 ГБ VRAM и пониманием, зачем ему контейнер.

Дальше — один гайд на обоих. Только факты, все цифры проверены 28 октября 2026 года.

Сначала ответ на главный вопрос: облако или свой компьютер

Это не религия, арифметика.

Задача Что выбрать Почему
Документы, почта, код, которые нельзя никуда отдавать Локально Данные не покидают машину
Тяжёлые рассуждения, свежие новости, большие контексты Облако Локально это часы, в облаке — минуты
Картинки высокого качества, видео Облако LoRA/ComfyUI — отдельная история, для генерации «просто картинок» облако дешевле
Регулярная рутина: расшифровка, суммаризация, ответы на письма Локально Считается один раз на железе, дальше бесплатно

Практическое правило: держите два облака и один локальный движок. Локальный закрывает приватное и частое, облако — сложное и редкое. Выбирать раз и навсегда не нужно.

Как Strata раскладывает модель по трём уровням: VRAM, RAM и SSD
Как Strata раскладывает 125B-модель по трём уровням памяти. В VRAM живут самые востребованные эксперты, в RAM — все остальные, на SSD — служебная таблица n-gram.

Облако: с чего начать, если не хочется ничего ставить

Для тех, кто не готов к терминалу, вход сегодня очень простой:

  • Алиса AI (Яндекс) — на базе YandexGPT-5 Pro: работает с файлами, ищет по рунету, доступна в браузере, Telegram и MAX, бесплатно и без VPN. Это самый быстрый способ понять, что ИИ вообще может.
  • GigaChat (Сбер), YandexGPT 5 Pro — для тех, кому нужен API и предсказуемые лимиты.
  • GPT-6.1 Terra (OpenAI, 26 октября) — агентная модель, вдвое дешевле предыдущей по цене за токен. В конце октября OpenAI и Anthropic снизили цены на модели вплоть до 80% — облачные подписки стали заметно вкуснее, чем полгода назад.

У облака своя ниша: тяжёлые и свежие задачи. Их удобно отдавать агенту через MCP или API, а приватные данные держать внутри контура.

Локально: два кирпича, и всё работает

Весь «домашний ИИ» собирается из двух кирпичей: движок моделей и интерфейс. Остальное — надстройки под задачи.

Если выбирать, что поставить первым, это Ollama: на ней держится всё остальное.

Движок:

  • Ollama — стандарт де-факто. Одна команда ollama run <модель>, сам разбирается с квантизацией, GPU и форматами. 185 000 звёзд. Ставить первым.
  • LM Studio — то же самое, но с GUI: выбор модели, подсказки, история. Если не хотите терминал — берите его, под капотом тот же Ollama.
  • llama.cpp — если важна скорость и вы готовы повозиться с флагами. 96 000 звёзд, Apache 2.0.

Интерфейс и надстройки:

  • Open WebUI — «ChatGPT, но локально». Диалоги в боковой панели, загрузка файлов, переключение моделей, установка как приложение на телефон. 157 000 звёзд. Ставится в пару с Ollama — и приватный чат готов.
  • LocalAI — OpenAI-совместимый API. Нужен, чтобы старый код работал без переписывания: меняете адрес — и всё. 50 000 звёзд, MIT.
  • AnythingLLM — RAG по своей папке: сканирует документы, индексирует, отвечает с цитатами на источники. 68 000 звёзд. Самый быстрый способ превратить «облачный ИИ» в «свой ИИ».
  • Tabby — локальный copilot для VS Code, JetBrains и Vim. 34 000 звёзд. Свой код не уходит наружу.
  • ComfyUI — генерация изображений нодовым графом (FLUX.2, SD 3.5, Qwen Image). 144 000 звёзд, GPL-3.0. Входит долго, зато даёт полный контроль. Workflow’ы от сообщества — тысячи готовых.
  • Whisper / faster-whisper — расшифровка аудио локально, базовый навык любого домашнего ассистента.
  • n8n (209 000 звёзд) — конструктор автоматизаций с нодами для ИИ-агентов и 400+ интеграциями. Открытый «Zapier».

Отдельный случай: когда модель больше, чем видеопамять

До недавнего времени правило было жёстким: не влезает в VRAM — не запускаешь. Сейчас это перестало быть стеной.

Strata — отдельный движок инференса (MIT, 35 000 звёзд, создан всего месяц назад — 24 сентября 2026). Он раскладывает огромную MoE-модель по трём уровням: в VRAM живёт attention, роутеры и кэш самых востребованных экспертов, в RAM — все эксперты целиком, на SSD — служебная таблица.

Ключевая идея, из-за которой это работает: кэш экспертов в видеопамяти подстраивается под разговор. Каждый дополнительный гигабайт VRAM — примерно 700 экспертов, которые больше не считает процессор. Именно поэтому в документации прямо сказано: объём VRAM важнее скорости самой видеокарты.

Цифры из официальных замеров:

  • RTX 5070 12 ГБ + 64 ГБ RAM → около 5 токенов/с на коде, 231 токен/с на промпте в 8K
  • RTX 3060 12 ГБ + 46 ГБ RAM → 6-9 токенов/с, 155 токенов/с на промпте в 4K

Подход работает на Qwen3.8-Flash-Next — это 48 слоёв, 512 экспертов, из которых на каждый токен активны всего 10, при контексте 262 144 токена. Модель весит 37,6 ГБ в кванте Q2_0 и целиком в память не влезает никогда — Strata и не требует, чтобы влезала.

Свежие замеры из сообщества (RTX 3080 10 ГБ, 48 ГБ RAM): 256K контекста, 728 токенов/с на промпте при выключенном MTP против 507 при включённом. Выключать MTP выгодно под длинный контекст — промпт важнее генерации.

Три предупреждения, без которых настройка превращается в мучения:

  1. Параметр --resident-budget-gib нельзя ставить больше, чем у вас реально есть RAM, — процесс будет убит OOM. Держите запас 4 ГБ на Linux, 8 ГБ на Windows.
  2. RSS-модель обязательно запускать в systemd-юните с MemorySwapMax=0. Иначе эксперты начнут вытесняться в подкачку и всё встанет.
  3. Перед первым запуском прогоните ./setup.sh --calibrate — он подберёт долю чтения через PCIe под вашу материнскую плату.

Отдельная оговорка про качество. Автор развёрнутого теста в r/LocalLLaMA писал, что заменил этой моделью все свои кодовые агенты и ускорил разработку в пять раз. Но в том же треде есть и обратная оценка: «быстро, но делал тупые ошибки, которых не делал 27B в 5.00 bpw». И сам автор позже признался, что при длительной работе скорость генерации проседала до 1-2 токенов/с из-за нагрузки на RAM и SSD. Так что «лучшее, что влезает в 8 ГБ» — вероятно, правда, а «лучше большой модели» — спорно.

Какую модель ставить: подбираем по видеопамяти, а не по хайпу

Главная ошибка новичков — скачать модель побольше и обнаружить, что она не влезает. Считайте от VRAM (на Mac с unified memory — от общей памяти):

Ваше железо Что влезает Для чего
Без GPU, 8-16 ГБ RAM Gemma 4 E2B / E4B, Phi-4 mini, Qwen3.5 4B-9B Чат, суммаризация, перевод, черновики
12-16 ГБ VRAM Gemma 4 12B, gpt-oss 20B, Devstral Код, документы, базовые агентные сценарии
20-24 ГБ VRAM Qwen3.8-27B (Q4_K_M ≈ 17 ГБ), Meta Muse Glimmer 30B (Q4_K_XL ≈ 15,9 ГБ) Агенты, мультимодальность, длинные задачи
32 ГБ VRAM Qwen3.8-Flash-Next через Strata (Gyro-S) 125B-модель на потребительской карте
48+ ГБ VRAM Крупные MoE в 4-бите, Qwen-серия на 30-35B Локальные «взрослые» агенты

Несколько важных деталей:

  • Русский язык. Из открытых моделей Qwen обычно звучит нативнее всего. Есть и дообучения под русский: Saiga, Vikhr, T-lite/T-pro (Т-Банк).
  • Muse Glimmer (Meta, 10 августа 2026, Apache 2.0) — 30B мультимодальная модель, специально заточенная под локальных агентов: tool use, длинные цепочки действий, восстановление после сбоя. Для домашнего агента это, пожалуй, самая интересная новинка года. В Q4_K_XL весит 15,9 ГБ — влезает в 20 ГБ VRAM с запасом.
  • Qwen3.8-27B (5 августа 2026, Apache 2.0): плотная 27B, нативный контекст 262K, в Q4_K_M около 17 ГБ. А вот флагман той же линейки вышел под собственной лицензией вместо Apache 2.0. Проверяйте лицензию конкретной версии: от неё зависит, можно ли использовать модель коммерчески.
  • Чего дома не надо. DeepSeek V4.1 Flash — MoE на 552B, даже версия с приставкой Flash не для бытовой машины. Meta Muse Spark Open (816B, около 537 ГБ в 4-бит) живёт только в дата-центре. А Kimi K3.1 Pro компания сама признала слабее серверной версии: открыли веса, но локально пригодным это не сделало.

Агенты: кто живёт на вашей машине

Модель — это мозг. Агент — мозг с руками: он переписывает файлы, выполняет команды, отправляет письма. Поэтому выбирать его стоит внимательнее, чем модель.

Проверено по GitHub API 28 октября 2026 (звёзды — это внимание, а не качество):

Проект Что делает Лицензия Звёзд
OpenClaw Персональный ассистент в мессенджерах (Telegram/Discord/WhatsApp), память, навыки, MCP, RAG MIT 393K
Hermes Agent «Всегда включён» личный агент: память, навыки, cron-расписания, шлюз в чат-приложения MIT 258K
OpenCode Терминальный код-агент, 75+ провайдеров моделей, режимы plan/build/read-only MIT 222K
Codex CLI Локальный агент OpenAI с песочницей на уровне ОС Apache 2.0 131K
browser-use Библиотека, дающая агенту управление реальным браузером MIT 119K
Gemini CLI Терминальный агент на моделях Gemini с поиском и MCP Apache 2.0 109K
OpenHands Панель для запуска нескольких код-агентов из одного self-hosted-контура MIT 92K
Cline Код-агент прямо в VS Code: режимы plan/act, подтверждение на каждом шаге Apache 2.0 71K
Open Interpreter Лёгкая обвязка агента, которая вытягивает качество из дешёвых моделей Apache 2.0 69K
goose Модель-агностичный код-агент, 70+ MCP-расширений, CLI и десктоп Apache 2.0 56K
Suna (Kortix) Универсальный агент: браузер, файлы, команды. Source-available, а не open source Elastic 2.0 20K

«Open source» в 2026-м растянули. Одиннадцать проектов из двенадцати выше — MIT или Apache 2.0, но Suna под Elastic License 2.0, а JetBrains-плагин Cline вовсе не открыт. Если планируете что-то делать на коммерческой основе, лицензию читают в первую очередь. Не по звёздам.

Тот же принцип касается не только агентов. n8n — 209 000 звёзд, но под Sustainable Use License: ветки кроме main не лицензированы, Enterprise-часть закрыта. Open WebUI — своя лицензия поверх BSD. Tabby — MIT, но каталог ee/ под отдельными условиями. ComfyUI — GPL-3.0, и это важно, если вы планируете встраивать его в коммерческий продукт.

Фреймворки (LangChain, CrewAI, AutoGen, Dify) — для тех, кто пишет агента сам. Домашняя задача обычно решается без них.

Безопасность: часть, которую все пропускают

Локальный агент — это ваш код с правами вашего пользователя. Он читает почту, открывает сайты и выполняет команды. Удобно, но и рискованно.

«Смертельная тройка» Саймона Уиллисона: три условия, при которых агенту нельзя доверять:

  1. доступ к приватным данным,
  2. контакт с недоверенным содержимым (веб, письма, документы),
  3. возможность связаться с внешним миром (отправить, опубликовать, выгрузить).

Уберите любое из трёх — и путь утечки закрывается. Агент, который умеет искать в интернете, писать вам в Telegram и при этом читает вашу почту, становится готовым эксфильтратором, если злоумышленник подмешал инструкцию в веб-страницу.

Два реальных примера:

  • EchoLeak (CVE-2025-32711): инструкции, спрятанные в обычном письме, обошли классификатор prompt injection у Microsoft 365 Copilot. Данные утекли через URL картинки в Markdown, без единого клика пользователя.
  • Red team Anthropic, февраль 2026: исследователь убедил сотрудника запустить Claude Code с вредоносным промптом. Из 25 попыток Claude довёл эксфильтрацию учётных данных до конца 24 раза.

Отсюда восемь правил, которые снижают риск сильнее любых фильтров:

  1. Информация не даёт разрешения. То, что агент прочитал в вебе или в письме, — это данные, а не команды. Никакая страница не может разблокировать отправку вашего отчёта на сторонний адрес.
  2. Минимум прав. Агент живёт в отдельном профиле пользователя или контейнере. Своя папка, свои токены, никакого доступа к ~/.ssh, облачным ключам и рабочим репозиториям.
  3. Подтверждение человеком перед необратимыми действиями: отправить, удалить, купить, опубликовать. Показывайте, что именно будет отправлено и кому.
  4. Песочница для кода. Docker или аналог, сеть по умолчанию ограничена, файловая система — только рабочий каталог агента.
  5. Аудит-лог. Что агент делал, что читал, что отправил. Без журнала любая инцидент-разборка превращается в гадание.
  6. MCP-серверы — только свои. Каждый подключённый сервер = новая точка доверия. Лишние отключите.
  7. Обновляйтесь. У локальных агентов есть поверхность атаки через зависимости и плагины.
  8. Опционально — локальные фильтры: NeMo Guardrails (самозащищающийся хост), Llama Guard 4 (классификатор рисков, 12B), Prompt Shields (Azure, для облака). Фильтры не заменяют разграничение прав.

Отдельная история, банковский тренд: в октябре 2026 года пять крупнейших банков США начали отрезать ИИ-агентам доступ к клиентским счетам. Риски посчитали раньше, чем их начали реализовывать массово.

Два готовых набора на выходные

Набор «Обычный пользователь» (2-3 часа):

  • Ollama + одна модель под ваш VRAM (Gemma 4 12B или Phi-4 mini)
  • Open WebUI как привычный чат
  • Whisper для расшифровки
  • n8n для двух-трёх личных автоматизаций (собрал → в Telegram)
  • Облако (Алиса AI / GigaChat / Claude) для задач, которые локально не тянет

Набор «Продвинутый»:

  • Ollama + Qwen3.8-27B Q4 или Muse Glimmer 30B
  • Open WebUI + AnythingLLM (своя база знаний с цитатами) + Qdrant
  • Tabby (код) + ComfyUI (картинки)
  • Агент в мессенджере: OpenClaw / Hermes / любой self-hosted
  • n8n как слой автоматизаций
  • И обязательно профиль безопасности из предыдущего раздела: отдельный пользователь, sandbox, подтверждения, аудит

Железо для второго набора: 32 ГБ RAM, SSD, видеокарта от 12 ГБ VRAM. Если железо позволяет, я бы выбирал второй набор: он закрывает почти все задачи, которые обычно уводят в облако.

Набор для тех, у кого 12 ГБ VRAM и 40+ ГБ RAM — отдельная ветка, потому что там открывается Strata:

  • Strata + Qwen3.8-Flash-Next Gyro-S (27,6 ГБ суммарно VRAM+RAM)
  • Open WebUI как интерфейс, strata connect для Claude Code / Codex / Hermes
  • systemd-юнит с MemorySwapMax=0 и 4 ГБ headroom
  • Планируйте 60+ ГБ на SSD под модель и подкачку

Это отдельный класс: локальная модель, которую по умолчанию считают серверной.

Пять ошибок, которые съедают время

  1. Ставить модель «потому что она большая». Влезет ли она в VRAM — вопрос первым.
  2. Отдавать агенту почту, браузер и все файлы «на всякий случай». «На всякий случай» — это и есть вектор атаки.
  3. Считать звёзды качеством. Звёзды — это внимание, а не пригодность под вашу задачу.
  4. Верить, что «open source» = свободная лицензия. Проверяйте LICENSE, а не обложку. У n8n, Open WebUI, Tabby и Suna ограничения есть.
  5. Ждать от 8 ГБ VRAM того же, что от 80 ГБ. Модель, которая отвечает за 40 секунд на слабом железе, хуже не отвечает вообще.

Что сделать прямо сегодня

  1. Посмотрите, сколько у вас VRAM. От этого зависит 80% выбора.
  2. Поставьте Ollama и одну модель, запустите 10 реальных своих задач, а не тестовые промпты.
  3. Поднимите Open WebUI — иначе вы будете писать в консоль.
  4. Если пойдёте дальше — заведите агенту отдельный профиль пользователя до того, как дадите ему права.

Свой ИИ дома уже не хобби. Это рабочие инструменты: ставится сегодня вечером, оплачивается один раз железом и работает под вашим контролем. Дальше вопрос только в том, какие задачи вы отдадите локальной машине, а какие облаку.


Полезные ссылки:

  • ollama.com · openwebui.com · localai.io · anythingllm.com · tabbyml.com · comfyui.com · n8n.io · stratallm.org
  • GitHub: openclaw, NousResearch/hermes-agent, anomalyco/opencode, Niko1221/Strata, OpenHands/OpenHands, cline/cline, browser-use/browser-use, block/goose
  • Модели на Hugging Face: Qwen/Qwen3.8-27B, google/gemma-4-12b-it, meta-models/Muse-Glimmer-30B, Qwen/Qwen3.8-Flash-Next
  • OWASP Agentic Security Initiative Top 10 — список рисков для проверки

_Все цифры и релизы проверены 28 октября 2026 года по GitHub API и Hugging Face API. Модели и лицензии обновляются быстро — перепроверяйте перед установкой._

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *