Magnitude — open-source inference server для AI-агентов. Обзор репозитория
Что такое Magnitude
Magnitude — это open-source inference server, который запускает лучшие локальные модели для вашего железа и подключает их к AI-агенту, который вы уже используете. Профилирует вашу машину, рекомендует подходящие модели, скачивает, настраивает и запускает.
Поддерживаемые harness’ы: Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, Cline. Или встроенный harness от Magnitude.
GitHub: https://github.com/magnitudedev/magnitude (3.8k, 267 fork’ов, 618 коммитов)
Лицензия: Apache 2.0
Что умеет Magnitude
Бесплатный запуск — без токенов, API-ключей и лимитов на запросы.
Полная приватность и офлайн — модели, промпты и файлы остаются на вашей машине.
Agent-first setup — один промпт агенту, и он сам проходит setup. Ваш AI-агент профилирует железо, выберет лучшие модели, скачает и подключит.
Знание вашего железа — профилирует чип, память и пропускную способность.
Рекомендации под железо — лучшие модели с расчётной скоростью tok/s.
End-to-end тюнинг — speculative decoding, concurrency, всё настроено под вашу машину.
Модели по требованию — загружаются по запросу, выгружаются когда idle или память заполняется.
Open source — Apache 2.0, можно модифицировать.
Как установить Magnitude
Вариант 1 — попросить агента сделать setup:
Дайте вашему агенту (Claude Code, Hermes, Codex) этот промпт:
«Set up local models for me with the Magnitude CLI. Install it with npm i -g @magnitudedev/cli (or my package manager), then run magnitude docs onboarding and follow the instructions.»
Агент сам профилирует ваше железо, проведёт через выбор моделей, скачает выбранные и переключит себя на них.
Вариант 2 — вручную в терминале:
npm i -g @magnitudedev/cli
magnitude setup
Интерактивный setup профилирует железо, даёт выбрать из рекомендованных моделей, скачивает выбранные и подключает к вашему harness.
Поддержка платформ: macOS, Linux. Windows через WSL.
FAQ по Magnitude
Зачем Magnitude если есть Ollama?
Ollama — это базовый инструмент. Magnitude — это layer поверх. Ваш агент не знает какая у вас машина, какой quant подойдёт, как быстро будет работать. Magnitude даёт агенту каталог с рекомендациями под железо, onboarding flow который пишет конфиг harness’а, и inference заточенный под agent workloads.
Какое железо нужно?
Фиксированного минимума нет. Magnitude профилирует железо и рекомендует лучшие модели под вашу машину. Больше памяти — больше модели.
Нужно ли управлять Magnitude после setup?
Нет. Работает в фоне, загружает модели когда агенту нужны, выгружает когда idle или память заполняется. Агент может устанавливать и переключать модели через Magnitude CLI в любой момент.
Данные уходят в облако?
Нет. Промпты, файлы и модели остаются на вашей машине.
Может работать полностью офлайн?
Да. После загрузки Magnitude и модели интернет не нужен.
Можно использовать модели вне каталога?
Да. Можно скачать совместимые GGUF модели с Hugging Face и использовать в Magnitude.
Чем Magnitude интересен бизнесв
Для корпоративного внедрения AI-агентов критичны:
- Конфиденциальность — клиенты не хотят гонять данные через облака. Magnitude решает это: всё на своей машине.
- Предсказуемая стоимость — нет помесячных счетов за токены, нет рисков что цены вырастут.
- Latency — локальный inference быстрее облачного для многих сценариев.
- Автономность — работает без интернета. Для выездов, оборонки, медицины это критично.
- Адаптация к железу — не нужно покупать дорогое железо, Magnitude подберёт оптимальную модель.
Документация и ссылки
- Репозиторий: https://github.com/magnitudedev/magnitude
- Документация: https://docs.magnitude.dev
- CLI reference: https://docs.magnitude.dev/reference
- Discord: https://discord.gg/EHt48pPWdC
- Twitter: https://x.com/usemagnitude
- NPM пакет: @magnitudedev/cli
- Лицензия: Apache 2.0
Добавить комментарий