video-use: монтаж видео через Claude Code без пресетов и меню

Монтаж видео раньше требовал часов работы в Premiere или Final Cut: вырезать паузы, подобрать переходы, наложить субтитры, выставить цвет. video-use от команды Browser Use делает это через Claude Code. Кладёте сырые файлы в папку, пишете «смонтируй ролик», получаете готовый final.mp4.
Что такое video-use
Это open-source проект от Browser Use (26k звёзд, MIT лицензия). Превращает Claude Code (или Codex, или Hermes, или OpenClaw) в видеомонтажёра. Из сырых дублей делает готовый ролик.
Идея простая: LLM никогда не смотрит видео напрямую. Она читает его через два слоя:
- Аудио-транскрипция через ElevenLabs Scribe — даёт тайм-коды по словам, диаризацию спикеров, события (смех, аплодисменты)
- Визуальный слой — filmstrip + waveform + субтитры в виде PNG, который агент запрашивает в точках принятия решений
Всё упаковывается в ~12 КБ текста — основное «чтение» для LLM. Картинку запрашивает только когда нужно понять визуальный момент (например, спорный кадр между двумя дублями).
Что умеет
- Вырезает слова-паразиты — umm, uh, ложные старты, мёртвые паузы между дублями
- Автоцветокоррекция каждого сегмента — тёплый кинематографичный, нейтральный резкий или любая своя ffmpeg-цепочка
- 30ms аудио-фейды на каждом стыке — никаких щелчков при склейке
- Субтитры в своём стиле — по умолчанию 2-словные UPPERCASE блоки, настраивается под бренд
- Анимационные вставки через HyperFrames, Remotion, Manim или PIL — спавнятся параллельно в субагентах, по одной анимации каждый
- Самооценка результата на каждом стыке перед показом вам
- Сессионная память — хранится в project.md, на следующей неделе подхватывается с того же места
Как это работает технически
Наивный подход — дать LLM посмотреть 30 000 кадров × 1500 токенов каждый = 45 млн токенов на 5-минутный ролик. Не влезет ни в один контекст.
video-use делает так:
- Один вызов ElevenLabs Scribe на каждый дубль → ~12 КБ текста с таймкодами
- Только в точках сомнений (паузы, выбор между дублями, проверка склейки) → filmstrip PNG
- ffmpeg делает реальные операции: вырезает, склеивает, цветокоррекция, субтитры, фейды
- LLM принимает решения по тексту транскрипта, не по кадрам
Установка
Автоматическая (через агента)
Вставьте в Claude Code / Codex / Hermes / OpenClaw:
Set up https://github.com/browser-use/video-use for me.
Read install.md first to install this repo, wire up ffmpeg, register
the skill with whichever agent you're running under, and set up the
ElevenLabs API key — ask me to paste it when you need it. Then read
SKILL.md for daily usage, and always read helpers/ because that's
where the editing scripts live. After install, don't transcribe
anything on your own — just tell me it's ready and wait for me to
drop footage into a folder.
Агент сам клонирует, поставит зависимости, зарегистрирует skill, попросит ElevenLabs ключ.
Ручная
git clone https://github.com/browser-use/video-use ~/Developer/video-use
ln -sfn ~/Developer/video-use ~/.claude/skills/video-use
cd ~/Developer/video-use
uv sync # или pip install -e .
brew install ffmpeg # обязательно
brew install yt-dlp # опционально, для скачивания видео
cp .env.example .env
$EDITOR .env # вставьте ELEVENLABS_API_KEY
Использование
cd /path/to/your/videos
claude # или codex, или hermes
В сессии: > edit these into a launch video
Агент проинвентаризирует исходники, предложит стратегию, дождётся вашего OK, и сделает edit/final.mp4. Все выходы в — папка скилла остаётся чистой.
Где применимо
| Тип контента | Подходит |
|---|---|
| Talking heads (один человек говорит в камеру) | ✅ идеально |
| Монтаж из разных кадров | ✅ хорошо |
| Туториалы, обучение | ✅ хорошо |
| Путешествия, влоги | ✅ хорошо |
| Интервью | ✅ отлично |
| Музыкальные клипы | ⚠️ средне (нужна синхронность) |
| Фильмы со сложной режиссурой | ❌ не подходит |
| Прямые трансляции | ❌ не подходит |
Плюсы и минусы
Плюсы:
- Бесплатно (только ElevenLabs API)
- Работает локально
- Не нужны навыки монтажа
- Понимает смысл (знает где убрать паузу, где оставить)
- Расширяется через свои скрипты
Минусы:
- Нужен ElevenLabs API (платный для объёмов)
- Для сложного видео нужен контроль человека
- Не подходит для художественного кино
- Субтитры только в одном стиле без кастомизации
- Требует ffmpeg и Python окружения
Кому подойдёт
- Авторам контента — быстро сделать talking head ролики
- Командам в соцсетях — переработка длинных интервью в клипы
- Преподавателям — монтаж лекций
- Подкастерам — видео-версия аудио-подкастов
- Маркетингу — ролики из вебинаров
#video_use #AI_видео #Claude_Code #Browser_Use #open_source #автоматизация_видео
Добавить комментарий