video-use: монтаж видео через Claude Code без пресетов и меню

video-use: монтаж видео через Claude Code без пресетов и меню

video-use монтаж видео через Claude Code

Монтаж видео раньше требовал часов работы в Premiere или Final Cut: вырезать паузы, подобрать переходы, наложить субтитры, выставить цвет. video-use от команды Browser Use делает это через Claude Code. Кладёте сырые файлы в папку, пишете «смонтируй ролик», получаете готовый final.mp4.

Что такое video-use

Это open-source проект от Browser Use (26k звёзд, MIT лицензия). Превращает Claude Code (или Codex, или Hermes, или OpenClaw) в видеомонтажёра. Из сырых дублей делает готовый ролик.

Идея простая: LLM никогда не смотрит видео напрямую. Она читает его через два слоя:

  1. Аудио-транскрипция через ElevenLabs Scribe — даёт тайм-коды по словам, диаризацию спикеров, события (смех, аплодисменты)
  2. Визуальный слой — filmstrip + waveform + субтитры в виде PNG, который агент запрашивает в точках принятия решений

Всё упаковывается в ~12 КБ текста — основное «чтение» для LLM. Картинку запрашивает только когда нужно понять визуальный момент (например, спорный кадр между двумя дублями).

Что умеет

  • Вырезает слова-паразиты — umm, uh, ложные старты, мёртвые паузы между дублями
  • Автоцветокоррекция каждого сегмента — тёплый кинематографичный, нейтральный резкий или любая своя ffmpeg-цепочка
  • 30ms аудио-фейды на каждом стыке — никаких щелчков при склейке
  • Субтитры в своём стиле — по умолчанию 2-словные UPPERCASE блоки, настраивается под бренд
  • Анимационные вставки через HyperFrames, Remotion, Manim или PIL — спавнятся параллельно в субагентах, по одной анимации каждый
  • Самооценка результата на каждом стыке перед показом вам
  • Сессионная память — хранится в project.md, на следующей неделе подхватывается с того же места

Как это работает технически

Наивный подход — дать LLM посмотреть 30 000 кадров × 1500 токенов каждый = 45 млн токенов на 5-минутный ролик. Не влезет ни в один контекст.

video-use делает так:

  1. Один вызов ElevenLabs Scribe на каждый дубль → ~12 КБ текста с таймкодами
  2. Только в точках сомнений (паузы, выбор между дублями, проверка склейки) → filmstrip PNG
  3. ffmpeg делает реальные операции: вырезает, склеивает, цветокоррекция, субтитры, фейды
  4. LLM принимает решения по тексту транскрипта, не по кадрам

Установка

Автоматическая (через агента)

Вставьте в Claude Code / Codex / Hermes / OpenClaw:

Set up https://github.com/browser-use/video-use for me.

Read install.md first to install this repo, wire up ffmpeg, register
the skill with whichever agent you're running under, and set up the
ElevenLabs API key — ask me to paste it when you need it. Then read
SKILL.md for daily usage, and always read helpers/ because that's
where the editing scripts live. After install, don't transcribe
anything on your own — just tell me it's ready and wait for me to
drop footage into a folder.

Агент сам клонирует, поставит зависимости, зарегистрирует skill, попросит ElevenLabs ключ.

Ручная

git clone https://github.com/browser-use/video-use ~/Developer/video-use
ln -sfn ~/Developer/video-use ~/.claude/skills/video-use

cd ~/Developer/video-use
uv sync                    # или pip install -e .
brew install ffmpeg        # обязательно
brew install yt-dlp        # опционально, для скачивания видео

cp .env.example .env
$EDITOR .env               # вставьте ELEVENLABS_API_KEY

Использование

cd /path/to/your/videos
claude                     # или codex, или hermes

В сессии: > edit these into a launch video

Агент проинвентаризирует исходники, предложит стратегию, дождётся вашего OK, и сделает edit/final.mp4. Все выходы в /edit/ — папка скилла остаётся чистой.

Где применимо

Тип контента Подходит
Talking heads (один человек говорит в камеру) ✅ идеально
Монтаж из разных кадров ✅ хорошо
Туториалы, обучение ✅ хорошо
Путешествия, влоги ✅ хорошо
Интервью ✅ отлично
Музыкальные клипы ⚠️ средне (нужна синхронность)
Фильмы со сложной режиссурой ❌ не подходит
Прямые трансляции ❌ не подходит

Плюсы и минусы

Плюсы:

  • Бесплатно (только ElevenLabs API)
  • Работает локально
  • Не нужны навыки монтажа
  • Понимает смысл (знает где убрать паузу, где оставить)
  • Расширяется через свои скрипты

Минусы:

  • Нужен ElevenLabs API (платный для объёмов)
  • Для сложного видео нужен контроль человека
  • Не подходит для художественного кино
  • Субтитры только в одном стиле без кастомизации
  • Требует ffmpeg и Python окружения

Кому подойдёт

  • Авторам контента — быстро сделать talking head ролики
  • Командам в соцсетях — переработка длинных интервью в клипы
  • Преподавателям — монтаж лекций
  • Подкастерам — видео-версия аудио-подкастов
  • Маркетингу — ролики из вебинаров


#video_use #AI_видео #Claude_Code #Browser_Use #open_source #автоматизация_видео

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *