Tools
Обзор медиафайлов
OpenClaw генерирует изображения, видео и музыку, понимает входящие медиафайлы (изображения, аудио и видео) и озвучивает ответы с помощью синтеза речи. Все медиавозможности реализуются через инструменты: агент решает, когда их использовать, исходя из контекста разговора, а каждый инструмент появляется только при наличии хотя бы одного настроенного провайдера.
Для живой речи используется контракт сеанса Talk, а не путь одноразового
медиаинструмента. Talk поддерживает три режима: нативный для провайдера realtime,
локальный или потоковый stt-tts и transcription для захвата речи
только в режиме наблюдения. Эти режимы используют общие каталоги провайдеров,
конверты событий и семантику отмены с телефонией, встречами, браузерным
взаимодействием в реальном времени и нативными клиентами с функцией «нажми и говори».
Возможности
Создание и редактирование изображений по текстовым запросам или референсным
изображениям через image_generate. Асинхронно в сеансах чата — выполняется
в фоновом режиме и публикует результат по готовности.
Преобразование текста в видео, изображения в видео и видео в видео через
video_generate. Асинхронно — выполняется в фоновом режиме и публикует
результат по готовности.
Генерация музыки или звуковых дорожек через music_generate. Асинхронно
в сеансах чата, с использованием общего жизненного цикла задач генерации медиа.
Преобразование исходящих ответов в озвученное аудио с помощью инструмента
tts и конфигурации messages.tts. Синхронно.
Создание сводок по входящим изображениям, аудио и видео с помощью провайдеров моделей с поддержкой компьютерного зрения и специализированных плагинов понимания медиа.
Транскрибирование входящих голосовых сообщений с помощью пакетных провайдеров STT или провайдеров потокового STT для Voice Call.
Матрица возможностей провайдеров
| Провайдер | Изображения | Видео | Музыка | TTS | STT | Голос в реальном времени | Понимание медиа |
|---|---|---|---|---|---|---|---|
| Alibaba | ✓ | ||||||
| Azure Speech | ✓ | ||||||
| BytePlus | ✓ | ||||||
| ComfyUI | ✓ | ✓ | ✓ | ||||
| Deepgram | ✓ | ||||||
| DeepInfra | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| ElevenLabs | ✓ | ✓ | |||||
| fal | ✓ | ✓ | ✓ | ||||
| ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| Gradium | ✓ | ||||||
| Inworld | ✓ | ||||||
| LiteLLM | ✓ | ||||||
| Локальный CLI | ✓ | ||||||
| Microsoft | ✓ | ||||||
| Microsoft Foundry | ✓ | ||||||
| MiniMax | ✓ | ✓ | ✓ | ✓ | |||
| Mistral | ✓ | ||||||
| OpenAI | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| OpenRouter | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| PixVerse | ✓ | ||||||
| Qwen | ✓ | ✓ | |||||
| Runway | ✓ | ||||||
| SenseAudio | ✓ | ||||||
| Together | ✓ | ||||||
| Volcengine | ✓ | ||||||
| Vydra | ✓ | ✓ | ✓ | ||||
| xAI | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Xiaomi MiMo | ✓ |
Асинхронный и синхронный режимы
| Возможность | Режим | Причина |
|---|---|---|
| Изображения | Асинхронный | Обработка провайдером может продолжаться после завершения хода чата; созданные вложения используют общий путь завершения. |
| Синтез речи | Синхронный | Ответы провайдера возвращаются за несколько секунд и прикрепляются к аудиоответу. |
| Видео | Асинхронный | Обработка провайдером занимает от 30 с до нескольких минут; медленные очереди могут работать до настроенного тайм-аута. |
| Музыка | Асинхронный | Имеет те же характеристики обработки провайдером, что и видео. |
Для асинхронных инструментов OpenClaw отправляет запрос провайдеру, немедленно
возвращает идентификатор задачи и отслеживает задание в реестре задач. Агент
продолжает отвечать на другие сообщения, пока выполняется задание. Когда провайдер
завершает работу, OpenClaw активирует агент, передавая ему пути к созданным
медиафайлам, чтобы он мог сообщить пользователю через обычный видимый режим ответа
сеанса: автоматическую доставку итогового ответа, если она настроена, или
message(action="send"), если сеанс требует использования инструмента сообщений.
Если сеанс отправителя неактивен или его активное пробуждение завершается неудачей,
а в ответе о завершении по-прежнему отсутствует часть созданных медиафайлов,
OpenClaw отправляет идемпотентный прямой резервный ответ только с недостающими
медиафайлами. Медиафайлы, уже доставленные в ответе о завершении, повторно
не публикуются.
Распознавание речи и Voice Call
Deepgram, DeepInfra, ElevenLabs, Google, Groq, Mistral, OpenAI, OpenRouter,
SenseAudio и xAI могут транскрибировать входящее аудио через пакетный путь
tools.media.audio, если он настроен. Плагины каналов, которые предварительно
обрабатывают голосовое сообщение для фильтрации по упоминаниям или разбора команд,
помечают транскрибированное вложение во входящем контексте, поэтому общий проход
понимания медиа повторно использует эту транскрипцию вместо второго вызова STT
для того же аудио.
Deepgram, ElevenLabs, Mistral, OpenAI и xAI также регистрируют провайдеров потокового STT для Voice Call, поэтому звук телефонного разговора в реальном времени можно передавать выбранному поставщику, не дожидаясь завершения записи.
Для живых разговоров с пользователем предпочтителен режим Talk. Пакетные аудиовложения остаются на медиапути; звук из браузерного взаимодействия в реальном времени, нативных клиентов с функцией «нажми и говори», телефонии и встреч должен использовать события Talk и каталоги в области сеанса, возвращаемые Gateway.
Сопоставление провайдеров с поверхностями
Поверхности изображений, видео, музыки, пакетного TTS, пакетного STT, серверной голосовой связи в реальном времени и понимания медиа.
OpenAI
Поверхности изображений, видео, пакетного TTS, пакетного STT, потокового STT для Voice Call, серверной голосовой связи в реальном времени и векторных представлений памяти.
DeepInfra
Поверхности маршрутизации чатов и моделей, генерации и редактирования изображений, преобразования текста в видео, пакетного TTS, пакетного STT, понимания изображений и векторных представлений памяти. DeepInfra также предоставляет переранжирование, классификацию, обнаружение объектов и другие нативные типы моделей; в OpenClaw пока нет контракта провайдера для этих категорий, поэтому данный плагин их не регистрирует.
xAI
Изображения, видео, поиск, выполнение кода, пакетный TTS, пакетный STT и потоковый STT для Voice Call. Голос xAI в реальном времени поддерживается вышестоящим сервисом, но не регистрируется в OpenClaw, пока общий контракт голоса в реальном времени не сможет его представить.
