Tools
Medienübersicht
OpenClaw generiert Bilder, Videos und Musik, versteht eingehende Medien (Bilder, Audio, Video) und spricht Antworten mittels Text-to-Speech laut aus. Alle Medienfunktionen werden durch Tools gesteuert: Der Agent entscheidet anhand der Unterhaltung, wann sie verwendet werden, und jedes Tool wird nur angezeigt, wenn mindestens ein unterstützender Provider konfiguriert ist.
Live-Sprache verwendet den Talk-Sitzungsvertrag anstelle des Medien-Tool-Pfads
für Einzelvorgänge. Talk bietet drei Modi: Provider-natives realtime, lokales oder
streamendes stt-tts und transcription für die reine Erfassung von Sprache ohne
Interaktion. Diese Modi nutzen gemeinsam mit Telefonie, Besprechungen,
Browser-Echtzeitkommunikation und nativen Push-to-Talk-Clients dieselben
Provider-Kataloge, Ereignis-Umschläge und Abbruchsemantiken.
Funktionen
Erstellen und bearbeiten Sie Bilder anhand von Texteingaben oder Referenzbildern
über image_generate. In Chatsitzungen asynchron – wird im Hintergrund
ausgeführt und veröffentlicht das Ergebnis, sobald es verfügbar ist.
Text-zu-Video, Bild-zu-Video und Video-zu-Video über video_generate.
Asynchron – wird im Hintergrund ausgeführt und veröffentlicht das Ergebnis,
sobald es verfügbar ist.
Generieren Sie Musik oder Audiospuren über music_generate. In
Chatsitzungen asynchron im gemeinsamen Aufgabenlebenszyklus der Mediengenerierung.
Wandeln Sie ausgehende Antworten über das Tool tts und die Konfiguration
messages.tts in gesprochene Audiodaten um. Synchron.
Fassen Sie eingehende Bilder, Audio- und Videodaten mithilfe visuell leistungsfähiger Modell-Provider und spezieller Plugins für Medienverständnis zusammen.
Transkribieren Sie eingehende Sprachnachrichten mittels Batch-STT oder streamender STT-Provider für Voice Call.
Matrix der Provider-Funktionen
| Provider | Bild | Video | Musik | TTS | STT | Echtzeit-Sprache | Medienverständnis |
|---|---|---|---|---|---|---|---|
| Alibaba | ✓ | ||||||
| Azure Speech | ✓ | ||||||
| BytePlus | ✓ | ||||||
| ComfyUI | ✓ | ✓ | ✓ | ||||
| Deepgram | ✓ | ||||||
| DeepInfra | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| ElevenLabs | ✓ | ✓ | |||||
| fal | ✓ | ✓ | ✓ | ||||
| ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| Gradium | ✓ | ||||||
| Inworld | ✓ | ||||||
| LiteLLM | ✓ | ||||||
| Lokale CLI | ✓ | ||||||
| Microsoft | ✓ | ||||||
| Microsoft Foundry | ✓ | ||||||
| MiniMax | ✓ | ✓ | ✓ | ✓ | |||
| Mistral | ✓ | ||||||
| OpenAI | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| OpenRouter | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| PixVerse | ✓ | ||||||
| Qwen | ✓ | ✓ | |||||
| Runway | ✓ | ||||||
| SenseAudio | ✓ | ||||||
| Together | ✓ | ||||||
| Volcengine | ✓ | ||||||
| Vydra | ✓ | ✓ | ✓ | ||||
| xAI | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Xiaomi MiMo | ✓ |
Asynchron und synchron
| Funktion | Modus | Grund |
|---|---|---|
| Bild | Asynchron | Die Verarbeitung durch den Provider kann länger als ein Chatdurchlauf dauern; generierte Anhänge verwenden den gemeinsamen Abschlusspfad. |
| Text-to-Speech | Synchron | Antworten des Providers treffen innerhalb von Sekunden ein und werden an die Antwortaudiodaten angehängt. |
| Video | Asynchron | Die Verarbeitung durch den Provider dauert 30 s bis mehrere Minuten; langsame Warteschlangen können bis zum konfigurierten Zeitlimit ausgeführt werden. |
| Musik | Asynchron | Weist dieselben Eigenschaften der Provider-Verarbeitung wie Video auf. |
Bei asynchronen Tools sendet OpenClaw die Anfrage an den Provider, gibt sofort
eine Aufgaben-ID zurück und verfolgt den Auftrag im Aufgabenverzeichnis. Der Agent
beantwortet weiterhin andere Nachrichten, während der Auftrag ausgeführt wird. Sobald der
Provider fertig ist, aktiviert OpenClaw den Agenten mit den Pfaden der generierten Medien,
damit dieser den Benutzer über den normalen sichtbaren Antwortmodus der Sitzung informieren kann:
automatische Zustellung der endgültigen Antwort, wenn diese konfiguriert ist, oder
message(action="send"), wenn die Sitzung das Nachrichten-Tool erfordert. Wenn die
anfragende Sitzung inaktiv ist oder ihre aktive Aktivierung fehlschlägt und in der
Abschlussantwort noch generierte Medien fehlen, sendet OpenClaw eine idempotente direkte
Fallback-Nachricht, die nur die fehlenden Medien enthält. Medien, die bereits durch die
Abschlussantwort zugestellt wurden, werden nicht erneut veröffentlicht.
Speech-to-Text und Voice Call
Deepgram, DeepInfra, ElevenLabs, Google, Groq, Mistral, OpenAI, OpenRouter,
SenseAudio und xAI können alle eingehende Audiodaten über den Batch-Pfad
tools.media.audio transkribieren, wenn sie konfiguriert sind. Channel-Plugins, die eine
Sprachnachricht vorab auf Erwähnungsfilterung oder Befehlsanalyse prüfen, markieren den
transkribierten Anhang im eingehenden Kontext, sodass der gemeinsame Durchlauf für das
Medienverständnis dieses Transkript wiederverwendet, statt einen zweiten STT-Aufruf für
dieselben Audiodaten vorzunehmen.
Deepgram, ElevenLabs, Mistral, OpenAI und xAI registrieren außerdem streamende STT-Provider für Voice Call, sodass Live-Telefonaudio an den ausgewählten Provider weitergeleitet werden kann, ohne auf eine abgeschlossene Aufnahme zu warten.
Verwenden Sie für Live-Unterhaltungen mit Benutzern vorzugsweise den Talk-Modus. Batch-Audioanhänge verbleiben auf dem Medienpfad; Browser-Echtzeitkommunikation, natives Push-to-Talk, Telefonie und Besprechungsaudio sollten Talk-Ereignisse und die vom Gateway zurückgegebenen sitzungsspezifischen Kataloge verwenden.
Provider-Zuordnungen (Aufteilung der Anbieter auf die Oberflächen)
Oberflächen für Bilder, Videos, Musik, Batch-TTS, Batch-STT, Backend-Echtzeit-Sprache und Medienverständnis.
OpenAI
Oberflächen für Bilder, Videos, Batch-TTS, Batch-STT, streamendes STT für Voice Call, Backend-Echtzeit-Sprache und Speicher-Embeddings.
DeepInfra
Oberflächen für Chat-/Modell-Routing, Bildgenerierung/-bearbeitung, Text-zu-Video, Batch-TTS, Batch-STT, Medienverständnis für Bilder und Speicher-Embeddings. DeepInfra stellt außerdem Re-Ranking, Klassifizierung, Objekterkennung und andere native Modelltypen bereit; OpenClaw verfügt für diese Kategorien noch über keinen Provider-Vertrag, daher registriert dieses Plugin sie nicht.
xAI
Bilder, Videos, Suche, Codeausführung, Batch-TTS, Batch-STT und streamendes STT für Voice Call. Echtzeit-Sprache von xAI ist eine vorgelagerte Funktion, wird jedoch erst in OpenClaw registriert, wenn sie durch den gemeinsamen Echtzeit-Sprachvertrag abgebildet werden kann.
