Dokumente, Sprache, Video, Benachrichtigungen, Session-Suche

Was der Agent erreichen kann #

HTML-Dokumente #

Der Agent kann mit einem vollständigen HTML-Dokument antworten, mit eingebettetem CSS, SVG und Skripten, das sich im Vorschaubereich des Desktops und im Dateibetrachter auf Ihrem Telefon öffnet. Es lädt keine externen Ressourcen. Der Desktop liefert es aus einem isolierten Ursprung aus, und die App nimmt von der Seite nur zwei Nachrichten an: einen Link öffnen und Seite geladen.

Das Werkzeug nimmt einen Titel mit höchstens 120 Zeichen und einen Klartextauftrag mit höchstens 64 KiB an. Es startet einen privaten Dokumentagenten über das aktuelle Codex-Konto. Dieser gestaltet die Seite, erstellt hilfreiche SVG-Diagramme, speichert das HTML und prüft das Ergebnis. Entwürfe und Werkzeugaufrufe des Dokumentagenten erscheinen nicht im Hauptchat. Der Aufruf endet mit dem gespeicherten Markdown-Link, den gemeldeten Prüfungen und möglichen Einschränkungen. Der Dokumentagent kann dieselbe Datei überarbeiten und muss sie nach Änderungen erneut prüfen. Eine gemeldete visuelle Prüfung erfordert einen Screenshot der neuesten Vorschau und ein Ereignis zur Bildansicht. Ist die Prüfung nicht möglich, muss das Ergebnis den Grund nennen. Diese Nachweise bestätigen weder die Gestaltungsqualität noch die sachliche Richtigkeit. Dokumente dürfen höchstens 2 MiB groß sein, müssen eigenständig und strukturell gültig sein und erhalten eine Content-Security-Policy, die externe Ressourcen und Netzwerkanfragen blockiert. Sie bleiben mit metadata.json unter agent-documents/<sessionId>/<documentId>/ im Datenverzeichnis des Desktops gespeichert. Der Hauptagent muss den zurückgegebenen Markdown-Link unverändert ausgeben.

Sprache und Video mit Ihrem Gemini-Schlüssel #

Speichern Sie einen Gemini-API-Schlüssel unter Settings → API Keys, und in Sessions, die danach starten, erscheinen zwei weitere Tools im Namespace. Beide lesen den Schlüssel bei jedem Aufruf; wenn Sie ihn löschen, funktionieren sie sofort nicht mehr, auch in Sessions, die sie noch anbieten. Der Schlüssel bleibt auf dem Desktop, und die Anfragen gehen von Ihrem Computer direkt an Gemini.

• Sprachausgabe. Der Desktop teilt den Text an Satzgrenzen in Blöcke von höchstens 1.800 Zeichen, synthetisiert drei gleichzeitig mit gemini-3.1-flash-tts-preview, wiederholt jeden Block zweimal mit wachsendem Backoff und fügt die 24-kHz-Mono-16-Bit-PCM-Teile mit 180 ms Stille dazwischen zu einer WAV-Datei unter agent-speech im Cache-Verzeichnis zusammen. Regieanweisungen bleiben außerhalb des gesprochenen Transkripts, und ein mehrteiliger Prompt weist das Modell an, die Teilnummer nicht vorzulesen. Dreißig vorgefertigte Stimmen stehen bereit, und Kore ist die Voreinstellung.
• Videokontext. Die Quelle ist eine öffentliche YouTube-URL, eine öffentliche https-Video-URL oder eine lokale Aufnahme, mit der Absicht Tutorial oder Meeting. Eine YouTube-ID muss 11 Zeichen haben, und ein Playlist-Parameter wird abgelehnt. gemini-3.1-pro-preview läuft mit Temperatur 0,2 gegen ein JSON-Schema, das zu Markdown gerendert wird. Der Tutorial-Modus extrahiert Konzepte, Abläufe, Befehle, Code, Bildschirmtext und Vorbehalte; der Meeting-Modus extrahiert Entscheidungen, Anforderungen, Blocker, Aufgaben und offene Fragen. Das Ergebnis sind Notizen mit Zeitstempeln, auf Ihr Ziel zugeschnitten, mit benannten Lücken.

Videoquellen sind genau eine von youtube_url, local_file oder video_url. Eine entfernte URL braucht einen von zwölf unterstützten Video-MIME-Typen wie video/mp4, video/webm, video/quicktime oder video/mpeg, und Gemini muss sie direkt abrufen können. Es gibt keine Rückfallpfade: Eine private, unerreichbare oder mehrdeutige Quelle scheitert ausdrücklich.

Vom Agenten geschriebene Benachrichtigungen #

Schalten Sie Desktop- und Telefonbenachrichtigungen unter Einstellungen → Allgemein ein, und Sessions, die danach starten, erhalten ein Werkzeug für eine Push-Meldung zur aktuellen Session pro Aufruf. Der Desktop prüft die Einstellung bei jedem Aufruf erneut; schalten Sie sie aus, kommen sofort keine Meldungen mehr, auch aus Sessions, die das Werkzeug noch haben. Jede Meldung nennt die Session und den Run, der aktiv ist, wenn der Agent das Werkzeug aufruft. Die Zeile Agentenbenachrichtigungen darunter wählt die Anleitung, die das Werkzeug vom Start einer Session an trägt: Wichtig beschränkt es auf Ergebnisse und blockierende Fragen, Häufig ergänzt bedeutsame Meilensteine und Fehler, weist den Agenten aber weiterhin an, routinemäßige Fortschrittsmeldungen zu vermeiden. Beide Richtlinien stellen dasselbe Werkzeug bereit; nur seine Beschreibung unterscheidet sich. Die Titelgrenze von 60 Zeichen zwingt das Ergebnis nach vorn.

Session-Suche #

maintain_sessions ist eine schreibgeschützte Sicht auf appdata.db mit drei Aktionen: guide, listSessions und resolveSession. Es verknüpft sessions mit dem Projekt-Workspace-Zustand, der die aktive Session markiert, und mit den Codex-Session-Links, sortiert nach letzter Aktualisierung, liefert standardmäßig 25 und höchstens 200 Zeilen, filtert nach dem Hash des Projektverzeichnisses und löst eine HB-Code-Session zu ihrem Codex-Thread-Link auf. Es kann weder Session-Metadaten noch den Aktiv-Zustand ändern, und es ist kein SQL-Werkzeug.

Wohin die Daten gehen #

Die Browsersteuerung bedient Ihr Chrome, Sprache und Video senden Text oder Video unter Ihrem Schlüssel an Gemini, und Meldungen laufen über den regionalen Server.