Sprachassistenten scheiterten bisher oft an einem schlichten Problem: Sie denken zu langsam. Mit VoiceAgentRAG präsentiert Salesforce AI Research eine Dual-Agent-Architektur, die die Abruflatenz bei Voice-KI um den Faktor 316 senkt – und damit die Lücke zwischen natürlicher Konversationsgeschwindigkeit und präzisem Wissenszugriff erstmals ernsthaft schließen könnte.
Salesforce veröffentlicht VoiceAgentRAG: Dual-Agent-System reduziert Latenz bei Voice-KI drastisch
Das Problem: Latenz als Flaschenhals bei Voice-KI
Sprachbasierte KI-Assistenten stehen vor einem grundlegenden technischen Dilemma: Retrieval-Augmented Generation (RAG) – also das Abrufen relevanter Informationen aus Wissensdatenbanken in Echtzeit – ist rechnerisch aufwendig und erzeugt Verzögerungen, die in Textanwendungen tolerierbar sind, in Sprachgesprächen jedoch sofort wahrnehmbar werden.
Nutzer erwarten in Konversationen Antwortzeiten von unter einer Sekunde. Herkömmliche RAG-Pipelines, die externe Vektordatenbanken abfragen, verfehlen diesen Schwellenwert regelmäßig.
Zwei-Agenten-Architektur als Lösungsansatz
VoiceAgentRAG begegnet diesem Problem mit einer Dual-Agent-Architektur, die einen sogenannten Memory Router integriert. Das System trennt die Aufgaben auf zwei spezialisierte Agenten auf:
- Agent 1 verwaltet ein schnelles In-Memory-Caching-System für häufig benötigte Informationen
- Agent 2 übernimmt bei Bedarf den Zugriff auf tiefere Wissensspeicher
Der Memory Router entscheidet in Echtzeit, welcher Pfad für eine gegebene Anfrage geeignet ist – ohne dass diese Routing-Entscheidung die Gesprächskontinuität unterbricht.
Durch die Kombination aus lokalem Speicher und intelligentem Routing kann das System bei einem Großteil der Anfragen den kostenintensiven Vektordatenbankzugriff umgehen.
Laut Salesforce sinkt die durchschnittliche Abruflatenz im Vergleich zu Standard-RAG-Implementierungen um den Faktor 316 – bei gleichbleibender Antwortqualität.
Technische Einordnung
Der Ansatz greift eine bekannte Herausforderung bei der Skalierung von RAG-Systemen auf: Je größer die Wissensbasis, desto länger dauern Vektorsuchen – und desto schwerer wiegt der Latenzeffekt in zeitkritischen Anwendungen.
VoiceAgentRAG löst dies nicht durch schnellere Hardware oder optimierte Indizes allein, sondern durch eine architektonische Trennung von häufigem und seltenem Wissen. Das Framework ist laut Salesforce als Open-Source-Veröffentlichung konzipiert und soll sich in bestehende Salesforce-Produkte wie Agentforce integrieren lassen.
Die Lösung adressiert damit einen Bereich, in dem bisherige Voice-KI-Systeme klare Schwächen zeigten: mehrstufige Dialoge, bei denen der Assistent auf umfangreiche Produktkataloge, Vertragsdokumente oder Wissensdatenbanken zugreifen muss, ohne den Gesprächsfluss zu unterbrechen.
Relevanz für den Unternehmenseinsatz
Für Unternehmen, die Voice-KI im Kundenservice, im internen Helpdesk oder in der Vertriebsunterstützung einsetzen, adressiert VoiceAgentRAG ein konkretes Alltagsproblem. Die bisherige Praxis, Sprachassistenten entweder mit begrenztem statischen Wissen auszustatten oder Latenzprobleme zu akzeptieren, könnte durch Architekturen dieser Art überwunden werden.
Entscheidend wird sein, wie die Integration in bestehende Salesforce-Implementierungen gelingt – und ob das Framework auch außerhalb des Salesforce-Ökosystems anwendbar bleibt.
Mit der Veröffentlichung als Open-Source-Projekt steigt zumindest die Chance, dass unabhängige Entwickler und Technologiepartner den Ansatz auf andere Plattformen übertragen.
Quelle: MarkTechPost
