Reduzierung von Halluzinationen in strukturierten Ausgaben durch RAG

Forscher bei ServiceNow haben ein neues Paper (opens in a new tab) veröffentlicht, in dem sie diskutieren, wie ein effizientes RAG-System für strukturierte Ausgabeaufgaben eingesetzt werden kann.

Das RAG-System kombiniert ein kleines Sprachmodell mit einem sehr kleinen Retriever. Es zeigt, dass RAG den Einsatz leistungsfähiger LLM-basierter Systeme in Ressourcen-begrenzten Einstellungen ermöglichen kann, während Probleme wie Halluzinationen verringert und die Zuverlässigkeit der Ausgaben erhöht werden.

Das Paper behandelt die sehr nützliche unternehmensbezogene Anwendung der Übersetzung von natürlichsprachlichen Anforderungen in Workflows (formatiert in JSON). Aus dieser Aufgabe kann viel Produktivität gewonnen werden, aber es gibt noch viel Optimierungspotenzial (z.B. durch den Einsatz von spekulativem Decoding oder die Verwendung von YAML statt JSON).

Das Paper bietet einige großartige Einblicke und praktische Tipps, wie man RAG-Systeme effektiv für die reale Welt entwickeln kann.