Generiertes Wissens-Prompting

Bildquelle: Liu et al. 2022 (opens in a new tab)
GroĂe Sprachmodelle (LLMs) werden kontinuierlich verbessert, und eine beliebte Technik beinhaltet die FĂ€higkeit, Wissen oder Informationen einzubinden, um dem Modell zu helfen, genauere Vorhersagen zu treffen.
Kann das Modell mit einer Ă€hnlichen Idee auch genutzt werden, um Wissen zu generieren, bevor eine Vorhersage getroffen wird? Genau das wird im Paper von Liu et al. 2022 (opens in a new tab) versucht â Wissen zu generieren, das als Teil des Prompts verwendet wird. Wie nĂŒtzlich ist dies fĂŒr Aufgaben wie Schlussfolgerungen nach gesundem Menschverstand?
Wir probieren uns einen einfachen Prompt:
Prompt:
Teil des Golfspiels ist es, eine höhere Punktzahl als andere zu erzielen. Ja oder Nein?
Ausgabe:
Ja.
Diese Art von Fehler zeigt die Grenzen von LLMs bei Aufgaben auf, die mehr Wissen ĂŒber die Welt erfordern. Wie verbessern wir dies mit Wissensgenerierung?
Zuerst generieren wir einige "WissensstÀnde":
Prompt:
Eingabe: Griechenland ist gröĂer als Mexiko.
Wissen: Griechenland ist ungefĂ€hr 131.957 Quadratkilometer groĂ, wĂ€hrend Mexiko ungefĂ€hr 1.964.375 Quadratkilometer groĂ ist. Mexiko ist daher 1.389% gröĂer als Griechenland.
Eingabe: Brillen beschlagen immer.
Wissen: Kondensation tritt auf BrillenglĂ€sern auf, wenn Wasserdampf aus Ihrem SchweiĂ, Atem und der umgebenden Feuchtigkeit auf eine kalte OberflĂ€che trifft, abkĂŒhlt und sich dann in winzige FlĂŒssigkeitströpfchen verwandelt und einen Film bildet, den Sie als Beschlag wahrnehmen. Ihre GlĂ€ser werden im Vergleich zu Ihrem Atem relativ kĂŒhl sein, besonders wenn die AuĂenluft kalt ist.
Eingabe: Ein Fisch ist in der Lage zu denken.
Wissen: Fische sind intelligenter, als sie scheinen. In vielen Bereichen, wie beispielsweise dem GedĂ€chtnis, stehen ihre kognitiven FĂ€higkeiten denen von 'höheren' Wirbeltieren, einschlieĂlich nichtmenschlicher Primaten, in nichts nach. Die LangzeitgedĂ€chtnisse der Fische helfen ihnen, komplexe soziale Beziehungen im Ăberblick zu behalten.
Eingabe: Eine hĂ€ufige Wirkung des Rauchens vieler Zigaretten im Laufe des Lebens ist eine ĂŒberdurchschnittlich hohe Wahrscheinlichkeit, Lungenkrebs zu bekommen.
Wissen: Diejenigen, die konstant weniger als eine Zigarette pro Tag im Laufe ihres Lebens geraucht haben, hatten ein neunmal höheres Risiko an Lungenkrebs zu sterben als Nichtraucher. Bei Personen, die zwischen einer und 10 Zigaretten pro Tag rauchten, war das Risiko an Lungenkrebs zu sterben fast 12 Mal höher als bei Nichtrauchern.
Eingabe: Ein Stein ist genauso groĂ wie ein Kiesel.
Wissen: Ein Kiesel ist ein Gesteinsfragment mit einer PartikelgröĂe von 4 bis 64 Millimetern nach der Udden-Wentworth-Skala der Sedimentologie. Kiesel werden allgemein als gröĂer als Granulate (2 bis 4 Millimeter Durchmesser) und kleiner als Gerölle (64 bis 256 Millimeter Durchmesser) angesehen.
Eingabe: Teil des Golfspiels ist es, eine höhere Punktzahl als andere zu erzielen.
Wissen:
Wissen 1:
Das Ziel des Golfs ist es, eine Reihe von Löchern mit möglichst wenigen SchlÀgen zu spielen. Eine Golfrunde besteht typischerweise aus 18 Löchern. Jedes Loch wird in der Runde auf einem Standardgolfplatz einmal gespielt. Jeder Schlag wird als ein Punkt gezÀhlt, und die Gesamtzahl der SchlÀge wird verwendet, um den Gewinner des Spiels zu bestimmen.
Wissen 2:
Golf ist eine PrÀzisionssportart mit SchlÀger und Ball, bei der konkurrierende Spieler (oder Golfer) viele Arten von SchlÀgern verwenden, um BÀlle in einer Reihe von Löchern auf einem Kurs mit der geringsten Anzahl von SchlÀgen zu treffen. Das Ziel ist es, den Kurs mit der niedrigsten Punktzahl zu beenden, die durch das ZusammenzÀhlen der Gesamtzahl der SchlÀge auf jedem Loch berechnet wird. Der Spieler mit der niedrigsten Punktzahl gewinnt das Spiel.
Wir verwenden den Prompt aus dem Paper von Liu et al. 2022 (opens in a new tab).
Der nÀchste Schritt ist die Integration des Wissens und die Erstellung einer Vorhersage. Ich habe die Frage in ein QA-Format umformatiert, um das Format der Antwort zu leiten.
Prompt:
Frage: Teil des Golfspiels ist es, eine höhere Punktzahl als andere zu erzielen. Ja oder Nein?
Wissen: Das Ziel des Golfs ist es, eine Reihe von Löchern mit möglichst wenigen SchlÀgen zu spielen. Eine Golfrunde besteht typischerweise aus 18 Löchern. Jedes Loch wird in der Runde auf einem Standardgolfplatz einmal gespielt. Jeder Schlag wird als ein Punkt gezÀhlt, und die Gesamtzahl der SchlÀge wird verwendet, um den Gewinner des Spiels zu bestimmen.
ErklÀre und antworte:
Antwort 1 (Vertrauen sehr hoch):
Nein, das Ziel des Golfs besteht nicht darin, eine höhere Punktzahl als andere zu erzielen, sondern eine Reihe von Löchern mit möglichst wenigen SchlÀgen zu spielen. Die Gesamtzahl der SchlÀge wird verwendet, um den Gewinner des Spiels zu bestimmen, nicht die Gesamtzahl der Punkte.
Frage: Teil des Golfspiels ist es, eine höhere Punktzahl als andere zu erzielen. Ja oder Nein?
Wissen: Golf ist eine PrÀzisionssportart mit SchlÀger und Ball, bei der konkurrierende Spieler (oder Golfer) viele Arten von SchlÀgern verwenden, um BÀlle in einer Reihe von Löchern auf einem Kurs mit der geringsten Anzahl von SchlÀgen zu treffen. Das Ziel ist es, den Kurs mit der niedrigsten Punktzahl zu beenden, die durch das ZusammenzÀhlen der Gesamtzahl der SchlÀge auf jedem Loch berechnet wird. Der Spieler mit der niedrigsten Punktzahl gewinnt das Spiel.
ErklÀre und antworte:
Antwort 2 (Vertrauen deutlich niedriger):
Ja, ein Teil des Golfspiels ist es, zu versuchen eine höhere Punktzahl als andere zu erzielen. Jeder Spieler versucht, den Kurs mit der niedrigsten Punktzahl zu beenden, die durch das ZusammenzÀhlen der Gesamtzahl der SchlÀge auf jedem Loch berechnet wird. Der Spieler mit der niedrigsten Punktzahl gewinnt das Spiel.
Bei diesem Beispiel sind einige wirklich interessante Dinge passiert. Bei der ersten Antwort war das Modell sehr zuversichtlich, aber bei der zweiten nicht so sehr. Ich habe den Prozess fĂŒr Demonstrationszwecke vereinfacht, aber es gibt einige weitere Details, die berĂŒcksichtigt werden mĂŒssen, um zur endgĂŒltigen Antwort zu gelangen. Weitere Informationen finden Sie im Paper.