Modellnamen extrahieren

Modellnamen aus Papers extrahieren

Hintergrund

Das folgende Prompt testet die Fähigkeiten eines LLM, eine Informationsextraktionsaufgabe durchzuführen, die das Extrahieren von Modellnamen aus Zusammenfassungen maschinellen Lernens beinhaltet.

Prompt

Deine Aufgabe ist es, Modellnamen aus Zusammenfassungen von Machine-Learning-Papieren zu extrahieren. Deine Antwort ist ein Array der Modellnamen im Format [\"model_name\"]. Wenn du keine Modellnamen in der Zusammenfassung findest oder dir nicht sicher bist, gebe [\"NA\"] zurück.
 
Abstract: Große Sprachmodelle (LLMs), wie ChatGPT und GPT-4, haben die Forschung im Bereich der natürlichen Sprachverarbeitung revolutioniert und Potenzial in der Künstlichen Allgemeinen Intelligenz (AGI) demonstriert. Die kostspielige Trainierung und der Einsatz von LLMs stellen jedoch Herausforderungen für transparente und offene akademische Forschung dar. Um diese Probleme anzugehen, veröffentlicht dieses Projekt den Quellcode des chinesischen LLaMA und Alpaca…

Prompt-Vorlage

Deine Aufgabe ist es, Modellnamen aus Zusammenfassungen von Machine-Learning-Papieren zu extrahieren. Deine Antwort ist ein Array der Modellnamen im Format [\"model_name\"]. Wenn du keine Modellnamen in der Zusammenfassung findst oder dir nicht sicher bist, gebe [\"NA\"] zurück.
 
Abstract: {input}

Code / API

from openai import OpenAI
client = OpenAI()
 
response = client.chat.completions.create(
model="gpt-4",
messages=[
    {
    "role": "user",
    "content": "Your task is to extract model names from machine learning paper abstracts. Your response is an array of the model names in the format [\\\"model_name\\\"]. If you don't find model names in the abstract or you are not sure, return [\\\"NA\\\"]\n\nAbstract: Large Language Models (LLMs), such as ChatGPT and GPT-4, have revolutionized natural language processing research and demonstrated potential in Artificial General Intelligence (AGI). However, the expensive training and deployment of LLMs present challenges to transparent and open academic research. To address these issues, this project open-sources the Chinese LLaMA and Alpaca…"
    }
],
temperature=1,
max_tokens=250,
top_p=1,
frequency_penalty=0,
presence_penalty=0
)

Referenz