ケーススタディ: 新卒にふさわしい仕事の分類

Clavié et al., 2023 (opens in a new tab) は、プロダクションシステムにおける中規模なテキスト分類の応用にプロンプトエンジニアリングを適用した事例を掲載しています。彼らは、新卒のメンバーに割り当てる仕事として本当にふさわしいものであるかどうかを分類するというタスクを題材にして、 GPT-3.5 (gpt-3.5-turbo) を用いて一連のプロンプトエンジニアリング手法を評価しその結果を報告しました。

この取り組みは、 LLMs が他の DeBERTa-V3 の強力なベースラインも含めてテストされた他のすべてのモデルよりも優れていることを示しています。また gpt-3.5-turbo はすべての主要な指標で古い GPT3 のバリアントよりも優れていますが、テンプレートに従う能力が他のバリアントよりも劣るように見えるため、追加の出力解析が求められます。

彼らのプロンプトエンジニアリングのアプローチによる主要な発見は以下のとおりです。

• このような専門家の知識が不要なタスクでは、すべての実験において Few-shot CoT プロンプティングは Zero-shot プロンプティングよりも悪いパフォーマンスでした。
• 正しい推論を引き出すことにおいてプロンプトの影響は非常に大きいです。与えられた仕事を分類するだけのモデルでは F1 スコアが 65.6 であるのに対し、プロンプトエンジニアリング後のモデルでは F1 スコアが 91.7 を達成しています。
• モデルを強制的にテンプレートに沿うようにすると、すべてのケースでパフォーマンスが低下します（この振る舞いは、論文の後半にある GPT-4 を使用した初期のテストでは見られません）。
• 多くの小さな調整がパフォーマンスに多大な影響を与えます。
  • 以下のテーブルはテストされたすべての調整を示します。
  • 適切に指示を出し、重要なポイントを繰り返すことがパフォーマンスを最大限に引き出します。
  • モデルに（人間の）名前を付けて呼ぶだけで、 F1 スコアが 0.6pts 上昇しました。

テストされた調整プロンプトたち

調整プロンプトが与えるパフォーマンスへの影響

Template stickness はモデルがどれくらいの頻度で希望のフォーマットで答えるかを意味します。