1. HELM
2. Open LLM Leaderboard
3. OpenCompass
4. InstructEval
5. AlpacaEval
6. Chatbot Arena
7. Chain-of-Thought Hub

これらの既存の評価指標に対して、よりよい評価指標を提案していきます。

それにしても、上記の7つの評価指標はすべて2023年に発表されたものであり、LLM界隈のスピード感には驚かされます、、。

方法

指標として、以下の7つの観点を挙げています。

• 知識（Knowledge）
• 推論（Reasoning）
• 理解（Comprehension）
• 数学（Math）
• コーディング（Coding）
• 多言語（Multilingual）
• 安全性（Safety）

それぞれ既存の研究から良さそうな評価方法をピックアップしているようです。

また評価方法は、最終出力の正誤を評価するブラックボックステストを行います。これによってホワイトボックステストでは必要となるdecoderのトークンの尤度などの内部処理を参照する必要が無くなるため、オープンソースでないllmの評価が可能となります。

実験

各種llmの評価結果をレーダーチャート図にしたのが以下となります。GPT-3とGPT-4ではGPT-4のほうが優れていることは言うまでも有りませんが、特筆すべきは、GPT-3.5-*のモデルが確実にその橋渡し的な性能となっていることです。（左図と中図）

このブログでは、GPT-3からGPT-4の変遷で何が評価指標を改善させ、何が評価指標を改善させなかったのかに焦点を当てて解説します。

シーソー現象に関する考察

モデルのアップデート時にある指標は改善されるが、ある指標が（大きく）低下するシーソー現象が確認されています。例えば、gpt-3.5-turbo-0613はgpt-3.5-turbo-0301と比較してコーディングの指標が明確に改善されていますが、数学は大きく低下しています。

コードデータによる事前学習の影響

コードデータの学習はコーディング性能だけでなく、普遍的に性能を大きく向上させます。

GPT-3.5シリーズは、OpenAIがテキストデータだけでなくコードデータを追加で学習したcode-davinci-002によって始まったようです。そして、そのcode-davinci-002がコーディングだけでなく、普遍的に性能を向上させていることが分かります。

教師ありファインチューニング（SFT）の影響

人手で教師データを準備して、教師ありファインチューニング（SFT）を行うことは、効果があるがベースモデルの性能が向上するごとにその効果が逓減していきます。

これは、GPT-3のベースモデルdavinciにSFTを加えたtext-davinci-001は大幅に性能を向上させたのに対して、それよりも上位のGPT-3.5のベースモデルであるcode-davinci-002にSFTを加えたtext-davinci-002はほとんどの指標が改善されていません。

この傾向は他のオープンソースモデルでも確認されているようです。

ここから、SFTで必要となる人件費の費用対効果は、モデルが強力になっていくにつれ、逓減されていくといえるでしょう。

人間のフィードバックによる強化学習（RLHF）

RLHFは、主要な指標の性能向上に直接寄与していません。

SFTモデルtext-davinci-002の上に、RLHFを適用したモデルであるtext-davinci-003は、ベースモデルcode-davinci-002と同等程度の性能です。

コーディングへのSFTとRLHFの影響

それでは、SFTやRLHFが無意味かというとそうではなく、少ない試行回数で高い性能を出すことに大きく寄与します。

コーディングの性能について、LLMの温度パラメータなどを固定して、何回の試行回数で成功するか（pass@k）を測定したところ、SFTやRLHFを加えたモデルはそうでないモデルと比較して、pass@100の性能はわずかに低下しますが、pass@1の性能が大きく向上します。これは、１回でバグのないコードを書く能力が向上しているということを意味しています。

総じてSFTやRLHFは、特に計算資源の制約があり弱いベースモデルを使う必要がある場合は有効になるといえます。

ショット数の影響

インコンテキストラーニングのショット数は大きいほど性能が向上しますが、その効果はモデルの性能が向上するにつれて逓減していきます。

特にgpt-4-0314は1ショットと25ショットで性能指標がほとんど変化しません。これは、GPT-4のモデルはほとんどのタスクに対して1ショットの例がうまくいくことを示しています。

Chain-of-Thoughtの影響

Chain-of-Thought（CoT）とは、llmが複雑な問題を分割して逐次的に処理をしていくことですが、このChain-of-Thoughtは推論性能を大きく向上させます。

Webバージョンのアップデートの影響

OpenAIの、古いAPIモデル（例えばgpt-4-0613）は変更されていないモデルに固定されていますが、Webバージョンのモデルは常にアップデートされ続けており、その差が確認されています。特に最新のGPT-4 Advanced Data Analysis（旧Code Interpreter）がコーディングベンチマークのパフォーマンスを大幅に向上させています。

プロンプトへの頑健性の影響

プロンプトの僅かな差によってモデルの性能が大きく変化すると問題ですが、Llama 2-70Bなど一部のモデルでは、プロンプトへの頑健性が低いことが分かりました。

しかし、特にモデルの強さとプロンプトへの頑健性の間の相関は発見されなかったようです。

感想

OpenAIのモデルが縦断的にまとめられていて、とても理解しやすかったです。

SFTの効果やショット数の効果がモデルの性能向上とともに逓減していくことは、「人手による工夫はモデルの性能向上によって、だんだん通用しなくなっていく」という共通的なテーマがあると感じています。

領域は変わりますが、将棋AIでも類似の現象が起きており、一昔前は機械学習を用いたモデルであっても、定跡（人間が培ってきた基本）は別で学習する必要が有りましたが、近年ではそのような工夫をせずに単に自己強化学習のみでモデルを作成することが主流となっています。

人類の工夫を、計算資源の力が圧倒的に凌駕する時代は近いかもしれません。

参考文献

GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond