LLMの言語能力をPrivate Dataに活用するGroundingについて

こんにちは。S.Y.です。

最近の大規模言語モデル(LLM)の進化は目覚ましいですが、LLMを自分のビジネス領域で活用するには、そこで求められるタスクやドメイン固有のデータに対してLLMを特化させる必要があります。

例えばGPT-3/4に、直近の株の値動きの実用的なインサイトを尋ねても、当たり障りのない回答か、幻覚を起こした回答しか返してきません。LLMが金融のスペシャリストと呼ばれるためには、実データに基づき、ユーザーが望むような回答(有価証券報告書中で株の売り買いに影響しそうな項目をピックアップしてわかりやすくまとめる、など)を生成できなければいけません。

専門のLLMを作る一番シンプルな方法はscratchから学習させることですが、それにはドメインのデータを含む巨大な学習コーパスを用意する手間と、多くの計算コストがかかり、一般的には現実的な選択肢ではありません。

LLMを自分の分野に活用するより一般的な方法は、ある程度学習されたpre-trainedなモデルをベースに、いろいろ工夫を頑張ることです。

ここではLLMの活用を、「タスク特化」と「データ特化」に分け、それぞれどのような工夫があるかを解説します。

LLMのタスク特化: Fine-Tuning

ある程度の言語能力を備えたLLMを、感情分析のようなタスクに応用したり、特定の出力フォーマット(キャラクター口調など)に調整するには、Fine Tuningする工夫があります。

例えば感情分析タスクに応用したい場合、以下のようなフォーマットのデータをある程度の数用意してNext Token Predictionさせることで、promptの文章に対してpositiveかnegativeかを出力するようになります。

ここで、promptはLLMへの入力、completionは期待される出力です。

{"prompt":"Overjoyed with the new iPhone! ->", "completion":" positive"}
{"prompt":"@lakers disappoint for a third straight night https://t.co/38EFe43 ->", "completion":" negative"}

LLMのFine Tuningにおいて、タスクを学習するのに必要となるパラメータ数は、元のパラメータ数より圧倒的に少ないことが知られています。

この性質を利用し、効率的にFine Tuningを行うために、LoRAやP-Tuning等の手法が提案されています。手元にGPU環境があれば、PEFTというPythonフレームワークを使って、公開されているpre-trainedのモデルに対して上記のFine Tuning手法を試すことができます。

また、OpenAIが公開しているFine Tuning APIを使って、GPTモデルのFine Tuningができます。こちらの学習はOpenAI側のプラットフォームで行われ、料金はFine Tuningの学習で消費したトークン数と、Tuningしたモデルを使用する際に消費したトークン数に対してそれぞれかかります。OpenAI Fine Tuning APIは何の手法を用いているのか公開されていなかったり、Tuningに関するパラメータを指定できなかったりと自由度は高くありませんが、とりあえず試してみる分にはお手軽で良いと思います。これで上手くいきそうだったら、本格的にGPU環境を整えていろんな手法やpre-trainedモデルで試してみる、という流れでしょうか。

LLMのデータ特化: Grounding

LLMは学習コーパスにないデータでも、プロンプトに含めてやることでそれに基づいて回答するIn-context Learningの能力があります。例えば、ある文書をプロンプトに含めて、「この文章を要約してください」というプロンプトを投げれば、それなりに要約してくれます。

ただ、殆どのLLMには入力できるプロンプト長に上限があります。また、長い文書をプロンプトに含めることは幻覚の確率を高めることが示唆されています。

Groundingは、エンべディングとベクトル検索を組み合わせ、質問に関係ある文書のみでIn-context Learningさせる工夫です。LLMの中間表現として得られるEmbedding Vectorは、意味が近い文章は、そのベクトル同士の距離が近くなるという性質が知られています。

コーパスの各文書をLLMを介してベクトル化しておき、入力文章のベクトルに近い文書を取得することで、In-context Learningを行います。

これを使って、あるサービスに特化したQAシステムや、巨大なドキュメントを要約するシステムなどが実現できます。

LangChainのフレームワークを使って、Groundingの工夫によってLLMを特定コーパスのデータに特化させる例を見ていきます。

Grounding実践: QAシステム

概要

あるドキュメントについてのQAシステムを考えます。

QAの流れは以下の通りです。

1. (事前準備) 文書をチャンクに分割する。
2. (事前準備) LLMのEmbedding Layerを通じて各チャンクのVectorを取得し、Vector Storeに格納する。
3. システムに入力されたQuestionの文章から、LLMのEmbedding Layerを通じてQuestion Vectorを取得する。
4. Question Vectorと各Chunk Vectorで類似度を計算し、関連度の高いチャンクを取得する。
5. Questionの文章と取得したチャンクの文章の両方を用いたIn-context Learningで、LLMに回答を出力させる。

Langchainでの実装とともに、各ステップを見ていきます。今回は走れメロスに特化したQAシステムを作ります。

Embedding用のLLMモデルにはOpenAI API ada、In-Context Learning用のLLMモデルにはOpenAI davinci、vector storeにはchromaを使用します。

実装

ライブラリインポート

!pip install openai langchain chromadb tiktoken

from langchain.document_loaders import TextLoader
from langchain.indexes import VectorstoreIndexCreator
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from langchain.prompts import PromptTemplate
from langchain.chains.question_answering import load_qa_chain
from langchain.llms import OpenAI

チャンク分割

ドキュメント読み込み、それをチャンクと呼ばれる単位に分割します。

loader = TextLoader('./melos_jp.txt')
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0, separator = "\n")
texts = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()
melos_docsearch = Chroma.from_documents(texts, embeddings)

Question Vector取得 & 関連度の高いチャンク取得

queryと近いチャンクを取得します。

query = "Question？"

docs = melos_docsearch.similarity_search(query)

map_reduce_question_prompt_template = """Use the following portion of a long document to see if any of the text is relevant to answer the question. 
Return any relevant text translated into Japanese.
{context}
Question: {question}
Relevant text, if any, in Japanese:"""

MAP_REDUCE_QUESTION_PROMPT = PromptTemplate(
    template=map_reduce_question_prompt_template, input_variables=["context", "question"]
)

map_reduce_combine_prompt_template = """Given the following extracted parts of a long document and a question, create a final answer Japanese. 
If you don't know the answer, just say that you don't know. Don't try to make up an answer.

QUESTION: {question}
=========
{summaries}
=========
Answer in Japanese:"""

MAP_REDUCE_COMBINE_PROMPT = PromptTemplate(
    template=map_reduce_combine_prompt_template, input_variables=["summaries", "question"]
)

map_reduce_chain = load_qa_chain(OpenAI(temperature=0), chain_type="map_reduce", return_map_steps=True, question_prompt=MAP_REDUCE_QUESTION_PROMPT, combine_prompt=MAP_REDUCE_COMBINE_PROMPT)
map_reduce_chain({"input_documents": docs, "question": query}, return_only_outputs=True)

メロスの親友の名前は？

回答1

{'intermediate_steps': ["Relevant Text: メロスはひょいと、からだを折り曲げ、飛鳥の如く身近かの一人に襲いかかり、その棍棒を奪い取って、「気の毒だが正義のためだ！」と猛然一撃、たちまち、三人を殴り倒し、残る者のひるむ隙すきに、さっさと走って峠を下った\n\nNo, this text does not answer the question of who Melos's friend is.",
  '\nメロスは、百匹の大蛇のような浪を相手に必死の闘争を開始した。',
  '\nセリヌンティウスは、友と友の間でメロスをひしと抱きしめた。',
  '\nメロスには父も、母も無い。女房も無い。十六の、内気な妹と二人暮しだ。'],
 'output_text': '\nメロスの親友はセリヌンティウスです。'}

質問に関係のないノイズなチャンクも含まれているようですが、最終的な回答は正しいです。

質問2

セリヌンティウスの弟子の名前は？

答えは皆さんご存知(?)、フィロストラトスです。

回答2

{'intermediate_steps': ['Answer: セリヌンティウスの弟子の名前はメロスである。',
  'Relevant Text: 「セリヌンティウス。」メロスは眼に涙を浮べて言った。',
  '\nSubject: その若い石工\nPredicate: フィロストラトスである',
  'No relevant text.'],
 'output_text': ' 知りません。'}

正解を含むチャンクも抽出できていますが、最終的には「知りません」と回答してしまいました。

恐らく、mapの段階で出てきた“No relevant text.”という文章に引っ張られているのでしょう。これは、question _promptの「Return any relevant text translated into Japanese.」の記述に由来するものだと考えられます。

試しに4つ目のチャンクを除いてin-context learningさせてみると、正しい回答を導くことができました。

{'intermediate_steps': ['Answer: セリヌンティウスの弟子の名前はメロスである。',
  'Relevant Text: 「セリヌンティウス。」メロスは眼に涙を浮べて言った。',
  '\nSubject: その若い石工\nPredicate: フィロストラトスである'],
 'output_text': ' その若い石工はフィロストラトスである。'}

メロスはなぜ王を殺そうとした？

{'intermediate_steps': ['\nAnswer: メロスは、邪智暴虐の王を除かなければならないと決意した。',
  '\nメロスは、「市を暴君の手から救う」ために、王を殺そうとした。',
  '\nメロスは、王が人を信ずることが出来ぬということに激怒し、王を殺そうとした。',
  '\nメロスは、王を殺そうとしたのは、自分の国を救うためだった。'],
 'output_text': ' メロスは、邪智暴虐の王を除くために、「市を暴君の手から救う」ために、王が人を信ずることが出来ぬということに激怒し、自分の国を救うために王を殺そうとした。'}

質問4

メロスが殴った人は合計何人？

帰りの道中の3人の山賊 + 最後のセリヌンティウスで4人です。

複数のチャンクを参照しないと答えに辿り着けない質問ですが、果たしてどうでしょうか。

回答5

{'intermediate_steps': ['\n三人。',
  'Relevant Text: メロスは、ざんぶと流れに飛び込み、百匹の大蛇のようにのた打ち荒れ狂う浪を相手に、必死の闘争を開始した。\n\nSubject: メロス\nPredicate: 百匹の大蛇のようにのた打ち荒れ狂う浪と闘争を開始した',
  '\n答え：メロスはセリヌンティウスの頬を殴った。',
  '\nメロスはセリヌンティウスと自分の頬を殴った。'],
 'output_text': ' メロスはセリヌンティウスの頬を1人殴ったので、合計で1人です。'}

中間出力を見てみましょう。

1つ目は、メロスが3人の山賊を殴り倒した部分に由来しています。3人は正しいです。

2つ目は、殴る描写は関係なく、ノイズのチャンクです。

3つ目は、物語終盤でメロスがセリヌンティウスを殴る部分に由来しています。

4つ目は、セリヌンティウスがメロスを殴った後でメロスに対して殴り返せと言っている部分に由来していて、メロスが誰かを殴った描写はありません。「メロスはセリヌンティウスと自分の頬を殴った。」というのは幻覚です。

上記を合計すると、4~6人が回答になりそうですが、最終的な回答ではセリヌンティウスのみを殴ったので1人となっています。深掘りはしていませんが、各チャンクを参照しつつ、算術を行う必要があるので、難しかったようです。

LLMの処理能力の限界なのか、Chain-of-Thoughtのようなプロンプトの工夫で解決できるのかはわかりませんが、多くのチャンクを参照しつつ複雑な処理を行うのは一筋縄ではいかないようです。

考察

まとめ

さいごに

参考文献

1. OpenAI API Documentation
2. Larger language models do in-context learning differently
3. Langchain Python Documentation