はじめに：動的プロンプトには欠かせない「プロンプトテンプレート」のベストプラクティスを見てみよう

こんにちは。AI研究開発室のS.M.です。

本記事では、“From Prompts to Templates: A Systematic Prompt Template Analysis for Real-world LLMapps”という論文を紹介します。

この論文では、GitHub上の1,500以上のLLMアプリから、2,000件超の実際に使われているプロンプトテンプレートを収集・分類・評価し、現場で頻出するプロンプトテンプレートのパターンを徹底的に洗い出しています。

そもそも「プロンプトテンプレート」とは？

プロンプトテンプレートとは、LLMへの指示文を「定型部分（共通の指示）」と「可変部分（プレースホルダ）」に分けて再利用可能な形で書き、アプリの中で動的に使えるようにしたものです。

例えば、以下のようなものが典型例です：

あなたは{role}です。以下の文章を{task}してください：

{input_text}

重要なのは、テンプレートの構成や書き方によって、出力の品質が大きく変わるという点です。
本論文では、そうしたプロンプトテンプレートの“実戦的な設計手法”を明らかにしています。

論文紹介：From Prompts to Templates: A Systematic Prompt Template Analysis for Real-world LLMapps

論文の概要と背景

この論文では、プロンプトテンプレートの「実用的な設計手法」を確立するため、GitHub上に存在する1,525のLLMアプリリポジトリから、実際に使用されているプロンプトテンプレートを体系的に収集・分析しました。
最終的に分析対象となったテンプレート数は 2,163件 にのぼります。

これらのテンプレートは、UberやMicrosoftなどの企業が実際に使っているLLMアプリのOSSリポジトリにも含まれており、まさに「現場のベストプラクティス」を抽出した研究と言えるでしょう。

プロンプトは大きく次の2つのパーツに分けられます：

1. 固定部分（ユーザーへの指示文などの定型文）

2. 可変部分（タスクや入力内容に応じて変わるプレースホルダ）

この論文は、プロンプトテンプレートを構成する各要素やプレースホルダの種類、配置パターン、表現スタイルの違いが、出力の品質や一貫性にどう影響するかを明らかにした、これまでにない大規模で網羅的な研究です。

以降のパートでは、実際にリポジトリ中によく見られたプロンプトテンプレートの構造・要素について発見1〜4に示し、それぞれについて得られた傾向・小項目を観測として整理します。

発見1：プロンプトテンプレートの7つの構成要素

分析の結果、LLMアプリでよく使われるプロンプトテンプレートには、以下の7つの要素が存在することが明らかになりました。

この分類は、プロンプトを「なんとなく」ではなく、「設計要素として意識的に組み立てる」ための第一歩になります。

観測：プロンプトテンプレートには、一般的に7つの主要構成要素（例：役割、指令、文脈、出力形式など）が存在する。開発者は通常、テンプレートの冒頭に「モデルの役割（Profile/Role）」と「タスク指令（Directive）」を配置し、末尾に使用例（Examples）を置く傾向がある。

観測：「指令（Directive）」要素は、ユーザーの意図を伝える部分であり、その表現は圧倒的に命令形式（〜してください）で記述されており、質問形式よりも頻繁に使われている。

発見2：プレースホルダ（変数）の分類と設計指針

テンプレートにおいて {text} や {input} のような可変部分は「プレースホルダ」と呼ばれます。この研究では、プレースホルダを以下の4種類に分類しています：

1. Knowledge Input：主な入力（文章やコードなど）

2. Metadata / Short Phrase：言語指定などの設定項目

3. User Question：ユーザーからの質問内容

4. Contextual Information：過去のチャット履歴や背景知識

観測：変数名と同様に、意味が曖昧なプレースホルダ名（例：“text”や“input”）が依然として多く使われており、テンプレートの可読性や保守性を損なっている。

観測：プレースホルダの中でも「知識入力（Knowledge Input）」が最も頻繁に使用されている。そして、その配置はテンプレートの冒頭か末尾に集中している。

観測：Q&Aタスクのようなテンプレートにおいて、「知識入力」の後に「指令」や「質問」を配置することで、出力の一貫性が高まり、特に入力文が長くなる場合でも情報の欠落（decay）を防ぐことができる。

発見3：出力形式と制約の記述で性能が大きく変わる

プロンプトにおいて、出力形式（例：「JSONで返答せよ」）を明示することは、モデルの出力を安定化させるために極めて重要です。

観測：JSON形式の出力では、「属性名」を明示することでフォーマットの一貫性が高まり、構造化された出力になる。また、「属性の説明」まで加えると内容の理解度・整合性がさらに向上し、ユーザーの要求とより一致する。

観測：開発者は「不要な情報は出力に含めないこと」のような「除外（exclusion）」タイプの制約をよく使っており、これにより無関係な情報の生成や幻覚（hallucination）の抑制、生成範囲の限定といった目的を達成している。

観測：JSONは最も一般的に使われている出力形式であるが、そのうち3分の1以上は属性名の明示がない曖昧な記述（非形式的な説明）に依存しており、構造の一貫性に欠けるケースも多い。

観測：「JSON形式で出力してね」という指示だけでは冗長なコメントや説明文の生成を防げないことがある。そのため、「～せよ（Do）」と「～するな（Don’t）」を組み合わせた指示（例：除外制約）を併用することで、冗長性を排除し、出力の一貫性が飛躍的に向上する。

発見4：命令形の指示文が最も効果的

指示文（Directive）のスタイルについても分析が行われました。その結果、命令形（Imperative）で書かれたプロンプトの方が指示遵守率が高いという傾向が判明しています。

例えば：

• ✗「これを要約してくれますか？」（丁寧だが曖昧）

• 〇「以下の文章を100文字以内で要約せよ」（命令形、具体的）

このように、LLMにタスクを正確に伝えるためには、丁寧さよりも明確さが重要だとわかります。

まとめ：結局は、ずっと言われていたこと

プロンプトエンジニアリングという言葉が登場してから、”指示を具体的にしろ”、”出力の形式を絞れ”といった教訓はずっと耳にしていましたが、それらがリポジトリに残っているということは、やって良かったこと、ということでしょう。

自分でLLMを利用する際には気付き難い程度の差かもしれませんが、実は安定性が増しているというのであれば、今一度プロンプトテンプレートに改善できる点が無いか、照合してみてはいかがでしょうか。

最後に

グループ研究開発本部 AI研究開発室では、データサイエンティスト/機械学習エンジニアを募集しています。ビッグデータの解析業務などAI研究開発室にご興味を持って頂ける方がいらっしゃいましたら、ぜひ募集要項一覧からご応募をお願いします。 一緒に勉強しながら楽しく働きたい方のご応募をお待ちしております。