RAG構築とは？仕組みと5つの手順、精度が上がらない原因と改善の進め方
社内の規程やマニュアルについて質問すると答えてくれる仕組みを作りたい。生成AIの活用で最も相談が多いのがこの領域です。
汎用の生成AIは自社の文書を知らないため、そのままでは社内固有の質問に答えられません。そこで使われるのがRAGです。ただ、作ってはみたものの、期待した精度が出ないという声も同じくらい多く聞きます。
この記事では、RAGの仕組みと構築の手順、精度が上がらない原因とその改善策、権限やセキュリティの設計、費用と期間の目安、そして使われる状態にするための運用までを整理します。
| 確認したいポイント | 結論 | 詳細 |
|---|---|---|
| RAG構築とは？ | 検索と生成をつなぐ仕組み | 社内文書から関連情報を検索し、その内容を根拠に生成AIが回答する仕組みを作ること。 |
| 何から始める？ | 参照する文書の整備から | 古い情報や重複が混ざったまま読み込ませると、誤った根拠で回答が作られる原因になる。 |
| 精度が出ない原因は？ | 多くは検索側にある | 生成AIの性能ではなく、必要な文書を取り出せていないことが原因であるケースが大半。 |
| 費用と期間は？ | 小規模なら1〜2か月から | 既製サービスなら月額数万円台から。業務に組み込む構築は初期100万円台からが目安。 |
この記事でわかること
- RAGの仕組みと、ファインチューニングとの使い分け
- 文書の整備から評価まで、構築の5つの手順
- 精度が上がらない5つの原因と、それぞれの改善策
- 権限管理やデータの取り扱いなど、設計で外せない観点
- 費用と期間の目安、内製と外注の切り分け方
社内文書の状況を踏まえて、実現できるかを確かめたい方へ。
→ 無料相談フォームから、対象の文書と使いたい場面をそのままお送りください。
RAGとは何か
RAGは、検索によって得た情報を根拠にして生成AIに回答を作らせる仕組みです。日本語では検索拡張生成と呼ばれます。
知識だけで解く暗記テストを、資料を見ながら解く読解問題に変えるのがRAGの役割だと考えるとわかりやすくなります。
仕組みと構成要素から整理します。
検索と生成を組み合わせる流れ
利用者が質問を入力すると、システムはいきなり回答を作りません。まず社内文書やマニュアル、FAQなどの中から、質問に関連する情報を探します。
次に、見つけた情報と質問をセットで生成AIに渡し、その内容を根拠に回答を作らせます。事前に学習した知識だけで答えるのではなく、その場で参照した資料に基づいて答える点が特徴です。
この仕組みによって、社内独自のルールや更新された最新情報にも対応できます。参照先の文書が最新であれば、その内容を踏まえた回答が返ります。
三つの構成要素
RAGは、情報を持つ場所、必要な情報を探す仕組み、回答を作るAIという三つの要素で成り立ちます。
情報を持つ場所は、社内規程や問い合わせ履歴などのデータソースです。探す仕組みは検索エンジンやベクトルデータベースが担い、回答を作るのが生成AIのモデルになります。
この三つのどれかが弱いと全体の品質が落ちます。生成AIのモデルだけを上位のものに変えても、検索が弱ければ精度は上がりません。
ファインチューニングとの違い
ファインチューニングは、モデル自体に追加の学習をさせて振る舞いを変える方法です。文体を揃えたい、特定の形式で出力させたいといった目的に向きます。
一方、RAGは知識を外から与える方法です。文書が更新されたら参照先を差し替えるだけで済むため、情報が頻繁に変わる領域に向いています。
社内の規程やマニュアルを扱う用途であれば、まずRAGを検討してください。追加学習より費用も期間も抑えられます。
向いている用途と向かない用途
向いているのは、社内文書の検索、問い合わせの一次対応、規程やマニュアルの参照、過去の提案書や議事録からの情報抽出といった用途です。
逆に、文書に書かれていない判断を求める用途、正確な計算が必要な処理、リアルタイムの数値を扱う業務には向きません。
参照させる文書に答えが書かれていなければ、RAGでも答えられません。この前提を関係者で共有しておいてください。
生成AIの導入全体を整理したい場合は、生成AI導入支援で依頼できる内容をまとめた記事もあわせてご覧ください。
関連記事：Agentic RAGとは？従来のRAGとの違い・仕組みと導入時の課題を解説【2026年最新】
RAG構築の5つの手順
構築は、データを用意してつなぐだけでは終わりません。検索精度と回答品質を高めるための段階的な設計が必要になります。
五つの手順に沿って説明します。
参照するデータを整備する
最初の一歩は、AIが参照するデータの質を高めることです。古い情報、重複した文書、文字化けしたファイルが混ざったまま読み込ませると、誤った根拠に基づく回答が生成されます。
対象文書の棚卸しを行い、最新版がどれかを確定させ、廃止されたものを除外します。同じ内容の文書が複数ある場合は一本化してください。
スキャンした画像だけのPDFはそのままでは読めません。テキスト化が必要になります。この整備作業が全体の工数の大半を占めることも珍しくありません。
文書を分割してベクトル化する
長い文書はそのままでは扱えないため、意味のまとまりで区切ります。この区切り方が検索精度に直結します。
細かく切りすぎると文脈が失われ、大きすぎると関係のない情報が混ざります。見出し単位、条文単位など、文書の構造に沿って区切るのが基本です。
区切った文章を数値のベクトルに変換して保存します。これにより、言い回しが違っても意味が近い文章を探せるようになります。
検索の仕組みを設計する
利用者の質問に対して、どの文書を何件取り出すかを設計します。取り出す件数が少なすぎると必要な情報が漏れ、多すぎると無関係な情報が混ざります。
意味の近さで探すベクトル検索だけでなく、キーワードでの検索を組み合わせる構成が有効です。製品名や型番のような固有の語は、キーワード検索のほうが確実に拾えます。
部署や文書種別といった属性で絞り込めるようにしておくと、精度と速度の両方が改善します。
回答の生成とプロンプトを設計する
検索結果をどう渡し、どう答えさせるかを指示文で設計します。参照した文書に書かれていないことは答えない、根拠となる箇所を示す、といった指示を明記します。
わからない場合は、わからないと答えさせる設計にしておくことが重要です。無理に回答を作らせると、もっともらしい誤答が生まれます。
回答の形式や長さも、業務に合わせて指定しておくと使いやすくなります。
評価して改善する
実際の業務で出てくる質問を集め、正解を用意して測定します。想定質問を50件から100件程度作り、正しく答えられた割合を記録してください。
測定は一度で終わりではありません。設定を変えるたびに同じ質問で測り直し、改善したかを確認します。この繰り返しで精度が上がっていきます。
評価用の質問と正解は、資産として残しておいてください。担当者が変わっても品質を維持できます。
構築の進め方や検証の設計を、資料で確認したい方へ。
→ 資料請求フォームから、生成AI活用の進め方をまとめた資料をお受け取りいただけます。
関連記事：LangChainとは？仕組み・主要機能・RAGやエージェント開発での活用法を解説
精度が上がらない主な原因
作ったものの期待した回答が返ってこない。この状態には、いくつかの典型的な原因があります。
多くの場合、原因は生成AIのモデルではなく検索側にあります。五つ挙げます。
元の文書が整理されていない
最も多い原因です。古い規程と新しい規程が両方入っている、同じ内容の資料が複数ある、そもそも該当する記述がない。この状態では正しく答えられません。
回答がおかしいと感じたら、まず参照された文書を確認してください。AIの問題ではなく、文書の問題であることが多くあります。
文書の整理は地味な作業ですが、最も効果の大きい改善策です。
必要な文書を検索で取り出せていない
回答を作る段階に、そもそも正解が書かれた文書が渡っていないケースです。この場合、どんなに優れたモデルを使っても正しい答えは出ません。
検証の際は、回答の良し悪しだけでなく、どの文書が参照されたかも記録してください。検索の問題か生成の問題かを切り分けられます。
正解の文書が取り出せていれば検索の改善、取り出せているのに答えが誤るなら指示文の改善というように、対策が変わります。
分割の仕方が文書に合っていない
一律の文字数で機械的に区切ると、表が途中で切れる、条文が分断されるといった問題が起きます。前提の説明と結論が別々の断片になると、意味が失われます。
マニュアル、規程、議事録では適した区切り方が違います。文書の種類ごとに設定を分けることも検討してください。
表や図が多い文書は、テキストに変換する段階で情報が落ちていないかも確認が必要です。
質問の書き方に結果が左右される
利用者が短い単語だけで質問すると、検索に必要な手がかりが足りません。一方で、長すぎる質問も焦点がぼやけます。
対策としては、質問を検索用に書き換える処理を挟む、よくある質問の例を画面に表示する、といった方法があります。
利用者側に慣れてもらう部分もあるため、簡単な使い方の案内を用意しておくと定着が早くなります。
評価の仕組みがない
何をもって良い状態とするかを決めていないと、改善したかどうかを判断できません。感覚での評価は、担当者によってぶれます。
想定質問と正解のセットを作り、変更のたびに測り直す仕組みを最初に用意してください。この手間を惜しむと、改善が場当たり的になります。
利用者からの評価を集める仕組みも、あわせて組み込んでおくと運用で活きます。
検証の設計については、AIのPoCを本番運用につなげるポイントを解説した記事で詳しく扱っています。
関連記事：AI-OCRの開発とは？従来OCRとの違いと精度の考え方、既製品と自社開発の選び方
精度を上げるための具体策
原因が特定できたら、対策を打ちます。効果の大きい順に四つ挙げます。
いずれもモデルを変えるより先に試すべき施策です。
文書の前処理と構造化
見出しの階層を整える、表をテキストとして扱える形に変換する、略語や社内用語の対応表を用意する。こうした前処理で検索の当たり方が変わります。
文書に更新日や適用範囲を明記しておくと、古い情報を除外する仕組みも作れます。
参照させる文書を、あらかじめ想定質問に答えやすい形に書き直すという手もあります。既存の文書をそのまま使うことにこだわらないでください。
検索手法を組み合わせる
意味の近さで探す方法とキーワードで探す方法を併用し、両方の結果を統合します。これだけで必要な文書を取り出せる確率が上がります。
さらに、取り出した候補を絞り込み直す処理を加えると、無関係な情報が回答に混ざりにくくなります。
いずれも既存の仕組みで実現できる範囲です。モデルの入れ替えより費用対効果が高くなります。
属性情報での絞り込み
各文書に、部署、文書種別、適用期間、公開範囲といった情報を付けておきます。質問の文脈に応じて検索範囲を限定できるようになります。
たとえば人事に関する質問なら人事規程だけを対象にする、というように絞れば、無関係な文書が混ざる余地が減ります。
この属性情報は、後述する権限管理にもそのまま使えます。
回答に出典を付ける
回答と一緒に、根拠となった文書名と該当箇所を表示させます。利用者が自分で確認できるようになり、誤りにも気づきやすくなります。
出典が示されない回答は、正しいかどうかを利用者が判断できません。業務で使う以上、この仕組みは必須だと考えてください。
原本へのリンクを付けておくと、詳細を確認する導線にもなります。
精度が出ない原因の切り分けについて、相談したい方へ。
→ 無料相談フォームから、現在の構成と課題をお聞かせください。
権限とセキュリティの設計
社内文書を扱う以上、誰が何を見られるかの設計は避けて通れません。ここを後回しにすると、公開の直前で止まります。
四つの観点を挙げます。
誰がどの文書を参照できるか
全社員が見てよい文書と、特定の部署だけが見るべき文書があります。RAGは検索して回答するため、権限設計を誤ると本来見えないはずの情報が回答に含まれます。
利用者の所属や役職に応じて、検索対象の文書を絞り込む仕組みを設計してください。既存の認証基盤と連携させる形が一般的です。
人事情報や給与に関する文書は、初期の対象範囲から外しておくのが安全です。
データの保管と学習への利用
外部のサービスを使う場合、入力した内容や社内文書がどこに保管され、学習に使われないかを確認してください。契約条件と設定の両方を確認する必要があります。
社外に出せない情報を扱う場合は、自社の環境内に構築する形を検討します。費用と運用体制は増えますが、要件を満たせます。
保存期間と削除の方法も、あらかじめ決めておいてください。
記録を残して確認できる状態にする
誰がいつ何を質問し、どの文書が参照されたかを記録しておきます。問題が起きたときに原因を追える状態にしておくためです。
政府では生成AIを構成要素とするシステムについて、推進とリスク管理を一体で進めるための考え方を整理した資料が公開されています。民間でもガバナンスを設計する際の参考になります(デジタル庁『行政の進化と革新のための生成AIの調達・利活用に係るガイドライン(第2.0版)』)。
リスクの大きさに応じて確認の手順を変えるという考え方は、社内のルール作りにもそのまま応用できます。
外部資料を参照させる場合の著作権
社内文書だけでなく、購入した書籍や外部の資料を取り込む場合は、著作権の扱いを確認する必要があります。契約上の利用範囲を超えていないかの確認も必要です。
生成AIと著作権の関係については、考え方や当事者ごとの留意点をまとめた資料が公開されています(文化庁『AIと著作権について』)。
判断に迷う場合は、取り込む前に法務部門や専門家に確認してください。稼働後に取り下げるのは手間がかかります。
社内で扱うルールの整備については、生成AIの社内利用ルールの作り方をまとめた記事をご覧ください。
費用と期間の目安
どのくらいの投資が必要になるのかを整理します。構成によって幅がありますが、判断の材料として押さえておいてください。
三つに分けて説明します。
既製サービスを使う場合
文書をアップロードするだけで社内向けの質問応答を実現できるサービスが増えています。月額数万円台から利用でき、着手も早くなります。
まずはこの形で試し、自社の文書で実用に足る精度が出るかを確かめるのが順番です。この検証だけで、構築が必要かどうかの判断がつくこともあります。
既製サービスでは細かい調整に限界があるため、要件が特殊な場合は次の選択肢になります。
業務に組み込んで構築する場合
既存の認証基盤との連携、権限管理、文書の自動取り込み、業務システムへの組み込みまで行う場合、初期費用は100万円台から数百万円規模になります。
費用を左右するのは、対象文書の量と整備状況、連携先の数、必要な権限設計の複雑さです。文書が散在している場合は、整備の工数が大きくなります。
最初から全社の文書を対象にせず、一つの部署から始めれば費用は抑えられます。
運用費と期間
稼働後は、生成AIの利用量に応じた従量課金、検索基盤の利用料、文書の更新と精度の維持にかかる工数が発生します。
期間は、既製サービスの検証であれば数週間、業務に組み込む構築で1か月から3か月程度が目安です。文書の整備から始める場合は、そこにさらに時間がかかります。
最初から完成形を目指さず、対象を絞って早く動かし、使いながら広げる進め方が現実的です。
費用の内訳をより詳しく知りたい場合は、AI開発の費用相場と内訳を解説した記事が参考になります。
内製と外注の切り分け
RAGは技術的な難易度がそれほど高くない領域でもあります。どこまで自社でやるかを整理しておきましょう。
三つの観点で考えます。
自社で担いやすい部分
参照させる文書の選定と整備、想定質問と正解の作成、利用者への案内。この三つは業務を知らないとできないため、自社で担うべき部分です。
特に、何を正解とするかの定義は外部には決められません。ここを外に預けると、評価そのものが機能しなくなります。
既製サービスを使った小規模な検証も、自社だけで進められます。
外注が向く部分
既存システムとの連携、権限管理の実装、検索の調整、運用基盤の構築といった技術的な作業は外注に向きます。
特に認証基盤との連携やログの設計は、経験の差が出やすい部分です。実績のある会社に任せたほうが早く確実になります。
文書のテキスト化など作業量の多い工程も、外部に委託しやすい部分です。
引き取れる形にしておく
外注する場合も、設定内容と調整の理由、評価用の質問と正解を納品範囲に含めてください。これがないと、後から自社で改善できません。
RAGは作って終わりではなく、文書の更新や質問の傾向に応じて調整を続ける仕組みです。運用を自社で回せる状態を目指してください。
自社の担当者を構築に並走させておくと、移行がスムーズになります。
外注と内製の判断軸については、AI開発を外注するか内製するかの判断軸をまとめた記事もご覧ください。
使われる状態にするための運用
精度が出ても、使われなければ投資は回収できません。定着させるための運用を設計しておきます。
四つ挙げます。
対象業務と質問の範囲を絞る
何でも答えられる仕組みを目指すと、どれも中途半端になります。最初は一つの領域に絞り、そこで確実に答えられる状態を作ってください。
問い合わせが多い領域から始めると効果が見えやすくなります。人事総務への定型的な問い合わせは、最初の対象として選ばれることが多い領域です。
範囲を明示しておけば、利用者も期待値を持ちやすくなります。
答えられなかった質問を記録する
回答できなかった質問や、利用者が満足しなかった質問を記録し、定期的に確認します。文書が不足しているのか、検索の調整が必要なのかが見えてきます。
記録から、そもそも社内文書に書かれていない事項が判明することもあります。その場合は、文書を作ること自体が改善策になります。
この記録が、継続的な改善の材料になります。
文書を更新する運用を決める
規程やマニュアルが改訂されたとき、参照先も更新されなければ古い情報が返り続けます。更新の担当と手順を決めておいてください。
自動で取り込む仕組みを作れば手間は減りますが、誰が最新版を確定させるのかという運用は残ります。
文書管理そのものを見直す機会と捉えると、取り組みの価値が広がります。
利用状況を把握して広げる
どの部署がどれくらい使っているか、どんな質問が多いかを定期的に確認します。使われていない部署にはフォローを行い、活用例を共有します。
利用が定着した領域から、次の対象へ広げていきます。一度に全社へ展開するより、確実に進みます。
効果を測る指標は、導入前に決めておいてください。問い合わせ件数の減少や、回答までの時間が指標になります。
運用設計や社内展開の進め方について、資料をご用意しています。
→ 資料請求フォームからご覧いただけます。
まとめ
RAGは、社内文書から関連情報を検索し、その内容を根拠に生成AIが回答する仕組みです。情報を持つ場所、探す仕組み、回答を作るAIという三つの要素で成り立ちます。
構築の手順は、参照データの整備、文書の分割とベクトル化、検索の設計、生成と指示文の設計、評価と改善の五つです。最初のデータ整備が全体の品質をほぼ決めます。
精度が上がらない原因の多くは、生成AIのモデルではなく検索側にあります。文書が整理されていない、必要な文書を取り出せていない、分割の仕方が合っていない。この三つをまず疑ってください。
あわせて、誰がどの文書を参照できるかという権限設計、データの保管と学習利用の確認、記録を残す仕組みは、公開前に必ず設計しておく必要があります。対象を絞って早く動かし、使いながら改善していく進め方が最も確実です。
RAGの構築について、自社の文書と業務に合わせて相談したい方へ。
→ 無料相談フォームから、対象文書と使いたい場面をお送りください。担当者が進め方をご案内します。
