社内GPT（社内専用チャットボット）構築のおすすめ構成｜RAG・権限・監査ログ

生成AIの業務活用が急速に進む中、多くの企業が直面するのが「セキュリティを担保しつつ、自社専用の知識を持ったAIをどう構築するか」という課題です。単にChatGPTを契約するだけでは、社内の機密情報に基づいた回答を得ることはできず、また情報漏洩のリスクを完全に拭い去ることも困難です。

本記事では、IT実務担当者が社内GPTを構築する際に検討すべき「おすすめの構成」について、RAG（検索拡張生成）の仕組み、権限管理、監査ログの設計という3つの重要軸から具体的に解説します。

社内GPT構築が必要な理由と3つの主要アプローチ

企業が独自のチャットボットを構築する最大の理由は、「データの安全性」と「自社固有情報への対応」の両立にあります。

なぜ通常のChatGPTでは不十分なのか

個人向けのChatGPT（無料版やPlus版）では、デフォルトの設定では入力したデータがモデルの学習に利用される可能性があります。これは企業にとって重大なガバナンスリスクです。また、ChatGPTそのものは2023年や2024年といった「カットオフ」までの公開データしか持っておらず、昨日の会議録や自社独自の製品マニュアルについて回答することはできません。

これを解決するために、以下の3つのアプローチから自社に適したものを選択する必要があります。

• SaaS型（ChatGPT Enterprise / Team）：OpenAI社が提供する法人向けプラン。開発不要ですぐに利用可能。
• プラットフォーム活用型（Azure OpenAI / Google Cloud Vertex AI）：クラウドベンダーが提供するAPIを利用。既存の認証基盤と統合しやすく、自由度が高い。
• 独自開発型：LangChainやLlamaIndexなどのフレームワークを用い、AWS等のインフラ上に独自のUIとバックエンドを構築する。

特に、中長期的な拡張性や既存SaaSとの連携を考えるなら、プラットフォーム活用型が現在の主流です。例えば、社内の認証基盤にEntra ID（旧Azure AD）を利用している場合、Azure OpenAI Serviceを選択することで、アカウント管理を一元化できます。こうしたID管理の重要性については、「SaaS増えすぎ問題と退職者のアカウント削除漏れを防ぐアーキテクチャ」でも触れている通り、セキュリティの根幹となります。

社内GPTの性能を決定づける「RAG（検索拡張生成）」のアーキテクチャ

社内GPTを「社内の物知り博士」にするための技術がRAG（Retrieval-Augmented Generation）です。これは、LLM（大規模言語モデル）を再学習させるのではなく、回答の直前に必要な資料を「検索」し、その内容をプロンプトに含める手法です。

RAGの基本フロー

1. ベクタライズ：社内のPDF、Word、Excel、Slackのログなどのテキストデータを、コンピュータが理解できる数値（ベクトル）に変換し、ベクトルデータベースに保存します。
2. 検索（Retrieval）：ユーザーの質問に対し、意味が近いデータをデータベースから抽出します。
3. 生成（Generation）：抽出したデータと質問をセットにして「以下の資料に基づいて回答してください」とLLMに指示を出します。

この仕組みにより、AIは常に最新の社内ドキュメントを参照して回答できるようになります。ただし、参照元となるデータが散逸していると精度が上がりません。例えば、Google WorkspaceやAppSheetで管理されている業務データと連携させることで、より実務に即した回答が可能になります。詳細は「Google Workspace × AppSheet業務DX完全ガイド」を参考にしてください。

回答精度を向上させるポイント

RAGの実装において最も多い失敗は「回答が的外れ」になることです。これを防ぐには以下の工夫が必要です。

• チャンク分割の最適化：長い文書を適切な長さ（数文字〜数百文字程度）に区切って保存すること。
• メタデータの付与：作成日、部署名、カテゴリなどのタグを付与し、検索時にフィルタリングできるようにすること。
• リランキング：検索された上位の結果を、さらに別のアルゴリズムで再評価し、最も関連性の高いものだけをLLMに渡すこと。

【比較表】社内GPT構築ソリューションの主要スペック

企業の規模や要件に応じて、適切なサービスを選択するための比較表を作成しました。

※各サービスの最新料金や仕様は、必ず OpenAI公式サイト、Azure公式サイト、Google Cloud公式サイト をご確認ください。

企業の信頼を守るセキュリティ設計：権限管理と監査ログ

社内GPTを導入する上で、技術以上に重要なのが「ガバナンス」です。誰が、いつ、どのような情報を入力し、どのような回答を得たのかを管理できなければ、企業での本格利用は認められません。

1. ID管理とシングルサインオン（SSO）

従業員ごとに個別のIDを発行するのではなく、既存のIDプロバイダー（IdP）と連携させるべきです。これにより、社員が退職した際に自動的にAIへのアクセス権を剥奪できます。Azure OpenAIを利用する場合、Managed Identityを使用することで、APIキーの管理を不要にし、プログラム間の安全な認証が可能です。

2. 監査ログの保存とPII検知

「プロンプト（質問文）」と「補完（回答文）」のログはすべてデータベースまたはクラウドストレージ（S3, Cloud Storage等）に保存します。また、入力時に個人情報（PII: Personally Identifiable Information）が含まれていないかをチェックするフィルターを設けることも検討してください。Azure AI Content SafetyなどのサービスをフロントエンドとAPIの間に挟むことで、不適切なコンテンツの流入・流出を防ぐことができます。

3. 部署別の参照権限（ACL）

「全社員が全社外秘データにアクセスできる」状態は危険です。RAGの検索対象を、ユーザーの所属部署に応じて制限するアクセス制御リスト（ACL）の実装が必要です。例えば、経理部門の人間のみが「給与規定PDF」を検索対象に含められるといった設計です。経理データの取り扱いについては、「電帳法対応システムと会計ソフトの責務分解」の考え方と同様に、どのシステムにどのデータを持たせるかの整理が不可欠です。

実務的な導入ステップとよくあるエラーの対処法

社内GPTの構築は一気呵成に進めるのではなく、段階的なアプローチを推奨します。

ステップ1：PoC（概念実証）の範囲定義

まずは特定の部署（例：カスタマーサポート、社内FAQ対応）に絞ってテスト導入します。すべての業務をAI化しようとすると、要件定義が複雑化し、プロジェクトが頓挫しやすいためです。

ステップ2：RAG用データのクレンジング

「ゴミを入れればゴミが出てくる（Garbage In, Garbage Out）」の原則通り、AIが参照するデータの質が重要です。スキャンしただけの画像PDF（テキストデータがないもの）や、内容が重複している古いマニュアルは事前に削除・OCR処理を行う必要があります。

よくあるエラーと対処法

• ハルシネーション（嘘の回答）：プロンプトに「提供された資料に答えがない場合は、正直に分からないと答えてください」という制約（System Prompt）を加えることで抑制できます。
• レスポンス遅延：RAGの検索プロセスや、LLMの生成に時間がかかる場合があります。ストリーミング出力（回答を逐次表示する）を実装することで、体感的な待ち時間を大幅に短縮できます。
• APIのレート制限（429 Error）：短時間に大量のリクエストを送るとエラーになります。リトライ処理の実装や、クォータ（割当）の増枠申請を事前に行いましょう。

まとめ：運用フェーズでのSaaSコスト最適化とガバナンス

社内GPTは「作って終わり」ではありません。APIの従量課金は、利用者が増えるほど膨らみます。キャッシュ機能を実装して同じ質問には過去の回答を再利用するなどのコスト削減策が必要です。また、社内GPTの利便性が低いと、社員が勝手に個人用のChatGPTに機密情報を入力する「シャドーAI」のリスクが高まります。

安全で使いやすい社内GPTを構築することは、単なる効率化ツールを超え、企業の知識資産を最大化するための基盤となります。本記事で紹介したアーキテクチャを参考に、自社のITインフラに最適な構成を検討してください。