Azure OpenAIのOn Your Dataとは？料金や使い方、RAG構築手順を解説！

Microsoft Azureが提供するAzure OpenAI Serviceは、最先端のAIモデルを用いて、特定の業務に適したソリューションを構築できる柔軟性を特徴としています。
On Your Data は、社内ドキュメントなどのデータを検索し、その根拠を踏まえて回答を生成するRAGを実装しやすくする仕組みです。

ただし、Microsoft Learnでは Azure OpenAI On Your Data は非推奨となり、廃止に近づいている旨が案内されています。新規のRAG構築では、Foundry Agent Service と Foundry IQ を含む後継アプローチも前提に検討することが重要です。

本記事では、Azure OpenAI On Your Dataの位置づけ、できること、基本的な構成要素、費用の見積もりの考え方を整理したうえで、移行の観点もあわせて解説します。

Azureの基本知識や料金体系、利用方法についてはこちらの記事で詳しく解説しています。
➡️Microsoft Azureとは？できることや各種サービスを徹底解説

✅最新モデル「GPT-5.4」については、以下の記事をご覧ください。
GPT-5.4(ChatGPT5.4)とは？使い方や料金、GPT-5.2との違いを徹底解説
✅Microsoft 365 Copilotの最新エージェント機能「Copilot Cowork」については、以下の記事をご覧ください。
Copilot Coworkとは？機能や料金、Claude Coworkとの違いを解説

Azure OpenAI On Your Dataとは？

Azure OpenAI Serviceは、Azureのクラウドプラットフォームで提供されるサービスです。OpenAIの先進的な自然言語処理モデルを活用し、様々な自然言語タスクを簡単に実装できます。
しかし、汎用的なモデルでは、社内データや専門的な内容についての応答は得られません。

そこで、On Your Data を使うと、Azure AI Searchなどの検索基盤を通じて外部データを検索し、関連する情報を根拠として回答に反映できます。これにより、社内規程や製品資料などの独自データに基づく応答を実現しやすくなります。

なお、On Your Data はモデルそのものを追加学習させる仕組みではありません。検索で取り出した関連情報をプロンプトの文脈に加えることで、回答を根拠付けし、ハルシネーションを抑えやすくする考え方です。

Azure OpenAI On Your Dataでできること

Azure OpenAI ServiceのOn Your Data機能を活用することで、RAG (Retrieval-Augmented Generation) の構築を簡単に実現できます。

この機能により、以下のようなことが可能になります。

1. 独自データに基づく回答の生成
   • 自社の製品情報、社内ドキュメント、FAQなどを検索して根拠として使うことで、独自データに基づく回答を返しやすくなります。
     
     
2. ドメイン固有のAIアシスタントの構築
   • データソースを適切に接続し、検索結果を回答に反映することで、特定分野に強いアシスタントを構築できます。
     顧客サポート、社内ヘルプデスク、専門的な質問応答システムなどに活用できます。
     
     
3. ドキュメント検索と要約の支援
   • 大量のドキュメントを検索して関連部分を取り出し、要点をまとめて提示できます。
     情報のアクセシビリティが向上し、業務効率化が期待できます。
     
     
4. ビジネスプロセスの自動化
   • 検索で根拠を取りながら回答できるようにすることで、問い合わせ対応や社内問い合わせの一次回答など、業務フローの一部を自動化しやすくなります。
     例えば、問い合わせ内容に応じて適切な部署へ自動転送するシステムや、定型業務の自動化などが可能です。

これらは Azure OpenAI ServiceのOn Your Data機能を活用することで実現できる一例です。

独自データを活用することで、ビジネスに特化したAIソリューションを構築し、業務効率化やサービス品質の向上を図ることができるでしょう。

Azure OpenAI On Your Dataの使い方

Azure OpenAI Serviceとその関連サービスを用いた、On Your Dataの利用方法を説明します。
基本的な操作は、Azure OpenAI Serviceの利用プラットフォームであるAzure OpenAI Studioを利用します。

そのためAzureのサブスクリプションとリソースグループは既に作成済みで、Azure OpenAI Studioが利用可能であることを前提とします。

【Azure OpenAI Studioの使い方】

Azure OpenAI Studioの始め方や料金体系、デプロイ方法を徹底解説 | AI総合研究所

Azure OpenAI Studioは、Azure OpenAI Serviceが提供する生成AIモデルを試用・デプロイするためのWebポータルです。本記事では、Azure OpenAI Studioの基本機能からMicrosoft Foundryへの統合、利用可能なモデル、料金体系、始め方までを2026年3月時点の最新情報で解説します。

https://www.ai-souken.com/article/azure-openai-studio-explanation

【サブスクリプションとリソース グループの説明】

Azureのリソースグループとは？作成や移動、アクセス権限の管理を解説 | AI総合研究所

Azureリソースグループを理解し、運用管理を効率化。役割や活用方法をわかりやすく解説し、リソース管理の合理化やコスト削減へ導くポイントを紹介します。

https://www.ai-souken.com/article/azure-resource-groups-explanation

データ保管用のストレージの作成

On Your Dataの利用には、利用するデータの保管場所が必要となります。データの保管にはAzure Blob Storageを利用します。

未作成の場合は、以下の手順でストレージアカウントを作成してください。

1. Azureポータルにログインし、検索欄にストレージアカウントと入力します。
   
   

2. 「作成」ボタンをクリックし、必要な情報を入力してストレージアカウントを作成します。
   
   ストレージアカウントの作成

3. 作成したストレージアカウントを選択し、コンテナーを作成します。そして、アップロードからデータをアップロードしてください。
   
   データのアップロード

Azure Blob Storageの利用方法が不明な場合は、こちらの記事をご覧ください。
➡️Azure Blob Storageとは？アクセス方法や使い方を徹底解説！

Azure AI Searchリソースの作成

Azure AI Searchは、カスタムアプリケーションに対して強力かつ高度な検索機能を提供するクラウドベースの検索サービスです。詳細は以下の記事でも解説しています。
➡️Azure AI Searchとは？機能や料金、使い方をわかりやすく解説

Azure AI Searchリソースの作成

Azure OpenAI Studioでのデータの追加

Azure OpenAI Studioでのデータの追加を行います。Azure OpenAI Studioホームからデータの追加を選択します。

Azure OpenAI Studioホーム

データの追加画面では先ほど作成したBlob Storageとコンテナ、AI Searchのリソースなどの設定をします。

データの追加設定

設定が完了したら、チャットプレイグラウンドに移動します。設定メニューの「データの追加」セクションに、追加したコンテナの情報が表示されていれば、データの追加は成功です。

これで、独自データを使ったチャットボットの開発を始められます。

Azure OpenAI On Your DataからFoundry Agent Serviceへ移行する考え方

On Your Data は非推奨となっており、新規開発では後継アプローチを前提に設計することが重要です。Microsoft Learnでは、Foundry IQ を利用して Foundry Agent Service に移行し、コンテンツを取得して根拠のある回答を生成する構成が推奨されています。

移行を検討する際は、次の順に整理するとスムーズです。

1. 現状の棚卸し
   • データソース、インデックス構成、検索対象フィールド、更新頻度、権限制御、プロンプトを整理します。
     
     
2. 取得設計の見直し
   • どの情報を根拠として提示したいのか、引用の粒度、更新遅延の許容範囲を決めます。
     
     
3. 段階的な移行
   • まずは一部のユースケースで並行稼働し、回答品質、根拠の妥当性、運用手間、コストを比較します。

参照: https://learn.microsoft.com/ja-jp/azure/ai-services/openai/concepts/use-your-data?tabs=ai-search

Azure OpenAI On Your DataでRAGを構築する手順

ここでは、サンプルデータとしてContoso Electronicsの医療サービスプランに関する文書を使用します。
このデータはこちらのGitHubリポジトリ Azure Samplesからダウンロードできます。

サンプル文書データ

データを追加したモデルに、「Northwind Health Plusについて日本語で教えて」と質問してみました。応答は次のようになりました。

 Northwind Health PlusはContoso Electronicsが提供する包括的なプランです。
 このプランは医療、視力、歯科サービスのカバレッジを提供し、処方薬のカバレッジ、メンタルヘルスおよび薬物乱用のカバレッジ、予防医療サービスのカバレッジも含まれています。

Northwind Health Plusでは主治医、専門医、病院、薬局などさまざまなネットワーク内のプロバイダーから選択することができます。
このプランはネットワーク内およびネットワーク外の緊急サービスのカバレッジも提供しています。Northwind Standardと比較して、Northwind Health Plusはメンタルヘルスおよび薬物乱用のカバレッジ、さらに幅広い範囲の処方薬のカバレッジなどより包括的なカバレッジを提供しています。

また、視力検査、メガネ、コンタクトレンズ、歯科検診、クリーニング、詰め物のカバレッジも提供しています。入院、診察、検査、レントゲンなどのカバレッジもあります。
全体的に、Northwind Health Plusはさまざまな医療ニーズに対して包括的なカバレッジを提供するプランです。

応答から、モデルが文書の内容を参照し、質問されたプランの説明だけでなく、文書内の他のプランとの比較についても言及していることがわかります。

比較のために、同じ質問をChatGPTに投げてみました。ChatGPTの応答は次のようになりました。

Northwind Health Plus（ノースウィンドヘルスプラス）は、日本の健康食品メーカーです。同社は、健康とウェルネスをサポートするための高品質な製品を提供しています。

ChatGPTはデータを参照できないため、的外れな回答（ハルシネーション）が生成されてしまいました。ハルシネーションとは、言語モデルが誤った情報を確信を持って生成してしまう現象のことです。
もちろん、Northwind Health Plusという日本の健康食品メーカーは存在しません。

このように、Azure OpenAI ServiceのOn Your Data機能を使ってRAGを構築することで、独自データに基づく正確で詳細な応答を生成できるようになります。

Azure OpenAI On Your Dataの料金体系

Azure OpenAI On Your Data（および後継のRAG構成）の費用は、主に「生成に使うトークン」「検索基盤」「データ保管と取り込み」に分かれます。断定的な金額は出しにくいため、要素分解して見積もるのがおすすめです。

料金が発生しやすい主な要素

1. Azure OpenAI Serviceのトークン
   • 質問文、システムメッセージ、検索で取得した根拠テキスト、回答文のトークンが課金に影響します。
     
     
2. 埋め込みのトークン
   • ドキュメントの取り込み時に、チャンク化したテキストを埋め込みモデルでベクトル化する場合、そのトークンが増えます。
     
     
3. Azure AI Search
   • 価格レベル、レプリカやパーティション、インデックスサイズ、検索クエリ量などがコストに影響します。
     
     
4. ストレージとデータ更新
   • Blob Storageの容量、トランザクション、更新頻度に応じた再取り込みや再埋め込みがコスト要因になります。
     
     
5. ネットワークと運用
   • リージョン間通信、外向き通信、監視ログなどの運用コストも見落としやすいポイントです。

見積もりの進め方

1. 1回の問い合わせあたりの想定を置く（検索で取り込む根拠テキスト量、回答の平均長）。
2. 1日あたりの問い合わせ回数を置く（ピーク時の同時実行も想定）。
3. 取り込み対象データ量と更新頻度を置く（再取り込み、再埋め込みの頻度）。
4. 料金計算ツールで、Azure OpenAIとAzure AI Searchを中心に月額の概算を出す。

Azure OpenAI Service自体の料金の考え方は、こちらの記事でも解説しています。
➡️Azure OpenAI Serviceの料金体系をわかりやすく解説！

詳細な料金情報や見積もりについては、Azureの料金計算ツールや公式ドキュメントもあわせて確認してください。

Azure OpenAI On Your Dataの活用例

On Your Data を使ってデータソースを検索できるようにすることで、顧客サポートの自動化、リアルタイムのドキュメント検索などの活用が考えられます。

顧客サポートの自動化

ChatGPTなどの自然言語処理AIを用いることでユーザーとの対話が可能ですが、「対話の中でユーザーから、モデルが参照できないデータに関する情報を聞かれた場合」従来のモデルでは適切に対応することが出来ません。

On Your Dataを活用し、企業の独自データを検索して根拠として提示できるようにすることで、この問題を解決しやすくなります。
顧客からの製品に関する質問やトラブルシューティングの要求に対して、チャットボットが即座に詳細な回答を提供できるようになります。

これにより、顧客満足度の向上とサポートチームの業務効率化を同時に実現できます。

リアルタイムのドキュメント検索

On Your Dataは顧客サポートだけでなく、組織内ナレッジ管理にも活用できます。
社内ドキュメントや取扱商品の関連資料は膨大な量になることが多く、全てを個人が把握するのは困難です。

そこで、それらのドキュメントを検索対象として接続することで、必要な情報をリアルタイムにAIに問い合わせられるようになります。

On Your Dataを使えば、AIがドキュメントの内容を深く理解し、質問の文脈に合わせて適切な情報を抽出、提示してくれます。

これにより、社内の情報アクセシビリティが大幅に向上し、ナレッジ共有と業務効率化が進むでしょう。

その他の活用シーン

上記以外にも、On Your Dataは様々な場面で活用できます。例えば、医療分野ではガイドラインや院内規程を根拠として参照できるようにすることで、情報探索の負担軽減に役立つ可能性があります。

また、法律分野では過去の判例や契約ひな形を検索できるようにすることで、調査業務の一次整理を支援できる可能性があります。

On Your Dataは、企業や組織が持つ固有のデータ活用を促進し、AIの導入による業務改革を加速させる強力なツールだと言えます。

自社データ×AIをAIエージェントの業務自動化に拡張するなら

On Your Dataで構築した社内データ参照AIは、AIエージェントと組み合わせることで、問い合わせ対応・ナレッジ検索・レポート作成まで自動化できます。

• On Your Dataで構築したRAG基盤を、AIエージェントが業務ワークフローに組み込んで自動実行できる
  社内文書を参照しながら回答するAIを、エージェントが定型業務の中で自動的に呼び出します。

• Teams上で完結するため、既存のMicrosoft環境にそのまま導入可能
  社内で利用しているMicrosoft 365環境を変更することなく、AIエージェントを追加できます。

• 自社テナント内で完結するセキュリティで、安心して業務データを扱える
  業務データが外部サービスに送信されることなく、自社のセキュリティポリシーの範囲内で運用できます。

自社データ×AIをAIエージェントの業務自動化に拡張

Microsoft Teams上でAIエージェントが業務を代行

On Your Dataで構築した社内データ参照AIを、AIエージェントが業務ワークフローに組み込んで自動実行できます。Teams上で完結するため、既存のMicrosoft環境にそのまま導入可能。自社テナント内で完結するセキュリティで、安心して業務データを扱えます。

▶ 無料で資料をダウンロード

Azure OpenAI On Your Dataのまとめ

本記事では、Azure OpenAI On Your Dataの位置づけ、できること、基本構成、料金の見積もり方を整理しました。

押さえるべきポイント

• On Your Dataは「モデルを学習させる」機能ではなく、検索で根拠を取り込みながら回答するRAGの考え方に近い仕組みです。
• 料金は主に、Azure OpenAIのトークン、埋め込み、Azure AI Search、ストレージと更新頻度で決まります。

今後の方針

• Microsoft LearnではOn Your Dataは非推奨となっているため、新規構築ではFoundry Agent ServiceとFoundry IQを含む後継アプローチを前提に検討しましょう。

本記事が、RAG構成の検討や、移行の判断材料としてお役に立てば幸いです。