模倣学習とは？主要3手法や課題、VLA・LLM SFTでの活用を解説

模倣学習（Imitation Learning）とは、エキスパートの行動データから方策を学習する機械学習手法で、Behavior Cloning・逆強化学習・GAILの3系統が代表的です。

2026年現在、模倣学習はVLAモデル（Vision-Language-Action）の主要な訓練手法として再評価されており、Physical Intelligenceのπ0.5／π0.7、Figure Helix、Google DeepMind Gemini Robotics 1.5、NVIDIA GR00T N1.7といったロボットAI基盤モデルはすべて模倣学習をベースに構築されています。

本記事では、模倣学習の基本手法・強化学習との違い・分布シフト等の課題、ロボット基盤モデル時代の位置づけ、LLMのSFT・DPO・GRPOにおける役割、実装コストと業務適用の判断軸まで、2026年7月時点の最新情報で体系的に整理します。

模倣学習とは？エキスパートの行動を真似て学ぶ機械学習

模倣学習（Imitation Learning）とは、エキスパートの行動データから方策（状態→行動の対応関係）を学習する機械学習手法です。

学術的には「実演者の振る舞いをそのまま模倣、あるいは実演の裏にある報酬構造を推定して行動を再現する枠組み」と定義され、強化学習と教師あり学習の中間に位置づけられます。

2026年現在、模倣学習はロボット制御・自動運転・ゲームAIといった伝統的な応用領域にとどまらず、Vision-Language-Action（VLA）基盤モデルとLLMのポストトレーニングを支える中核手法として再定義されつつあります。

Physical Intelligenceのπ0.5／π0.7、Figure Helix、Google DeepMind Gemini Robotics 1.5、NVIDIA GR00T N1.7——これら2026年の主要ロボット基盤モデルはすべて模倣学習をベースに訓練されており、加えてLLMのSFT（Supervised Fine-Tuning）が数学的に行動クローニングと等価であることが再評価されています。

2026年に模倣学習が再注目されている背景

2010年代の模倣学習は、強化学習の「試行錯誤コスト」を回避するための補助的な手法という位置づけでした。

2026年に主戦場が変わったのは、大規模な事前学習モデル（VLM／LLM）に「行動」を接続するうえで、模倣学習が最も現実的な訓練フレームになったからです。

• VLA基盤モデルの訓練手法として標準化
  Physical Intelligenceのπ0.5は、Diffusion Policyの発展形であるFlow Matchingを模倣学習で訓練し、初見の家庭でも94%の成功率で家事タスクを完了できることを実証しました（Physical Intelligence公式ブログ）。
  
  

• LLMのSFTが模倣学習と数学的に等価
  Supervised Fine-Tuning（教師あり微調整）は、行動クローニング（BC）と等価な最尤推定で、対話モデル・エージェントモデルの基本能力を作る出発点です（arXiv 2310.06147）。
  
  

• 教師データ収集の低コスト化
  Stanford Chelsea Finn研究室が公開したMobile ALOHAは、$32Kで双腕モバイル操作の教師データを収集でき、模倣学習を実装する敷居を大きく下げました。

ここでのポイントは、「エキスパートの行動データさえあれば、報酬設計なしに複雑なタスクを学習できる」という模倣学習の特性が、ロボットとLLMの両方で「事前学習済みモデルに現場スキルを注入する」用途にはまるという点です。

---

模倣学習の3つの主要手法——BC・逆強化学習・GAIL

模倣学習は、エキスパートデータをどう扱うかで大きく3系統に分かれます。以下の表で、代表的な3手法の特徴を整理しました。

手法	学習対象	特徴	代表的な弱点
Behavior Cloning（行動クローニング）	状態→行動の対応関係を直接教師あり学習	実装がシンプル、データが揃えば高速に学習可能	分布シフト・compounding errorに弱い
逆強化学習（Inverse Reinforcement Learning）	エキスパートが最適化していると仮定した報酬関数を推定	汎化性が高い、報酬構造が明示的に得られる	計算コスト大、報酬仮説の識別問題
GAIL（Generative Adversarial Imitation Learning）	生成器（方策）と識別器（人か機械か判定）を敵対的学習	少数デモで安定した方策が得られる、報酬関数を明示せず済む	学習が不安定になりやすい

この3つは「シンプル→複雑」のグラデーションで並んでおり、最初の一歩はBC、汎化を求めるなら逆強化学習、少数デモで攻めるならGAIL、という選び分けが基本になります。

以降ので、各手法の中身と適材適所を順に整理します。

Behavior Cloningの基本構造

Behavior Cloning（BC）は、エキスパートの状態→行動のペアを教師データとして、通常の教師あり学習で方策を訓練する手法です。

数式で書けば、「観測 s に対してエキスパートの行動 a を出力するモデル π(a|s) を、対数尤度最大化で学習する」だけ。分類問題として画像認識モデルを訓練するのと本質的に同じ枠組みです。

BCの利点は、実装のシンプルさとサンプル効率の高さです。強化学習のように環境と相互作用しなくても、収集済みのデモデータだけで方策が得られます。

一方で欠点は明確で、エキスパートが訪問しなかった状態に対しては何も学習していない点にあります。走行中に少しコースを外れただけで方策が破綻し、その誤差がフレームごとに雪だるま式に増える「compounding error」が典型的な失敗パターンです。

BC単体で運用するのは限定的なタスクに絞り、後述するDAggerやDiffusion Policy等の拡張と組み合わせるのが実務セオリーになっています。

逆強化学習と報酬関数の推定

逆強化学習（Inverse Reinforcement Learning：IRL）は、エキスパートの行動からその行動を最適化していると仮定した報酬関数を逆算し、その報酬関数に基づいて方策を再学習する手法です。

BCが「行動そのもの」を模倣するのに対し、IRLは「行動の意図（何を最大化しようとしているか）」を抜き出します。抜き出した報酬関数は新しい環境にも転用できるため、汎化性が高いのがIRL最大の利点です。

歴史的には Stuart Russell 1998の問題設定と、Ng & Russell 2000のICML論文まで遡る枠組みで、実装として代表的なのはMaximum Entropy IRL（MaxEnt IRL）と、その現代的発展形であるGAIL・AIRLです。

一方で計算コストが大きく、報酬関数の識別問題（複数の報酬関数が同じ最適方策を生む）が理論的な難点として知られています。自動運転や倫理的意思決定のように「なぜその行動を取るのか」を説明したい領域で強みが出る手法です。

GAILと敵対的模倣学習

GAIL（Generative Adversarial Imitation Learning）は、Jonathan Ho・Stefano Ermonが2016年NeurIPSで発表した手法で、GANのアーキテクチャを模倣学習に応用したものです。

学習エージェントの方策π（Generator相当）と、専門家データを本物・エージェント生成データを偽物と判定する識別器D（Discriminator相当）を敵対的に更新することで、識別器を騙せるほど専門家に近い方策を得ます。

GAILはIRLとBCの中間の性格を持ちます。報酬関数を明示的に推定するIRLの計算コストを回避しつつ、BCよりも分布シフトに強い汎化性を実現できるのが特徴です。

少数デモ（数十件レベル）でもそれなりに安定した方策が得られる点で、実務でよく採用されます。ただしGANと同じく学習の不安定性が課題で、識別器の勾配消失やモード崩壊への対策（WGAIL・DAC等の派生手法）が必要になるケースが多いです。

DAggerと分布シフト対策の系譜

BC・IRL・GAILとは別の切り口で、分布シフト問題そのものをデータ収集ループで解決するアプローチもあります。代表がDAgger（Dataset Aggregation）です。

DAggerは、まずBCで初期方策を作り、その方策で環境を走らせて訪問した状態にエキスパートが正解ラベルを与える、というループを回します。エキスパートが訪問しなかった状態にもラベルが集まるため、方策の頑健性が段階的に上がります。

2023〜2026年にかけては、DAggerの発想を発展させたDiffusion Policy・Flow Matching・Posterior Behavioral Cloningといった手法が主流化しつつあります。
これらは「本セクションでの詳述は避け」て、後段の課題対策と応用のセクションで扱います。

---

模倣学習と強化学習・SFTの違い

模倣学習は「エキスパートデータから学ぶ」という特徴で強化学習・教師あり学習・SFTと隣接しています。以下の表で、4つの手法の違いを整理しました。

手法	学習信号	データ収集	適する場面
模倣学習	エキスパートの行動デモ	事前収集（オフライン）	熟練者の技を再現したい／報酬設計が困難
強化学習	環境から得られる報酬	オンライン相互作用	報酬が定義できる／シミュレータが安全に回せる
教師あり学習	正解ラベル	事前収集（オフライン）	分類・回帰など静的なタスク
SFT（LLM）	教師応答テキスト	事前収集（オフライン）	LLMの応答スタイル・指示追従の基礎能力

模倣学習と教師あり学習は、どちらもラベル付きデータから学ぶ点では似ていますが、「学習対象が時系列を伴う方策か、静的な写像か」で分かれます。以降のH3で、隣接技術との差分を掘り下げていきます。

強化学習との違い

強化学習は、エージェントが環境と相互作用しながら報酬信号を最大化する方策を学ぶ枠組みです。

決定的な差分は、強化学習は報酬関数の定義が前提である一方、模倣学習は報酬なしでもエキスパートデモがあれば学習できる点です。

現実の業務タスクは「勝ち負け」「スコア」のような明確な報酬を定義しにくいことが多く、そういう場面では模倣学習が第一候補になります。逆に囲碁・チェス・ゲームAIのように報酬が自明で、かつ大量にシミュレーションを回せる環境なら強化学習が強みを発揮します。

2026年時点の実装では、両者を組み合わせるハイブリッドが主流です。まず模倣学習で「そこそこ動く」ベースラインを作り、そこから強化学習で微調整するアプローチが、ヒューマノイド開発の報道やAI総研の支援現場でも定番になっています。

教師あり学習との違い

教師あり学習と模倣学習は、どちらもラベル付きデータから学ぶ点で共通していますが、扱う対象が違います。

教師あり学習は「入力→出力」の静的な対応関係（画像→クラス、テキスト→翻訳）を学びます。予測を1回出せば完結し、その予測が次の入力に影響しません。

模倣学習は「状態→行動」の時系列的な意思決定を学びます。今の行動が次の状態を作り、その状態でまた行動を選ぶ——という閉ループを扱うため、compounding errorのような時系列固有の問題が生じます。

Behavior Cloningは実装上は教師あり学習と同じですが、「訓練データ分布と評価時の状態分布が乖離する」という模倣学習固有の課題を抱える点で、単なる教師あり学習とは区別されます。

SFT（LLM）との関係

LLMポストトレーニングで最初に行われるSupervised Fine-Tuning（SFT）は、数学的には行動クローニングと等価です。

「プロンプト（状態）→期待応答（行動）」のペアを教師データとし、モデルの出力トークン列がエキスパート応答と一致するよう最尤推定で学習する——これは典型的なBCの形をしています。arXiv 2310.06147の解析でも、SFTは「エキスパート方策と学習方策のフォワードKLダイバージェンスを最小化するオフライン模倣学習」として位置づけられています。

つまり、ChatGPT・Claude・GeminiなどのLLMは、事前学習済みモデルに模倣学習を適用して「対話モデル」の初期方策を作り、そこからRLHFやDPO・GRPOで微調整する——という流れで訓練されています。

この関係はLLM文脈での模倣学習の詳細として、後段の「LLMポストトレーニングにおける模倣学習」セクションで改めて掘り下げます。

---

模倣学習の課題——分布シフトとcompounding error

模倣学習は「エキスパートデモがあれば動く」というシンプルさが魅力ですが、実装してすぐぶつかる壁がいくつかあります。

代表が分布シフト（distribution shift）と、それに伴うcompounding error、そしてデータ品質への依存の3つです。ここでは各課題と、2026年時点で主流化しつつある対策を整理します。

分布シフトの発生メカニズム

模倣学習の最大の課題が、分布シフトです。

Behavior Cloningで学習した方策を実環境で走らせると、エキスパートが訪問しなかった状態に遭遇した瞬間、方策は何を出力すべきか学習していないため、不適切な行動を取ります。その結果、さらにエキスパート分布から離れた状態に進み、次の行動もまた誤る——という悪循環に陥ります。

たとえば自動運転で、教師データが「常に車線中央を走行」しているとします。学習後の方策が少しでも車線からずれると、その状態は教師データに存在しないため、方策は正しい復帰行動を知りません。結果として車線をどんどん逸脱していきます。

分布シフトは、エキスパートの技術レベルが高いほど深刻になるという逆説があります。上手な運転者ほど失敗状態を訪れないため、教師データに「失敗からの復帰」が含まれない、というトレードオフです。

compounding errorの累積構造

分布シフトから直接派生するのが、compounding error（累積誤差）です。

各時刻での予測誤差が独立ならば、時系列全体の誤差はランダムウォーク的にしか増えません。しかし模倣学習では、時刻tでの誤差が時刻t+1の状態分布を歪め、そこでの誤差がさらに次の状態を歪める——という誤差の増幅が起きます。

理論的には、方策の誤差εを持つ場合、Tステップ後の累積誤差はO(εT²)のオーダーで増えることが示されています（Ross & Bagnell 2010、Behavior Cloning論文レビュー）。強化学習ならO(εT)で済むため、長時間のタスクほど模倣学習は不利になります。

データ品質と多様性への強い依存

模倣学習の性能はエキスパートデータの品質にほぼ完全に依存します。以下の要素がひとつでも欠けると、実運用に耐える方策は得られません。

• エキスパートの技術レベル
  下手な操作を混ぜると方策も下手になる。データ選別が事前に必要
  
  

• 状態カバレッジ
  遭遇しうる全状態のうち、教師データが何%をカバーしているか。カバレッジが低いと未知状態で破綻
  
  

• アクションの一貫性
  同じ状態でエキスパートが違う行動を取っていると、方策が中間値を学んで両者いずれとも異なる誤った行動を出力する（マルチモーダル問題）

特にマルチモーダル問題は深刻で、「同じ交差点で左右どちらにも曲がりうる」ような状況を単一のガウス分布で近似するBCモデルは、両者の中間である直進を選んでしまいます。この問題を解くために2023年以降主流化したのが、次に述べるDiffusion Policyです。

主要な対策手法の系譜

分布シフトとcompounding errorへの対策は、2010年代前半のDAggerから、2020年代のDiffusion Policy、2025年のFlow Matching・Posterior BCまで、段階的に発展してきました。

• DAgger（2011）
  学習方策を走らせて訪れた状態にエキスパートがラベルを付けるループで分布カバレッジを拡大。実装コストは大きいが、理論的に累積誤差をO(εT)に抑えられる
  
  

• Diffusion Policy（2023）
  方策を「条件付きノイズ除去拡散過程」として表現し、マルチモーダルな行動分布を扱える。トヨタ系TRI発の手法で、2026年のロボット基盤モデルの標準アーキテクチャ
  
  

• Flow Matching（2024〜）
  Diffusion Policyの発展形で、Physical Intelligence π0.5が採用。連続制御の精度が高く、推論も高速
  
  

• Posterior Behavioral Cloning（2025）
  ベイジアン視点でBCを事前学習し、その後のRL微調整の効率を上げる（arXiv 2512.16911）

これらは「分布シフトを完全になくす」のではなく、「マルチモーダルな行動分布を明示的に扱う」「BCと強化学習を組み合わせる」ことで、実用に耐える方策を得る方向にシフトしています。詳細は後段の「ロボット基盤モデル時代の模倣学習」で扱います。

---

ロボット基盤モデル時代の模倣学習——VLA・Diffusion Policyの主戦場

2026年の模倣学習の主戦場は、間違いなくVision-Language-Action（VLA）基盤モデルです。

Physical Intelligence π0.5／π0.7、Figure Helix、Google DeepMind Gemini Robotics 1.5、NVIDIA GR00T N1.7、Tesla Optimus——これら主要ロボット基盤モデルはすべて模倣学習をベースに訓練されていますが、方策側のアーキテクチャは各社で分かれます。

PIはFlow Matching、NVIDIA GR00T N1.7はDiffusion Transformer headの生成・拡散系、Figure HelixはVLM＋visuomotor transformerのDual-System設計、Gemini Robotics 1.5はGemini系VLA、というのが2026年時点の実装分布です。

以下の表で、主要ロボット基盤モデルと模倣学習手法の対応を整理しました。

モデル	開発元	訓練の中核手法	特徴
π0.5 / π0.7	Physical Intelligence	Flow Matching + 模倣学習	初見の家庭でOOD 94%成功、π0.7でSteerable
Helix	Figure AI	Dual-System VLA + 模倣学習	System 1が200Hz、System 2が7-9Hzで動作
Gemini Robotics 1.5	Google DeepMind	Gemini 2.0ベースVLA + 模倣学習	エージェント推論と身体行動を統合するVLA本体
Gemini Robotics-ER 1.6	Google DeepMind	embodied reasoning VLM	身体推論に特化した推論モデル（VLA本体はGR 1.5側）
GR00T N1.7	NVIDIA	基盤モデル + 模倣学習	オープン公開・GA版最新（N1.6の後継）
Optimus	Tesla	Vision中心の模倣学習 + シミュレーション（報道ベース）	FSD由来のカメラ中心パイプラインと伝えられる

この表が示すのは、各社が「模倣学習の教師データ」という土台は共有しつつ、方策アーキテクチャは生成・拡散系（PI／GR00T）とDual-System・VLM統合系（Figure／Gemini）に分岐しているという現実です。以降のH3で、代表事例を順に見ていきます。

Physical Intelligence π0.5の到達点

Physical Intelligenceは、Chelsea Finn・Sergey Levine・Karol Hausmanら深層強化学習・模倣学習研究の第一線が2024年に設立したロボットAIスタートアップです。

同社のπ0.5は、訓練データに含まれていない初見の家庭で、食器の片付け・ベッドメイキング等の家事タスクをOOD（分布外）成功率94%で完了することを実証しました（Physical Intelligence公式ブログ）。

π0.5が初見の家庭でOOD 94%を達成したVLA基盤モデル（出典：Physical Intelligence Blog）


技術的なポイントは、Diffusion Policyの発展形であるFlow Matchingを模倣学習で訓練したこと、そして異なるロボット・タスク・センサー由来のデモを混ぜて共学習（co-training）することで汎化性能を引き上げたことです。

新環境への汎化は長くロボット研究の壁とされてきた課題で、模倣学習ベースの手法でここを定量的に突破したインパクトは大きく、2026年のロボット基盤モデル論争の起点になりました。

さらに2026年4月に公開されたπ0.7では、未学習タスクを解くSteerableな挙動（emergent capabilities）が確認され、模倣学習で訓練したVLAが「教師データにない指示」にも応答し始める段階に入りました。詳細な系譜（π0からπ0.7まで5世代）は、Physical Intelligenceの独立記事で整理しています。

【関連記事】
Physical Intelligenceとは？π0からπ0.7まで全モデル系譜と$11B調達を解説

主要ヒューマノイド各社のアプローチ

主要ヒューマノイド企業3社は、それぞれ異なるスタイルで模倣学習を活用しています。

• Figure Helix / Helix 02
  Figure AIが2025年2月に発表したデュアルシステムVLAで、System 1（200Hz低レベル制御）とSystem 2（7-9Hz高レベル計画）を統合。
  
  2026年1月にリリースされたHelix 02は10Mパラメータの神経ネットワークで、従来の109,504行の手書きC++バランス制御コードを置き換えたとされています
  
  

• Tesla Optimus（報道ベース）
  Fully Self-Driving（FSD）由来のカメラ中心パイプラインを採用していると報じられており、当初はモーションキャプチャースーツを着た作業員が動作を実演する手法、2025年後半以降はカメラ動画の直接収集へ軸足を移したと報じられています。
  
  Tesla公式のOptimusページは目的とAI/vision全般の説明にとどまるため、具体的な訓練パイプラインの一次情報は現時点で限定的です
  
  

• Google DeepMind Gemini Robotics 1.5 / Gemini Robotics-ER 1.6
  Gemini 2.0ベースのVLA本体がGemini Robotics 1.5、身体推論に特化した推論VLMとしてGemini Robotics-ER 1.6が別モデルで並走する構成。
  
  Google DeepMindとBoston Dynamicsは2026年1月のCES 2026で、Atlasへの研究統合を目指す提携を発表しました

3社のうち、模倣学習と強化学習・シミュレーションを組み合わせるハイブリッド訓練パイプラインが公式に明示されているのはFigure Helix 02です。

Teslaは前述のとおり報道ベースでvision中心の模倣学習＋シミュレーション訓練とされ、Google DeepMindとBoston Dynamicsは基盤モデル統合の研究提携段階で、共通の訓練パイプラインまでは公式ソースで統一されていません。

Gemini Robotics 1.5とER 1.5による実機ロボットタスクの実演（出典：Google DeepMind Gemini Robotics 1.5 Tech Report）

各モデルの詳細アーキテクチャや比較は、VLAモデルの独立記事に譲ります。

【関連記事】
VLAモデルとは？仕組み・主要モデル・2026年の産業実装を徹底解説

主要3アーキテクチャの位置づけ

2026年のロボット基盤モデルを支える3つの主要アーキテクチャは、いずれも模倣学習の欠点（マルチモーダル問題・時系列予測の困難さ）を解決するために設計されています。

• Diffusion Policy
  2023年のトヨタ系TRI発。方策を「条件付きノイズ除去拡散過程」として定式化し、行動分布を拡散モデルで表現。マルチモーダルな行動分布を安定的に学習できる点が最大の強み
  
  

• Flow Matching
  Diffusion Policyを連続時間の常微分方程式として捉え直した手法。π0.5が採用。生成時に確率的サンプリングをせず決定的な流れで行動を出力するため、リアルタイム制御に向く
  
  

• Action Chunking Transformer（ACT）
  Stanford ALOHAプロジェクト発。単一時刻の行動ではなく数十ステップ分の行動チャンクを一括予測することで、時系列の一貫性とcompounding errorの緩和を両立

この3手法は、いずれも「BCの拡張」として理解できます。BCの弱点だったマルチモーダル分布・時系列予測・リアルタイム性を、モダンな深層生成モデルの手法で乗り越えるアプローチが、2026年のロボット基盤モデル論争の技術的核心になっています。

---

模倣学習のデータ収集手段——テレオペレーションから人間動画まで

模倣学習の性能はエキスパートデータの品質と量に強く依存するため、どうやって教師データを集めるかが実装上の最大の論点になります。

2026年の主流は、テレオペレーション（遠隔操作）による直接収集、人間動画からの間接的な学習、シミュレーション基盤の活用の3系統です。順に整理します。

テレオペレーションによる収集

テレオペレーションは、人間がロボットを直接操作してデモを記録する最も確実な方法です。

StanfordのALOHA / Mobile ALOHAプロジェクトは、$32Kのハードウェアで双腕モバイル操作の教師データを収集できるオープンソース基盤として、2024年以降の模倣学習実装の事実上の標準になりました。

Mobile ALOHAの論文では、各タスクわずか50件のデモから最大90%の成功率で複雑な家事タスク（エビの調理、両開き戸棚への鍋収納）を学習できることが示されています（arXiv 2401.02117）。
既存のALOHA静的データと共学習させることで、モバイル操作タスクの成功率が大幅に上がる点も報告されています。

Mobile ALOHAによる双腕モバイル操作の教師データ収集シーン（出典：Mobile ALOHA Project）

さらに低価格な選択肢として、SO-ARMのようなリーダーアーム・フォロワーアーム型の教師データ収集システムも普及しつつあります。

個人開発者や研究室が数万円レベルで模倣学習を試せる時代になりました。

人間動画からの模倣学習

Tesla Optimusの模倣学習パイプラインは、テレオペとは別のアプローチを取ると報じられています。

当初は作業員がモーションキャプチャースーツとVRヘッドセットを装着してタスクを実演し、その一人称視点のカメラ映像から模倣学習で方策を訓練する形式が中心で、2025年後半以降はカメラ動画の直接収集へ軸足を移しつつあると報じられています。
Tesla公式のOptimusページは目的とAI/vision全般の説明にとどまるため、具体的な訓練パイプラインの一次情報は現時点で限定的です。

さらに三人称視点のインターネット動画へも学習を拡張しつつあると報じられています。
もし三人称動画からの学習が実用レベルに達すれば、YouTubeなど膨大な人間行動データが訓練データになり、教師データ収集コストが桁違いに下がります。

Chelsea Finn・Sergey LevineのMulti-Scale Embodied Memory（MEM）、Show, Don't Tell: Detecting Novel Objects by Watching Human Videosといった2026年発表の研究も、人間動画からの模倣学習を強化する方向に進んでいます。

シミュレーション基盤の活用

実機での教師データ収集はコストが高いため、NVIDIA Isaac SimやNVIDIA Cosmosのようなシミュレーション基盤で合成データを大量に生成し、模倣学習の教師データを補うアプローチも定着しつつあります。

シミュレーション由来データはScale-outが容易ですが、実機との差（sim-to-real gap）が精度の律速になります。

多くの実装では「シミュレーションで大量に模倣学習 → 実機データで少量のファインチューニング」というハイブリッドが採用されています。

自動運転領域では、NVIDIA DRIVEやNVIDIA Alpamayoのような基盤上で、人間ドライバーの運転ログを模倣学習の教師データにして基盤モデルを訓練する構図が主流です。

NVIDIA Isaac Sim上での大規模ヒューマノイドロボット学習シミュレーション（出典：NVIDIA Isaac Sim）

---

LLMポストトレーニングにおける模倣学習——SFTからDPO・GRPOへ

模倣学習は、ロボティクスだけでなくLLMのポストトレーニング全体を支える基礎手法です。

ChatGPT・Claude・Geminiといった主要LLMの訓練パイプラインの最初のステップ「Supervised Fine-Tuning（SFT）」は、実質的に行動クローニング（BC）そのものだからです。

このセクションでは、LLM文脈で模倣学習がどう位置づけられ、どんな系譜で発展しているかを整理します。

SFT ≒ BC——数学的な等価性

SFTは、事前学習済みのベースLLMに対して、「プロンプト（状態）→期待応答（行動）」のペアを教師データとして与え、モデルの出力トークン列がエキスパート応答と一致するよう最尤推定で学習する手法です。

これはBCの構造そのものです。「状態→行動」のペアを教師あり学習で写像するだけで、環境との相互作用も報酬信号もありません。arXiv 2310.06147の解析では、SFTは「エキスパート方策と学習方策のフォワードKLダイバージェンスを最小化するオフライン模倣学習」として明示的に位置づけられています。

つまり、指示追従型LLMの土台は「人間のエキスパート応答を模倣したモデル」であり、そこにRLHFやDPO・GRPOで人間の選好や検証可能報酬の信号を上乗せしていく——というのが2026年のLLMポストトレーニングの構図です。

LLMポストトレーニングでの位置

LLMポストトレーニングの標準パイプラインは、大まかに以下の順で進みます。

1. SFT（模倣学習）
   指示応答ペアで初期方策を作る。ここが模倣学習の担当領域
   
   

2. RLHF
   報酬モデル（人間選好の学習器）を訓練し、PPO等の強化学習で方策を微調整
   
   

3. DPO（Direct Preference Optimization）
   明示的な報酬モデルを介さず、選好ペアから直接方策を最適化。RLHFの計算コストと不安定性を回避
   
   

4. GRPO・RLVR
   Group Relative Policy OptimizationやReinforcement Learning with Verifiable Rewardsなど、検証可能な報酬（数学解答の正誤等）で方策を強化。DeepSeek R1などの推論モデルで採用が論文公開されている

この流れの中で、模倣学習が担うのは「動作可能な初期方策を安全かつ安価に作る」フェーズです。
SFTがなければRLHFもDPOも収束せず、そもそも「まず動くLLM」を作るためには模倣学習が不可欠です。

強化学習単独では膨大な試行錯誤が必要で、LLMの推論コストを考えると現実的ではありません。

SFTで方策を「粗く」教えた上で強化学習で「精密に」磨き上げる、というハイブリッドが2026年のLLMポストトレーニングの実務セオリーになっています。

Agentic RLでの再活用

2026年に入り、LLMを「単なるチャット応答モデル」ではなく「ツール利用・環境操作を伴うエージェント」として訓練するAgentic RLが主流化しつつあります。

Agentic RLの文脈でも、エージェントの初期方策はSFT（模倣学習）で作るのが標準です。
人間のツール利用軌跡や成功事例を教師データにして初期方策を作り、そこから環境フィードバックで強化学習——という流れは、ロボット基盤モデルとほぼ同じ設計になっています。

つまり、ロボットのVLAとLLMエージェントは、模倣学習を出発点とする点で構造的に同じ問題を解いていることになります。「事前学習済みモデルにタスク実行能力を注入する」用途で、模倣学習は2026年時点で最も汎用的なアプローチとして再評価されているわけです。

---

模倣学習の実装コストと業務適用の判断軸

模倣学習を業務や研究に取り入れるかどうかは、「熟練者の行動データが取れるか」「報酬設計が難しいか」の2条件で判断するのが実務的なセオリーです。

このセクションでは、実装コストとOSSライブラリ、業務適用の判断軸をまとめます。

主要なOSSライブラリ

模倣学習の実装は、2026年時点で成熟したOSSライブラリが揃っており、ゼロから書く必要はほぼありません。

• imitation
  Stable Baselines3と統合されたOSSライブラリで、BC・GAIL・AIRL・DAgger・DAgger with reward等の代表手法をカバー。研究プロトタイプでよく使われる
  
  

• Stable Baselines3
  PyTorchベースの強化学習ライブラリ。imitationと組み合わせて模倣学習も実装可能。ドキュメントと事例が豊富
  
  

• LeRobot（Hugging Face）
  Hugging Faceがホストする実機ロボット向けOSS。ALOHA・SO-ARM等のハードウェアと連携し、実機での模倣学習ワークフローを提供
  
  

• openpi（Physical Intelligence）
  π0のオープンソース実装。Flow Matchingを含む商用グレードのVLA実装を試せる

選定基準はシンプルで、シミュレーションで手軽に試すならStable Baselines3 + imitation、実機ロボットならLeRobot、VLA基盤モデルの試験ならopenpi、という使い分けが標準です。

ハードウェアの価格帯

模倣学習のハードウェア構成は、用途に応じて幅広い価格帯があります。

• Mobile ALOHA: 双腕モバイル操作システムで約$32K。研究用途では最もコスパが良い選択肢
• SO-ARM: リーダーアーム・フォロワーアーム型で数万円レベル。個人開発・PoC向け
• Franka Emika: 産業用途向けの多関節ロボットアームで数百万円レベル
• Figure・Tesla・Boston Dynamicsのヒューマノイド: 量産化前のため一般販売なし、または数千万円レベル
  
  

PoC段階なら$100〜数万円のSO-ARMやシミュレーションで十分検証でき、量産検討段階になって初めて産業用ロボット選定に移行するのが現実的です。

業務適用の判断軸

模倣学習を業務に導入するかどうかは、以下の判断軸で整理できます。

状況	第一候補	理由
熟練者の行動データがある。エキスパートの真似から始めたい	模倣学習（BC）	データがあれば最も早く動くベースラインが得られる
報酬が定量化でき、安全なシミュレータがある	強化学習	試行錯誤で最適解を探索できる
過去の意思決定ログを大量に活用したい	逆強化学習 or Offline RL	報酬関数の推定 or オフライン学習
選択肢が有限で、報酬が即時に得られる	多腕バンディット	逐次的最適化がシンプルで軽量
大規模事前学習モデルにタスクスキルを注入したい	模倣学習（SFT）	LLM・VLAの初期方策を作る最短ルート

特に**「熟練者データが取れる」×「報酬設計が難しい」**の交差点にある業務——たとえば「熟練整備士の点検手順を模倣したい」「熟練オペレーターの機器操作を学習したい」といったケースは、模倣学習が第一候補になります。

一方で、熟練者のデータが取れない・行動が定型化しにくい・報酬が明示的に定義できる業務は、強化学習や教師あり学習を先に検討したほうが筋がいい場面が多いです。

支援現場では、「まずBCで動く初期方策を作り、実運用ログを追加でDAgger的に集めて改善、最終的に強化学習で微調整」というハイブリッドを推奨するケースが増えています。

純粋な模倣学習単独では分布シフトが避けきれないため、運用ループを含めた設計が実務的な勝ち筋になっています。

---

業務プロセスを模倣学習の教師データ源に変える基盤を作るなら

模倣学習は"熟練者の行動データが取れる×報酬設計が難しい"の交差点で第一候補になる技術で、ロボット基盤モデル・LLM SFTの中核として2026年に格上げされました。

一方で多くの企業にとって、模倣学習を業務に組み込む前段として必要になるのは、"業務手順そのものを教師データ化できる形"に構造化することです。属人化した業務プロセスを可視化し、Teams上のエージェントで実行・ログ収集する基盤があれば、そのログはそのまま将来の模倣学習・DAgger的な運用ループ・強化学習の教師データとして活きます。

このレイヤーを担うのが、自社Azureテナント内で動くエンタープライズAIエージェント基盤です。

AI総合研究所のAI Agent Hubは、AI-OCR Agent・自動入力Agent・フロー判定Agentなど9種類の業務特化Agentを、SAP Concur・freee会計・Dynamics 365・Salesforce・勘定奉行クラウドといった基幹システムと繋げ、Microsoft Teamsから呼び出せる形でパッケージ化しています。Human-in-the-Loopの承認・実行ログ・権限管理までを1つのプラットフォームで提供するため、模倣学習の主戦場が広がる2026年後半以降に向けた教師データ源として、そのまま活用できます。

AI総合研究所の専任チームが、業務Agent実行基盤の立ち上げと、その先の模倣学習・エージェント運用設計まで伴走支援します。AI Agent HubのLPで、模倣学習・強化学習の教師データ源になる業務Agent実行基盤の全体像をご確認ください。

---

まとめ

本記事では、模倣学習（Imitation Learning）について、定義・3つの主要手法・強化学習やSFTとの違い・分布シフト等の課題、ロボット基盤モデル時代の位置づけ、LLMポストトレーニングでの役割、実装コストと業務適用の判断軸まで、2026年7月時点の最新情報で解説しました。要点を改めて整理します。

• 模倣学習はエキスパート行動から方策を学ぶ機械学習手法で、Behavior Cloning・逆強化学習・GAILの3系統に大別される。BCは実装容易だが分布シフトに弱く、実務ではDAgger等の対策と組み合わせるのがセオリー
  
  

• 強化学習・教師あり学習・SFTとの主な違いは学習信号と時系列性で、報酬が定義しにくく熟練者データが取れるタスクで模倣学習が第一候補になる
  
  

• 模倣学習の課題は分布シフトとcompounding errorで、対策としてDAgger・Diffusion Policy・Flow Matching・Posterior BCが2023〜2026年に順次主流化してきた
  
  

• 2026年の模倣学習の主戦場はVLA基盤モデルで、Physical Intelligence π0.5／π0.7・Figure Helix・NVIDIA GR00T N1.7・Gemini Robotics 1.5（VLA本体）が模倣学習ベースで訓練されている。Gemini Robotics-ER 1.6は身体推論VLMとして併用され、Tesla Optimusは報道ベースで vision中心の模倣学習が採用されているとされる
  
  

• **教師データ収集はテレオペレーション（Mobile ALOHA $32K）・人間動画（Tesla Optimus型）・シミュレーション基盤（NVIDIA Isaac Sim）**の3系統が主流。低価格SO-ARMで個人・研究室でも実装可能
  
  

• LLMのSFTは行動クローニング（BC）と数学的に等価で、SFT→RLHF→DPO→GRPOのパイプラインで模倣学習は「動く初期方策を作る」フェーズを担う。Agentic RLでも同じ構造
  
  

• 業務適用は「熟練者データが取れる」「報酬設計が難しい」の2条件が交差する場面で第一候補。BC単独ではなくDAgger的な運用ループや強化学習との組み合わせが実務的な勝ち筋

模倣学習は、10年前は強化学習の補助手法という位置づけでしたが、2026年時点ではロボット基盤モデルとLLMエージェントを支える中核手法へと格上げされました。エキスパートデータをどこから・どう集めるかが競争力の源泉になる時代です。自社の業務プロセスをエージェントで実行・ログ収集できる形に整備しておくことが、模倣学習の主戦場が広がる2026年後半以降を見据えた最も現実的な備えになります。