Agentic RLとは？RLHFとの違いや6つのコア能力、主要フレームワークを徹底解説

Agentic RL（Agentic Reinforcement Learning）は、大規模言語モデル（LLM）を「受動的な文字列生成器」から「環境と対話しながら意思決定する自律エージェント」へと訓練する強化学習の枠組みです。

DeepSeek-R1（2025年1月）やKimi K2（2025年7月）などの先行事例を土台に、2025年9月に発表されたサーベイ論文がこの領域を体系化。以降Verl（ByteDance）・Agent-R1・AgentRL といった学習フレームワークが急速に整備され、GLM-4.6・AutoGLM などの新モデル開発でも共通言語として参照されるようになりました。

本記事では、Agentic RLの定義とRLHFとの構造差、推論・ツール使用・メモリ・プランニング・自己改善・知覚の6コア能力、GRPOやStepPOなどのアルゴリズム、主要学習フレームワークの比較、実案件と成果指標、そして日本企業が「自社で訓練するか／既存モデルを使うか」を判断するための実務観点までを、2026年7月時点の情報で整理します。

Agentic RLとは？LLMを自律エージェントへ変える強化学習

Agentic RL（Agentic Reinforcement Learning）とは、大規模言語モデル（LLM）を「受動的な文字列生成器」から「環境と対話しながら意思決定する自律エージェント」へと訓練する強化学習の枠組みです。

情報科学的には「単一ターンで報酬を最大化するマルコフ決定過程ではなく、複数ステップにわたって環境状態が変化する部分観測マルコフ決定過程（POMDP）」を対象にRLを行う点に特徴があります。

2026年現在、Agentic RLは学術的な提案にとどまらず、フロンティアLLMを『使えるエージェント』に鍛え上げるための実装スタックとして定着しつつあります。

DeepSeek-R1やKimi K2などの先行事例を経て、『The Landscape of Agentic Reinforcement Learning for LLMs』が500以上の関連研究とともにこの領域を体系化し、以降さまざまなフレームワーク・モデル開発の共通言語になっています。

---

Agentic RLと従来のRLHFの違い

Agentic RLは、名前の似たRLHF（Reinforcement Learning from Human Feedback）と混同されがちですが、MDPの設計・状態空間・報酬設計・訓練パイプラインのすべてが異なる別レイヤーの技術です。

下図の中心にあるのが「Agentic RLエージェント」で、そこから外側に向かって Static/Dynamic/RLHF/Agentic RL Implementations と拡張していく構造です。

この扇形の広がりが、そのままAgentic RLが従来RLHFに対して踏み込んだ範囲になります。

サーベイ論文が整理したLLM RL（RLHF・RLVR）からAgentic RLへの拡張。内側の伝統的RL（inner）から外側のAgentic RL（outer）へ、ツール使用・Web閲覧・動的環境へと利用範囲が段階的に広がっていく（出典：The Landscape of Agentic Reinforcement Learning for LLMs）

MDPの構造差（単ステップとPOMDP）

最も根本的な違いは、対象とするマルコフ決定過程の構造です。

RLHFは「プロンプト→応答→選好報酬」の1往復で完結する、退化した単ステップMDPとしてモデル化されます。応答が出た瞬間にエピソードが終わり、環境からのフィードバックはありません。

Agentic RLはこれと対照的に、**時間的に拡張された部分観測マルコフ決定過程（POMDP）**を対象にします。エージェントは環境をセンスし、行動を選び、観測を受け取り、状態を更新する、というサイクルを数十〜数百ステップ繰り返します。

以下の表で、両者のMDP構造の違いを整理しました。

観点	RLHF	Agentic RL
MDP種別	単ステップMDP（退化型）	時間的に拡張されたPOMDP
1エピソード	プロンプト→応答の1往復	センス→行動→観測→適応の数十〜数百ステップ
環境の存在	暗黙（報酬モデルのみ）	明示的・状態を持つ外部システム
遷移の性質	トークン化により決定的	ツール実行結果により非決定的

この違いから分かるのは、**RLHFで最適化されるのは「言葉の選び方」だけだが、Agentic RLで最適化されるのは「言葉＋道具＋外部反応への適応力」**という点です。

AnthropicのClaude Codeがターミナルでコマンドを実行しながらリファクタリングを進められるのは、モデル側のツール利用能力とCLI側の実行環境・権限設計が組み合わさっているためで、Agentic RL的な訓練思想が実務にどう届くかを示す一例です。

状態空間の違い

RLHFにおける「状態」は、モデルが見ているトークンコンテキストそのものです。プロンプトと生成中トークンの列がすべてで、外部世界は状態に含まれません。

Agentic RLの状態はこれを大きく拡張します。**LLMが見ている文脈（プロンプト・生成トークン・ツール呼び出し・観測結果）に加え、外部環境自体の状態を含めた「結合状態」**として扱われます。

たとえばWebブラウジングエージェントなら、モデルが読んだHTMLだけでなく、ブラウザのタブ状態・Cookieの中身・DOM構造も状態の一部です。この結合状態を前提にしないと、「同じプロンプトでも環境状態次第で最適な行動が変わる」という現実を捉えられません。

報酬設計の違い

報酬信号の設計思想も、両者で大きく異なります。

RLHFは、人間の選好ラベルで訓練した報酬モデルの出力を報酬とします。柔らかく主観的な評価に強い反面、報酬モデル自体のバイアス・過学習リスクが常につきまといます。

Agentic RLでは、**RLVR（Reinforcement Learning with Verifiable Rewards）**と呼ばれる設計が定石化しています。数学問題の正解一致・コードの単体テスト通過・タスク完了判定など、機械的に検証可能な信号を報酬に使うアプローチです。

加えて、長ホライゾンタスクでは以下の2種類の報酬を組み合わせて使うのが実務的です。

• 結果報酬（Outcome Reward）
  タスク成否・最終回答の正誤に基づく±1のスパースな信号。設計はシンプルだが、長い軌跡ではクレジット割り当てが難しくなる
  
  

• プロセス報酬（Process Reward）
  中間ステップの妥当性を評価する信号。ステップごとの部分点でクレジット割り当てを改善するが、報酬モデルの設計コストが上がる

DeepSeekがR1論文で示したのは、単純な結果報酬とRLVRの組み合わせだけでも、chain-of-thought や self-verification のような推論行動が自発的に発現するという点です。これがAgentic RLの実装スタックが2025年後半に急速に整備された背景の一つになっています。

訓練パイプラインの複雑度

RLHFの訓練パイプラインは比較的シンプルで、報酬モデル訓練とPPOによるポリシー更新をつなげれば動きます。

Agentic RLの場合、rollout（軌跡サンプリング）・環境実行・報酬計算・ポリシー更新を分散して回す必要があり、パイプラインが一段複雑になります。

• 環境ごとにコンテナを立ち上げてrollout環境を隔離
• rolloutサーバー（vLLM・SGLang等）と訓練サーバー（FSDP・DeepSpeed等）を非同期に接続
• クロスポリシーサンプリングや軌跡バッチングでGPU利用率を維持

これらの実装難所を吸収するのが、後段で紹介するVerl・Agent-R1・AgentRLといったフレームワークの役割です。「アルゴリズムを選ぶ」よりも先に「まともに動く分散基盤を組む」ことが、Agentic RL採用時の最初のハードルになります。

---

Agentic RLが強化するLLMエージェントの6つのコア能力

前述のarXivサーベイは、Agentic RLで鍛えられるエージェント能力を6つに分類しました。この分類は2026年現在、業界の共通言語として定着しつつあります。

サーベイ論文が示す Agentic RL 研究の全体構造。エージェント能力（推論／プランニング／ツール使用／メモリ／自己改善／知覚）とタスク（検索・コード・数学・GUI・ビジョン・エンボディド）が、環境・フレームワーク・チャレンジと連動している（出典：The Landscape of Agentic Reinforcement Learning for LLMs）

この分類マップの左側「RL for Agentic Capability」6項目が本セクションで扱うコア能力、右側「RL for Agentic Tasks」8項目が後続のセクションで扱う応用領域と対応します。

推論（Reasoning）

Agentic RLの最も分かりやすい成果は、推論能力の向上です。

DeepSeek-R1・OpenAI o1・o3 などの推論特化モデルは、単純な結果報酬（正解／不正解）だけで訓練しても、chain-of-thought・backtracking・self-verificationといった行動が自発的に発現することを示しました。

RLHFで人手ラベルを大量に用意する代わりに、数学ベンチマークの正解判定やコードの単体テスト通過を報酬として使えば、モデルは「解けなかった時にやり方を変える」「答えを出す前に検算する」ような手続きを自ら獲得します。

ツール使用（Tool Use）

エージェントが最も頻繁に使う能力が、外部ツールの呼び出しです。

Agentic RLは、モデルに「いつ・どのツールを・どう呼ぶか」を選ばせるスキルを訓練します。単発のツール呼び出しから、Web検索→ページ読み込み→抜粋→次の検索、といった連鎖的な使い方まで幅があります。

• ReAct形式のツール利用
  ReAct論文が提案した「Thought→Action→Observation」の交互出力パターンで、思考と行動を明示的に切り分けて訓練する
  
  

• ツール統合型RL
  ARTISTのように、ツール呼び出しをアクション空間に組み込みRLで直接最適化するアプローチ
  
  

• 長期・マルチステップのツール使用
  Deep Research系のように、複数ステップにわたる調査軌跡を1エピソードとして扱う長ホライゾンRL

Moonshotのkimi-k2 テクニカルレポートは、Kimi K2が非思考設定で多くのオープン／クローズドベースラインを上回るツール使用性能を示したと報告しており、Tau2-BenchやACEBenchなどのエージェントベンチマークでも高いスコアが確認されています。これはAgentic RLがツール使用スキルの底上げに直接効いている実証例のひとつです。

メモリ（Memory）

長時間のタスクでは、コンテキスト窓を超えた情報の保持・検索・忘却がエージェントの性能を左右します。

Agentic RLで扱われるメモリは大きく2種類に分かれます。

メモリ種別	内容	代表実装
RAG型メモリ	ベクトルDBに履歴を蓄積し、必要な時に検索して呼び戻す	Deep Research系エージェント
Token-levelメモリ	直接コンテキスト内に要約・圧縮して持つ	Sliding-window＋要約

Agentic RLは、これらのメモリ操作（何を書き込むか、いつ検索するか、どう要約するか）自体を報酬信号で最適化する枠組みを提供します。単純にRAGを繋げるだけでなく、「メモリの使い方」を学習するのがAgentic RL的なアプローチです。

プランニング（Planning）

複数ステップのタスクを完遂するには、途中の分岐や失敗を想定した計画が要ります。

Agentic RL の実装では、タスクの入り口で全体計画を書き出し、実行結果に応じてリプランする挙動をモデルに身につけさせる報酬設計が一般的です。AnthropicのClaude CodeがPlan Modeで実装アプローチを提示してからコーディングに入るのは、この計画的な振る舞いを運用UI側で明示的に扱った例です。

長ホライゾンRLでは、プランニング能力を鍛えるために「途中で計画を出させる→計画通り実行できたかを別途評価する」といった多段報酬設計が使われます。

自己改善（Self-Improvement）

エージェントが自分の出力を検証し、間違いに気づいたら修正する能力です。

DeepSeek-R1論文が示したのは、単純なRLループを回すだけでも「解答を出した後にself-verificationを挟む」「間違いに気づいたらbacktrackする」といった行動が自然に現れる、という点でした。これはHuman Feedbackを介さない自己教師的な学習の可能性を示しています。

実務的には、Agentic RLで訓練したモデルを別のジャッジモデルで評価し、その結果を再度RLに戻すことで自己改善ループを構築する事例が増えています。

知覚（Perception）

マルチモーダル情報（画像・音声・動画・GUI画面）を取り込み、行動選択に反映する能力です。

Agentic RLは、テキスト以外の観測を含む環境でも同じ枠組みで訓練できます。特に近年注目されているのは、GUI操作エージェント向けの視覚知覚訓練で、MobileGUI-RLやDART-GUIといったフレームワークがスマートフォン画面・デスクトップUIをスクリーンショットで観測しながらRL訓練する仕組みを整えています。

これら6つの能力は独立に鍛える対象というより、Agentic RL研究の主要な分類軸であり、実運用では複数能力が同一タスクの中で絡み合います。

ただし推論とツール使用のように、同時訓練が干渉する可能性を指摘する研究も出ているため、目的タスクに応じて重心を置く能力を絞る設計が実務的です。

---

Agentic RLの主要アルゴリズム

Agentic RLで使われるアルゴリズムは、大きく分けて「ベースとなるRL最適化手法」と「エージェント特有の派生」の2層で構成されます。

本セクションでは、2026年時点で採用実績のあるGRPO・PPO・DAPO・StepPO・RLVRの5つを整理し、選定判断軸を示します。

GRPOが主流化した理由

GRPO（Group Relative Policy Optimization）は、DeepSeekがDeepSeekMath論文で提案した手法で、PPOで必要だった価値関数（Critic）を廃し、複数サンプルのグループ内相対報酬でアドバンテージを計算するのが特徴です。

Criticを持たない分メモリ効率がよく、報酬モデルがなくても検証可能報酬と組み合わせやすいため、2025年以降のオープンモデル群（DeepSeek-R1・Qwen3系・GLM系など）で事実上の標準アルゴリズムとして定着しました。

• Critic不要でメモリ効率が良い
• 検証可能報酬（RLVR）と相性が良い
• 短ホライゾンから中ホライゾンのタスクで安定して学習が進む
  
  

PPOが長ホライゾンで再評価される理由

PPO（Proximal Policy Optimization）は、OpenAIが2017年に提案した古参のアルゴリズムです。GRPO登場以降は主役の座を譲っていましたが、長ホライゾンのマルチターンタスクでは再評価が進んでいます。

Cameron Wolfe氏の解説によれば、GRPOがグループ内報酬のばらつきに敏感なのに対し、PPOのCriticはステップごとのアドバンテージを個別に見積もれるため、数十ステップに及ぶ軌跡でのクレジット割り当てに有利、と指摘されています。

Zhipu AIのGLM-4.6は、公式技術ブログでコード・エージェント能力の改善を公表しています。

実運用モデルの背景でPPOがどう再評価されているかは、上記のCameron Wolfe氏の解説などが整理しており、長ホライゾン領域での存在感が続いています。

DAPOが解く長系列の不安定さ

DAPO（Decoupled Clip and Dynamic Sampling Policy Optimization）は、ByteDance・清華大学らが2025年3月に提案した派生アルゴリズムで、長系列生成での不安定さと動的サンプリング効率を改善しています。

ELYZAがマルチドキュメント法律QAでの検証記事で採用しており、日本語エージェントタスクでも実績が積み上がっています。

「GRPOだと系列長が伸びると学習が破綻する」というケースの回避策として広く使われています。

StepPOのステップ単位クレジット割り当て

StepPO（Step-Aligned Policy Optimization）は、別途arXivで提案された派生アルゴリズムで、Agent-R1プロジェクトのREADMEで2026年5月29日にVerl互換の実装として統合が告知されました。

軌跡をトークン列ではなく「ステップ列」として扱い、各ステップ（＝1回のツール呼び出しやユーザー応答）を1つの遷移単位として最適化します。

マルチターンエージェントで「どのステップが結果に効いたか」を明示的に扱えるのが強みです。

Agent-R1側の実装がVerl互換で提供されているため、既存のGRPO/PPOパイプラインから比較的少ない改修で乗り換えられる設計になっています。

RLVRは報酬設計の思想

RLVR（Reinforcement Learning with Verifiable Rewards）は、厳密にはアルゴリズムではなく報酬設計の思想です。

数学問題の正誤・コードの単体テスト通過・SQL実行結果・タスク完了判定など、機械的に検証可能な信号を報酬として使う考え方で、GRPOやPPOと組み合わせて用いられます。

DeepSeek-R1がRLHFの選好モデルを一切使わずに推論能力を鍛え上げられたのはRLVRの成果で、以降のAgentic RL実装のほぼすべてがRLVRを前提に設計されています。

アルゴリズム選定の判断軸

以下の表は、実務で選定に迷ったときの目安をまとめたものです。単一の答えはなく、タスクの性質と手元のフレームワークで決まります。

ケース	第一候補	理由
短〜中ホライゾン（1〜10ステップ）で高速に試したい	GRPO＋RLVR	Critic不要でメモリ効率良、Verl標準対応
長ホライゾン（20ステップ超）で安定学習したい	PPO＋RLVR	ステップ単位のクレジット割り当てが有利
長系列生成でGRPOが崩れる	DAPO	動的サンプリングと分離クリップで安定
マルチターンで「ステップ」を明示的に扱いたい	StepPO	Agent-R1でVerl互換提供
数値・コード等の検証可能タスク中心	GRPO or PPO ＋ RLVR	報酬モデル不要、コスト最小

この表から言えるのは、**「まずGRPO＋RLVRで動くものを作り、破綻したらPPO・DAPO・StepPOに置き換える」**のが実務的な進め方だ、という点です。

AI総合研究所の支援現場でも、いきなり複雑なアルゴリズムから入って詰まるより、GRPOで最短距離で学習を回し始める企業のほうが良い結果を出しています。

---

Agentic RLの学習フレームワーク

Agentic RLの実装は「rollout環境の分散化」「非同期パイプライン」「トークン化整合」「MoEモデル対応」など、単一チームでフルスクラッチするには重い課題を多数含みます。

このため2025年後半以降、これらの共通課題を吸収するオープンソースフレームワークが急速に整備されました。本セクションでは、2026年7月時点で採用実績のある主要5フレームワークを比較します。

Verl（ByteDance）

Verl（正式名 verl / HybridFlow）は、ByteDance Seedチームが公開した分散RL post-trainingフレームワークで、2026年時点でオープンソースRLHF・GRPO・Agentic RLの事実上のデファクト基盤になっています。

• FSDP・Megatron・DeepSpeedのバックエンドを切り替え可能
• vLLM・SGLangをrolloutサーバーとして非同期接続
• GRPO・PPO・DAPO・DPO等を統一APIで提供
• 周辺にはDART-GUIなどGUI向けAgentic RLフレームワークも登場し、Verlの上で組み合わせられている
  
  

Agent-R1・verl-agent・VerlToolなど、多くのAgentic RLフレームワークがVerlを直接依存として上に構築されています。

「まずVerlで基盤を組み、目的別のフレームワークで拡張する」というレイヤ構造が業界標準になりつつあります。

Verl の中核となる HybridFlow アーキテクチャ。User Input（RLHF dataflow graph・Model Config・Device Config）から Physical Devices までの4層を、ParallelWorker と Auto Mapping で仲介する構成（出典：HybridFlow: A Flexible and Efficient RLHF Framework）

図の中段にあるParallelWorker（Transfer Protocol・3D-HybridEngine・LLM Training/Generation Engine）が、Rollout（推論）と Training（学習）を非同期に接続する要になっています。

Agent-R1のステップネイティブ設計

Agent-R1は、2026年5月30日改訂の技術レポートで「ステップネイティブなAgentic RLフレームワーク」を明確に打ち出しています。

軌跡を「トークン列」ではなく「ステップ列」として扱い、状態・行動・観測・報酬をステップ単位で保持することで、以下の問題を回避します。

• rolloutと訓練でトークン化がズレて起きる勾配崩壊（retokenization drift）
• 長トークン列で発生する固定コンテキスト窓超えの切り捨て
• マルチターン軌跡でクレジット割り当てが曖昧になる問題
  
  

前述のStepPOはこのステップ表現とセットで設計されており、Verl互換のインターフェースを持っています。研究用途で「マルチターン軌跡を丁寧に扱いたい」場合の第一候補です。

Agent-R1 が扱う Rollout の Single Turn（従来のLLM RL）と Multi Turn（Agentic RL）の対比。Multi Turn では ToolEnv・Trajectory・Action Mask・Process Reward がステップごとに絡み合う（出典：Agent-R1 技術レポート）

右側の Multi Turn パイプラインで色分けされている「Modified／Added／Unchanged」が、Single Turn からステップネイティブ設計に踏み込んだ改造範囲を示しています。

ToolEnv と Trajectory がループの外側に増設されているのが、マルチターン対応の中核です。

AgentRL（清華大学）

AgentRLは、清華大学らが2025年10月に発表したフレームワークで、以下の設計特徴を持ちます。

• 完全非同期な生成・訓練パイプライン
• 統一関数呼び出しAPIで異種環境を統合
• コンテナ化された環境開発システム
• クロスポリシーサンプリングでの探索強化
• タスクレベルのアドバンテージ正規化で安定学習
  
  

同論文では、AgentRLで訓練したオープンLLMが「5つのエージェントタスクにおいてGPT-5・Claude Sonnet-4・DeepSeek-R1を上回った」と報告しており、Zhipu AIのAutoGLMに実際に採用されています。中華圏の大規模Agentic RLで実績を積んでいるフレームワークです。

AgentRL の訓練パイプライン。左側の Training Framework（Async agent loop で Start／History／Action／Observation を接続）と、右側の Env Deployment Framework（Hosts・Task Workers・Worker Containers）を、中央の AgentRL Controller が仲介する（出典：AgentRL: Scaling Agentic Reinforcement Learning）

Training と Env が別プロセスで並走し、Controller が Task 単位で調停する構成が「非同期パイプライン」の実装です。

GPUノード数を横軸にスループットが線形近くまでスケールすることが同論文の Figure 4 で示されています。

slime・AReaL・SkyRL-Agent

Verl以外にも、目的特化型のフレームワークが並列で開発されています。

• slime
  高性能スケーリングと柔軟なgeneration workflowに強い設計。ロールアウトのスループット重視
  
  

• AReaL
  AReaL論文で提案された非同期rollout-training実行に特化したフレームワーク
  
  

• SkyRL-Agent
  SkyRL-Agent論文がマルチターンLLMエージェント向けの効率化を提案。長ホライゾン特化

これらは「Verlで足りない場合の乗り換え先」というより、「特定要件でVerlより良い性能を出せる場合の代替」という位置づけです。

フレームワーク選定の判断軸

実装で使うフレームワークをどう選ぶかは、目的・スキルセット・GPU規模によって変わります。以下は実務での選定目安です。

ケース	第一候補	理由
これからAgentic RLを始める・研究用途	Verl	ドキュメント・コミュニティ・派生プロジェクトが最も充実
マルチターン軌跡を丁寧に扱いたい	Agent-R1	ステップ単位表現＋StepPOがVerl互換で提供
5〜10タスク以上のマルチタスクスケール	AgentRL	非同期パイプライン＋タスク正規化が最適化されている
ロールアウトスループット最大化	slime	高性能スケーリング志向
長ホライゾン特化	SkyRL-Agent	20ステップ超の効率化が主眼

この表からも見えるように、**「Verlを最初の器として選び、要件が尖ってきたら特化型に乗り換える」**のが2026年時点での実務パターンです。

いきなりslimeやSkyRL-Agentから入るとコミュニティ知見が薄く詰まりやすいため、まずはVerlのチュートリアルを通しで走らせて感覚を掴むところから始めるのが安全な進め方になります。

---

Agentic RLの代表的な応用領域

Agentic RL の成果や設計思想が反映されるエージェント領域は、2026年時点で大きく5つに整理できます。

本セクションでは、それぞれの領域で採用されているモデル・フレームワーク・タスク特性を整理します。

検索・調査エージェント

Web検索・論文検索・企業内ドキュメント検索を組み合わせて、複雑な質問に多段で答えるエージェント領域です。

OpenAI Deep ResearchとGoogle Deep Research AgentはAgentic RL訓練の一次情報を公開しており、OpenAIは5〜30分かけて複数ステップの探索を回すと説明しています。

Perplexity Researchは検索エージェント向けのSFT→on-policy RLパイプラインを公開しており、公開設定では最大5ツール呼び出し前後を目安にした短めの軌跡が中心となっています。

コードエージェント

リポジトリ全体を読み、複数ファイルを編集し、テストを実行し、Gitでコミット・PRを出すまでを自律実行するエージェント領域です。

Claude Code・GitHub Copilot Agent・OpenAI Codex・Cursorなどが該当し、SWE-Bench VerifiedやSWE-Bench Proといったベンチマークが主要指標として使われます。
SWE-Bench 公式サイトでは、エージェント能力の高いAnthropic系・OpenAI系のフロンティアモデルが上位を占め、2025年前半までの水準から伸びていることが確認できます。

OpenAIはVerifiedの評価汚染・限界を明示しており、現在のフロンティア評価では SWE-Bench Pro や Terminal-Bench なども併用されます。

GUIエージェント（Web／モバイル／デスクトップ）

ブラウザ・スマートフォン・PCのGUI画面をスクリーンショットで観測し、クリック・タイプ・スクロール等の操作でタスクを遂行するエージェント領域です。

WebArena・OSWorld・AndroidWorldなどのベンチマークが評価に使われ、MobileGUI-RLやDART-GUIといったAgentic RLフレームワークが領域特化で開発されています。

Anthropic Computer Use・OpenAI Operator・Google Antigravity 2.0 といった製品もこの領域に属します。

数学・科学エージェント

数式処理系・計算系ツールを呼び出しながら数学問題を解く領域です。

AgentMathなどの研究が、Wolfram AlphaやPython実行環境と組み合わせたRLエージェントを提案しています。

RLVRとの相性が特に良く、「正解一致」で明確に報酬を与えられるため、Agentic RLのベンチマークとしても頻繁に使われます。

身体性を持つエージェント（Embodied Agent）

ロボット・自動運転・シミュレーション環境で物理世界を操作するエージェント領域です。

Physical Intelligence（π）シリーズや、NVIDIAのIsaac Simで訓練される産業用ロボットが該当します。

テキストのみのエージェントとは学習コストの桁が違うため、フロンティアAIラボと物流・製造業の共同研究として進むケースが中心です。

これら5領域で共通するのは、タスクが「1ターン完結」ではなく「複数ステップにわたる環境との対話」で構成されている点です。RLHFの単ステップMDPでは表現できないこれらの構造こそが、Agentic RLの適用範囲を広げてきた原動力になっています。

---

Agentic RLの実案件と成果指標

学術論文とフレームワーク紹介だけでは、Agentic RLが本当に実務で機能しているのかは見えづらいものです。

本セクションでは、2026年時点で公開されている代表的な実案件と成果指標を、企業・モデル・数値がセットで確認できる形で整理します。

LinkedInのGPT-OSS訓練事例

LinkedInは、OpenAIが公開したオープンウェイトモデル GPT-OSSをVerlで Agentic RL訓練した実装記録を、2026年にHugging Face公式ブログで公開しました。

GPT-OSS-20B の RL 訓練における勾配ノルム3系列比較。緑（attn2 素の設定）は勾配爆発、赤（freeze-attn）は減衰、青（rollout-correction あり）だけが安定的にゼロ近傍を維持する（出典：Hugging Face LinkedIn ブログ）

青系列の rollout-correction を入れた実験だけが勾配ノルムが暴れずに収束しており、MoE モデル特有の training-inference ミスマッチが解決されたことが視覚的に確認できます。

緑・赤の系列ではノルムが100〜200の範囲でスパイクし続けており、そのままでは学習破綻するのが分かります。

• 対象モデル: GPT-OSS-20B（主）・GPT-OSS-120B（検証）
• インフラ: H200 × 16ノード、最大コンテキスト16k
• ベンチマーク: GSM8K（単ターン数学）・VerifyIf（instruction following）・ReTool（マルチターン道具使用）
• 成果: MoEモデル特有のattention sink問題・training-inferenceミスマッチを解決し、GSM8Kで収束速度が大幅改善、ReTool（マルチターン）で AIME 2025 スコアが持続的に向上
  
  

興味深いのは、Verlという既存OSS基盤を使ってもMoE系モデル特有の「エキスパートルーティングのlog-probミスマッチ」「training-inferenceでのポリシー乖離」「FlashAttention v3でのattention sink backward未対応」といった問題が次々に出た点です。

実案件を回すと基盤フレームワークで対応できていない実装上の落とし穴が必ず現れるという事実は、内製訓練を検討する企業がまず認識しておくべき現実になります。

AutoGLMのAgentRL採用事例

Zhipu AI（Z.ai）のAutoGLMは、清華大学のAgentRLフレームワークを採用したエージェントプロダクトです。

AgentRL論文は、AgentRLで訓練したオープンLLMが5つのエージェントタスク（Web操作・コード・数学等）でGPT-5・Claude Sonnet-4・DeepSeek-R1を上回ったと報告しています。

プロプライエタリのフロンティアモデルに対して、オープンLLM＋Agentic RL＋マルチタスク訓練で追いつく余地があることを示した重要な実証例です。

Kimi K2のツール使用性能

MoonshotAIのKimi K2は、Agentic RLをツール使用スキルの底上げに全振りしたモデルとして知られています。

図左上の SWE-bench Verified で 65.8、右下の GPQA-Diamond でも同モデルサイズ帯の中で上位にいることが読み取れます。ツール使用系のベンチだけでなく、コーディング・数学・科学系の総合力でも Agentic RL の効果が現れています。

Kimi K2 の8つのベンチマーク結果。SWE-bench Verified・SWE-bench Multilingual・LiveCodeBench v6・OJBench の「Agentic & Competitive Coding」に加えて、Tau2-bench・AceBench・AIME 2025・GPQA-Diamond の「Tool Use / Math & STEM」で軒並み高スコア（出典：Kimi K2 テクニカルレポート）

• 非思考設定で多くのオープン／クローズドベースラインを上回るツール使用性能を報告
• Tau2-Bench 66.1・ACEBench 76.5・SWE-Bench Verified 65.8 など、エージェント系ベンチで高いスコア
• 主観的・オープンエンドタスクにもRLをスケール
  
  

同モデルの背景設計はKimi K2テクニカルレポートで公開されており、Agentic RLがどう機能したかを検証したい実務者にとって参考になる一次情報です。

DeepSeek-R1が示した推論RLの原点

Agentic RL領域の火付け役となったのが、DeepSeek-R1論文（2025年1月）です。

左端の「Reasoning Prompts → RL → DeepSeek-R1 Zero」が RL 単独で推論能力を鍛え上げる部分で、これが「RLで推論itselfを訓練できる」ことを実証した工程になります。

以降のステージは、その能力を Non-Reasoning データや preference reward で汎用モデルに広げる整流フェーズです。

DeepSeek-R1 のマルチステージ訓練パイプライン。DeepSeek-V3 Base から出発し、Reasoning Prompts＋RL（Rule-based Reward）だけで DeepSeek-R1 Zero が生まれ、そこにCold Start Long CoT の SFT を挟んで Dev1／Dev2／Dev3 と段階的に鍛え上げる（出典：DeepSeek-R1論文）

• GRPO＋RLVRの組み合わせだけで、chain-of-thought・backtracking・self-verificationが自発発現
• 推論能力そのものをRLで訓練できることを実証
• 以降のオープンモデル群（Qwen3・GLM系・Kimi K2・AutoGLM）のRL設計思想に強く影響

DeepSeek-R1は「Agentic RLの祖父」というより「エージェント能力の根幹となる推論をRLで育てられる」という原点を提示したモデルとして、いまも参照される標準例になっています。

SWE-Bench系ベンチマークの伸び

コーディングエージェント領域の代表指標であるSWE-Benchには、Verified（500問の人手検証済みタスク）とPro（より難易度の高い派生ベンチ）の2系統があり、エージェント能力の高いフロンティアモデルが両方で上位を占めます。

SWE-Bench 公式サイトの Verified リーダーボード。Claude Opus・Gemini 3 Flash・MiniMax M2.5・GPT-5.2 Codex・Grok・Kimi K2 など、エージェント能力の高いフロンティアモデルが上位を占める（出典：SWE-Bench 公式）

上位の Claude Opus 系や GPT-5 系 Codex が示す解決率（Resolved 列）が、2025年前半の50%台から2026年には70%台後半まで伸びているのが読み取れます。この短期間の性能ジャンプは、エージェント向け post-training を各社が重視してきた流れと並行しています。ただし Verified は評価汚染の指摘もある参考指標として扱い、SWE-Bench Pro・Terminal-Bench など複数指標を併読するのが実務的です。

具体的な最新スコアは各社の公式リリース（Anthropicのモデル一覧、OpenAIのGPT-5.6発表など）で確認できます。

この領域の水準は、2025年前半までVerifiedで50%台が上位だったものが、2026年には70%台後半まで伸びており、Agentic RLとステップ単位の道具使用訓練を各社が重視してきた流れと並行していることが読み取れます。

実案件事例と数値を横断すると、Agentic RLは「学術トレンド」ではなく、業界最前線のフロンティアモデルの性能を作っている実装技術になっていることが分かります。

---

Agentic RL導入で押さえたい実務判断軸

ここまでを踏まえると、「自社でAgentic RLをやるべきか？」を判断する時が来ます。

本セクションでは、AI総合研究所の支援現場で実際に経営層・技術層と議論している論点を、コスト・組織・技術の3軸で整理します。

学習コストの目安

Agentic RLの内製訓練は、単純な話ではありません。前述のLinkedIn公開事例では、20BパラメータクラスのMoEモデル（GPT-OSS-20B）でH200 × 16ノード規模のGPUを使ったと報告されています。

• GPUの目安: LinkedIn事例ではH200×16ノード。モデル規模やロールアウト並列度でH100/H200の複数ノードは必要になる
• 期間の推定: 目的タスクごとに数か月（環境構築＋rollout整備＋実験反復）。単発PoCでも週単位では収まりにくい
• 人員の推定: RL経験者2〜3名＋分散インフラエンジニア1〜2名程度のチーム編成が現実的
• rollout環境: Kubernetes上でのコンテナ化された環境群と非同期パイプライン
  
  

上記は単一事例と一般的な推定を組み合わせた目安で、モデル規模・タスク複雑度・目標性能によって上下します。プロプライエタリモデルのAPI利用料と比較すると、初期投資は少なくとも数千万円規模以上を覚悟する必要があります。

フルスクラッチRLか既存モデル活用かの判断

自社エージェントを強くする方法は、実は3つあります。最も避けるべきは「フルスクラッチRLに飛びつく」判断です。

• フルスクラッチRL訓練
  自社データ・自社タスクでモデルをゼロから鍛える。数千万〜億単位の投資と数か月の期間が要る
  
  

• エージェント性能・ツール使用性能が高い既存モデルの活用
  DeepSeek-R1・Claude Opus 4.8・Kimi K2・GLM-4.6など、エージェント性能・ツール使用性能が公開されている既存モデルをAPI経由で使う
  
  

• エージェント性能の高い既存モデル＋SFTでのアダプテーション
  上記モデルに自社ドメインの教師データでLoRA/SFTを掛け、必要に応じてRLVRで軽く追加訓練

2026年時点で、大半の企業にとって現実解は2番目のルートです。Claude Opus 4.8やKimi K2はすでにコード・ツール使用で世界最高水準の性能を持っており、それをアプリケーション設計で活かすほうが投資対効果は圧倒的に高くなります。

3番目のルートは、独自ドメイン（法律・医療・製造業の設計データ等）で「モデルの語彙を自社化」したい場合に検討します。ELYZAがMulti-document Legal QA向けにDAPOで追加訓練した事例は、この3番目のルートの好例です。

内製する場合の組織要件

それでも「フルスクラッチのRL訓練を内製する」と判断する場合、以下の組織条件を満たしているかを事前に確認する必要があります。

• RL経験者: PPO・GRPOの実装経験があるエンジニアが最低2名
• 分散インフラ運用: FSDP・vLLM・Kubernetesを本番運用したチームがある
• 報酬設計者: 検証可能報酬を設計できるドメイン専門家が同席する
• 評価基盤: 自社タスク向けのオフライン評価ベンチマークが整備されている
• 長期コミット: 6か月以上のR&D投資と失敗の許容を経営層が合意している

これらのいずれかが欠けている場合、Agentic RLプロジェクトはほぼ確実に頓挫します。「作れるかどうか」より「作り続けられる組織があるかどうか」が本質的な判断軸です。

選択に迷う3つの論点

支援現場で頻繁に議論に上がるのが以下の3論点です。答えはケースバイケースですが、判断の枠組みとして整理しておきます。

• オープンモデルか、プロプライエタリAPIか
  機密データを外に出せないならDeepSeek-R1・Qwen3系のオープンモデルで自社デプロイ、外に出せるならClaude Opus 4.8やGPT-5.6のAPIが最短
  
  

• エージェント能力を上げるか、リトリーバル基盤を整えるか
  Agentic RLは「モデルの行動選択」を鍛える技術で、「モデルに渡す情報」の整備はできない。まずAgentic RAGやRAG基盤を整えた上で、Agentic RLに投資するのが順序
  
  

• 社内でRLするか、フロンティアラボの新モデル待ちか
  自社タスクでRLする価値が出るのは、フロンティアモデルが到達できていない領域に限る。汎用領域なら、待つほうがコスト効率が良い

AI総合研究所の支援経験から言えば、日本企業でいまAgentic RL内製訓練に着手する価値があるのは、独自データ資産（設計図・法令・医療記録等）を大量に持ち、それをエージェント能力に転写したい組織に限られます。

汎用エージェントはフロンティアラボに任せ、自社は上位のアプリケーション設計に集中するのが実務的な戦略になります。

---

Agentic RL世代のツール使用エージェントを自社業務に定着させるなら

Agentic RLの実務的な帰結は、"自社で強化学習ループを回す"より"Agentic RL世代のツール使用ネイティブモデル（Claude Opus 4.8・Kimi K2・GLM-4.6・DeepSeek-R1）をどう業務プロセスに組み込むか"の方が投資対効果の高いフェーズにあるという整理です。

内製訓練は数千万〜億単位の投資と6か月以上のコミットが要る領域で、独自データ資産（設計図・法令・医療記録）を持つ組織向けの選択肢に絞られます。一方で、既にツール使用・エージェント能力が公開されている既存モデルを"承認フロー・権限設計・実行ログ・基幹システム更新"を含む運用設計とセットで組み込むレイヤーは、今日から着手できます。

このレイヤーを担うのが、自社Azureテナント内で動くエンタープライズAIエージェント基盤です。

AI総合研究所のAI Agent Hubは、Reasoning系・汎用フロンティア・国産SLMを差し替え可能な形で扱いつつ、Copilot Studio・Microsoft Foundry・n8nを開発基盤にした業務特化Agent、Human-in-the-Loopのフロー判定、実行ログ・権限管理を1つのプラットフォームで提供します。Agentic RLでモデル側の性能が伸び続けても、業務組み込み層は変えずに新世代モデルへ切り替えていける設計です。

AI総合研究所の専任チームが、モデル選定から業務プロセス設計・統制運用まで一貫して伴走支援します。AI Agent HubのLPで、Agentic RL世代のツール使用エージェントを自社業務に組み込む実装レイヤーの全体像をご確認ください。

---

まとめ

本記事では、Agentic RLについて、定義・RLHFとの構造差・6つのコア能力・主要アルゴリズム・学習フレームワーク・応用領域・実案件事例・実務判断軸まで、2026年7月時点の情報で整理しました。要点を改めて振り返ります。

• Agentic RLはLLMを『環境と対話する自律エージェント』へ鍛える強化学習で、単ステップMDPで動くRLHFとは対象POMDPも状態空間も報酬設計も別レイヤーの技術
  
  

• **6つのコア能力（推論・ツール使用・メモリ・プランニング・自己改善・知覚）**がAgentic RL研究の主要分類として整理され、実運用では複数能力が同一タスクの中で絡み合い、DeepSeek-R1やClaude Opus 4.8のような実モデルに反映されている
  
  

• アルゴリズムはGRPO＋RLVRが主流、長ホライゾンではPPO・DAPO・StepPOが再評価。まずGRPOで最短距離に学習を回し、破綻したら乗り換えるのが実務パターン
  
  

• 学習フレームワークはVerlが事実上のデファクト基盤で、その上にAgent-R1・AgentRL・slime・AReaL・SkyRL-Agentが目的別に積み上がる構造
  
  

• 実案件ではLinkedIn（GPT-OSS）・AutoGLM（AgentRL）・Kimi K2・DeepSeek-R1などが既に成果を積み上げており、SWE-Bench Verified/Proでも Anthropic 系・OpenAI 系のフロンティアモデルが上位を占めるなど、エージェント系ベンチで性能向上が確認されている
  
  

• 企業がAgentic RLを検討する際の現実解は、フルスクラッチRLではなくエージェント性能・ツール使用性能が高い既存モデルの活用。内製訓練は数千万〜億単位の投資と6か月以上のコミットが要る領域で、独自データ資産を持つ組織向けの選択肢と割り切るのが実務的

Agentic RLは、AI業界の最前線で「エージェントを実用水準に持ち上げるための実装技術」として定着しつつあります。日本企業の多くにとっては、この技術を「自分たちで作る対象」ではなく、「その成果として生まれてきたモデル群を、いかに自社業務に組み込むか」で捉えるのが最も投資対効果の高いアプローチになります。

まずはClaude Opus 4.8・Kimi K2・GLM-4.6・DeepSeek-R1といったエージェント性能・ツール使用能力の高い既存モデルの中から、自社タスクと相性の良いものを選び、Agentic RAG・MCP・ワークフロー統合と組み合わせて業務プロセスに組み込む——ここから始めるのが、Agentic RL時代の実践的な一歩目になります。