Sim-to-Realとは？リアリティギャップや主要手法、2026年の最新実装を解説

Sim-to-Real（シム・トゥ・リアル）は、シミュレーション環境で学習したロボットの制御方策を、実機のハードウェアへ転移させる技術分野の総称です。

ヒューマノイド・産業用ロボット・自動運転の学習コストと安全性の問題を解決する手段として、2020年代後半のフィジカルAI実装の中核に位置づけられています。

2026年11月時点では、NVIDIA Isaac Lab 3.0・Newton Physics 1.0・Cosmos 3といったツール群と、Physical IntelligenceのVLAモデルやGoogle DeepMindのVideo-to-Sim-to-Realパイプラインが主要プレイヤーとして揃い、Sim-to-Realの実装論が実務で選択可能な段階に入りました。

本記事では、Sim-to-Realの定義・リアリティギャップの原因構造・主要4手法・2026年のツールスタックとライセンスコスト・世界モデルがもたらした新潮流・実装パイプラインの型・ABBやSkild AIの産業応用事例・導入で詰まる論点までを、2026年11月時点の最新情報で体系的に解説します。

Sim-to-Realとは？ロボット学習を実機へ移す技術分野

Sim-to-Real（Sim2Real）とは、仮想環境のシミュレータで学習したロボットの制御方策（ポリシー）を、実機のハードウェアへ転移させる技術分野の総称です。

ロボット・自動運転・産業用アームの学習に必要な試行回数は、実機だけで賄おうとすると衝突・摩耗・事故のリスクで実務的に回せません。そこでシミュレータ上で何千万ステップもの試行を回し、得られた方策を実機に移す流れが、2020年代後半のロボット学習の標準経路として定着しています。

フィジカルAIの実装論の中核に位置づけられるテーマで、Sim-to-Realの出来不出来が、ヒューマノイド・産業ロボ・自動運転のPoCから量産フェーズへの移行可能性を左右する構図です。

2026年11月のCoRL 2026でNVIDIAが公開した、Sim-to-Realで訓練された家電操作・精密組立・倉庫マニピュレーションなどのロボット実例（出典：NVIDIA Blog — Practice Makes Precise）

Sim-to-Realが生まれた背景

Sim-to-Realという問題意識は、1995年の進化ロボティクス（Evolutionary Robotics）研究における Jakobi らの論文で最初に明文化されました。

仮想環境で進化アルゴリズムが生み出した行動が実機で再現できない現象が、当時の「Reality Gap（リアリティギャップ）」概念の発端です。

2010年代後半、深層強化学習の立ち上がりとともにOpenAIがRubik's Cubeをロボットハンドで解く実験で大規模なドメインランダマイゼーションを使い、Sim-to-Realの実用化を一気に押し進めました。この段階で「シミュレーションの物理を敢えて揺らして学習し、実機の多様性に強い方策を作る」というアプローチが研究コミュニティに定着しました。

2026年時点では、NVIDIA Isaac Sim・Cosmos・GR00T 2といった世界モデル／ロボット基盤モデルがSim-to-Realの前提を書き換えつつあり、「シムと実機の差をどう埋めるか」から「シム自体を実機から生成し直せるか」という問いへと射程が広がっています。

---

リアリティギャップ（Reality Gap）の正体

Sim-to-Real研究の大半の作業は、シミュレータと実機の差分――リアリティギャップをどう縮めるかに費やされます。

arXiv掲載の2026年のレビュー論文The Reality Gap in Robotics: Challenges, Solutions, and Best Practicesは、リアリティギャップを「Dynamics（物理挙動）」「Perception & Sensing（知覚・センシング）」「Actuation & Control（アクチュエータ・制御）」「System Design（システム設計）」の4要素に分解し、Simulation側とReality側を双方向にブリッジする枠組みとして整理しています。

Reality GapをDynamics・Perception & Sensing・Actuation & Control・System Designの4要素で捉え、Simulation→Reality転移とReal-to-Sim転移の双方向ループを示した整理（出典：arXiv 2510.20808 — The Reality Gap in Robotics）

本セクションでは、この4要素のうち実務で特に影響の大きい物理／知覚／制御の3層に絞って整理します。

物理ギャップ——接触・摩擦・アクチュエータの近似誤差

物理ギャップは、シミュレータが実世界の物理現象を近似する際に避けられない誤差です。主要因は次の3点に集約されます。

• 接触物理
  剛体同士の衝突・摩擦・変形といった接触現象は、シミュレータごとに解き方が異なり実機の挙動とズレやすい代表格。マニピュレーションの失敗要因として多くの先行研究で筆頭に挙げられる
  
  

• 質量・慣性・摩擦係数
  部品のCADから得た公称値と、実機で計測した値には常に差異がある。経年劣化・個体差も含めると、同じ設計の2台でも挙動が揺れる
  
  

• アクチュエータ応答
  サーボ・モーターの立ち上がり・飽和・デッドゾーンを理想化すると、低速域・高負荷域の挙動が崩れる
  
  

これらは物理エンジンの精度向上（NVIDIA PhysX／Newton／MuJoCoのSDF＋hydroelastic contact等）で縮めつつ、残差を後述のドメインランダマイゼーションで吸収する二段構えが実務の標準です。

知覚ギャップ——センサーノイズとレンダリングの差

知覚ギャップは、シミュレータが生成する観測信号（RGB画像・デプス・LiDAR・触覚）と、実機のセンサー出力の差です。先ほどのarXivレビューでも、Perception & Sensing を接触物理と並ぶ主要なギャップ源として位置づけています。

具体的には、ピクセルノイズ・レンズ歪み・露出変動・デプスカメラの穴・LiDARの反射率ばらつきなどが挙がります。

古典的な対策はシム上で意図的にノイズを加えるアプローチですが、2026年以降はNVIDIA Cosmos 3のような世界基盤モデルでシム信号を写実化する方向にシフトしつつあります。

制御・遅延ギャップ——レイテンシと制御周期

3つ目の制御・遅延ギャップは、シムと実機のループ時定数の差です。シムでは制御周期がミリ秒単位で決定論的に回りますが、実機では通信遅延・観測遅延・計算遅延が積み上がります。

• 観測から制御コマンドまでのレイテンシを本番相当までシムに織り込まないと、方策が「過剰反応」や「振動」を起こす
  
  
• モーターやサーボの応答周波数と、方策の出力周波数をマッチングしないと、シムで安定だった方策が実機で発散する
  
  

遅延のモデリングを怠ると、他のギャップを完璧に埋めてもSim-to-Realが失敗することが多く、富士通研究所のSim2Real技術ブログでも、通信・制御の遅れを前提に置いた上でドメインランダム化を組む重要性が解説されています。

---

Sim-to-Realの主要手法——4アプローチの整理

リアリティギャップへの対処には複数のアプローチがあり、本記事ではSim-to-Realを扱う際に押さえておきたい代表的な4手法として、Domain Randomization（DR）・Domain Adaptation（DA）・System Identification（SI）・Real-to-Sim（R2S）を整理します。

arXivのA Survey of Sim-to-Real Methods in RLはObservation・Action・Transition・Reward別にSim-to-Real手法を分類しており、分類軸は複数存在する点に注意が必要です。そのうえでDomain Randomizationは、実装件数・採用例ともに現在もSim-to-Realの第一選択として扱われています。

以下の表で、4手法の目的と使い所を比較しました。

手法	何を揺らす／合わせるか	主な狙い	典型的な採用パターン
Domain Randomization（DR）	シム側の物理・視覚パラメータ	実機の多様性に強い方策を事前に作る	OpenAI Rubik's Cube、Isaac Lab＋MuJoCoの大半のタスク
Domain Adaptation（DA）	シムと実機の観測分布を学習的に揃える	両ドメインの観測空間をマッチング	Style-Identified CycleGAN、特徴抽出器の共有
System Identification（SI）	シムのパラメータを実機計測で較正	シム自体を実機に寄せる	産業用アームの自動キャリブレーション
Real-to-Sim（R2S）	実機シーンからシム資産を自動生成	実機環境をそのままシム化する	3D Gaussian Splatting、Google DeepMind Argon

この比較から見えるのは、DRが「シム側で変動を作って備える」のに対し、R2Sは「実機側からシムを作り直す」という方向性の逆転にある、という点です。

Domain Randomization（DR）

Domain Randomizationは、シミュレーションの物理パラメータ（摩擦・質量・減衰）や視覚パラメータ（照明・テクスチャ・色）を学習中にランダム化し、幅広い環境分布に対して汎化する方策を作る手法です。

2017年にOpenAIが提唱して以降、Sim-to-Realの第一選択肢として定着しました。パラメータの揺れ幅を広げすぎると方策が収束しづらくなり、逆に狭すぎると実機で失敗します。

この揺れ幅を自動調整するADR（Automatic Domain Randomization）を使うのが2020年代後半の標準で、OpenAIのRubik's Cubeでもこの枠組みが採用されました。

Domain Adaptation（DA）

Domain Adaptationは、シムと実機の観測分布の差を学習的に埋めるアプローチです。

代表例は、シムと実機の画像を相互に変換するGAN（CycleGAN・Style-Identified CycleGAN等）や、特徴抽出器を両ドメインで共有する転移学習です。方向はシム→実写・実写→シムどちらにも向けられます。

視覚ギャップに強みを持つ一方、物理・制御のギャップには直接効かないため、DRや後述のReal-to-Simと組み合わせて使うのが実務の定石になっています。

System Identification（SI）

System Identificationは、実機で計測したデータ（関節トルク・摩擦係数・慣性テンソル等）を用いて、シムのパラメータを実機に合わせ込む手法です。古典制御の世界で長く使われてきた技法ですが、近年はWarp上で動作する微分可能物理エンジン（Newton Physicsなど）の登場で、勾配ベースで物理パラメータを推定できる方向に進化しています。

SI単独では学習時間が増えすぎるため、DR＋SIのハイブリッドで、大枠をDRで粗く揺らし残差をSIで寄せる構成が実装例として増えてきました。

Real-to-Sim（R2S）——2026年の新主流

Real-to-Simは、実機で撮影した映像・センサーデータからシミュレーション用の3D資産を自動生成し、「実機そっくりなシムを作る」アプローチです。

2026年に入って急速に主流化しており、ICRA 2026のReal2Sim2Realワークショップもこの流れを象徴しています。

技術的な起点は3D Gaussian Splattingで、数十枚〜数百枚の実写画像から短時間で高忠実度の3Dシーンを作れるようになったことがR2Sの実用性を押し上げました。Google DeepMindのGemini 4 Argonは、この流れを動画→デジタルツイン→実機制御という単一パイプラインに統合した代表例で、次のセクションで詳しく扱います。

---

2026年のSim-to-Realスタックとライセンス・コスト

Sim-to-Realのツール選定は、2026年にかけて選択肢が一気に広がりました。ここでは物理シミュレータ・物理エンジン・ロボット基盤モデル・世界モデルの4層で、現時点の主要プレイヤーとライセンス・コスト構造を整理します。

以下の表で、2026年11月時点の主要スタックを層別にまとめました。既存基盤がNVIDIA寄りか、OSSコミュニティ寄りかで選択が分かれます。

層	主要プレイヤー	ライセンス	コスト構造の見方
物理シミュレータ	NVIDIA Isaac Lab 3.0 / MuJoCo / Genesis	Isaac Lab：BSD-3-Clause／MuJoCo：Apache 2.0／Genesis：Apache 2.0	本体は無償。GPUインスタンス費とエンジニア工数が実質コスト
物理エンジン	NVIDIA PhysX / Newton 1.0 / MuJoCo（内蔵）	PhysX：Apache 2.0（公開SDK）／Newton：Apache 2.0／MuJoCo：Apache 2.0	本体は無償。GPU並列度に応じて学習費が変動
ロボット基盤モデル（VLA）	NVIDIA GR00T N1.6（公開済）／GR00T 2（2026年12月コード公開予定）／π0.5（openpi）／Gemini Robotics 2（ER 2＋VLA＋On-Device）	GR00T N1.6：モデル公開済だが適用ライセンスは研究・評価用途限定／GR00T 2：コード12月予定で重み条件未確定／π0.5：openpiで公開／Gemini Robotics：ER 2は一般API、VLA／On-Deviceはパートナー向け早期アクセス	公開重みはファインチューニング用GPUが主コスト、Gemini系ER 2は従量API
世界モデル	NVIDIA Cosmos 3（Super／Nano／Edge）	オープンウェイト（Hugging Face）	推論GPU費用。Edge（4B）はJetson・RTX PROでも動作

特にVLA層は、公開済みのGR00T N1.6やπ0.5と、早期アクセス・パートナー限定のGemini Robotics VLA／On-Deviceを同じ列で扱わないことが重要です。

「今触れるもの」と「パートナー向けに限定提供されているもの」を切り分けて検討計画を立てる必要があります。GR00T N1.6は公開済みでも適用ライセンスが研究・評価用途に限定されるため、商用量産に向けては別途条件確認が必要です。

物理シミュレータ——Isaac Lab 3.0・MuJoCo・Genesis

NVIDIA Isaac Simの学習フレームワーク版であるIsaac Lab 3.0は、2026年10月20日に一般提供（GA）が開始され、同年11月のCoRL 2026で正式発表されました。

NVIDIA公式ブログによれば、Isaac Lab 2.3比で最大2.5倍のトレーニングスループットを達成し、Isaac Simから独立実行できる軽量化も実現しています。

Google DeepMindのMuJoCoは、OSSの物理エンジン兼シミュレータとして研究コミュニティで広く使われており、接触物理の精度に定評があります。Genesisは2024年末〜2025年に台頭した新興OSSシミュレータで、GPU並列化によるスループットでIsaac Labと競う位置づけです。

物理エンジン——PhysX・Newton・MuJoCo

物理エンジンのレイヤーでは、Isaac Lab 3.0がPhysXとNewton Physicsを切り替え可能にした点が重要な変化です。

Disney Research・Google DeepMind・NVIDIAの共同開発プロジェクトとして公開されたNewton 1.0は、GPU上で動作する微分可能物理エンジンで、ケーブル・布・変形体のモデリングに強みを持ちます。

PhysXは剛体系・接触系に強く、Newtonは接触の豊富さと微分可能性で差別化されます。産業用ロボットの組立タスクではNewton、脚ロボのロコモーションではPhysXが使われる、といった棲み分けが2026年に入って具体化してきました。

Newton Physicsで扱う接触リッチな産業ロボットタスクの例（出典：NVIDIA Developer Blog — Newton Adds Contact-Rich Manipulation）

ロボット基盤モデル——GR00T 2・π0.5・Gemini Robotics

Sim-to-Realの下流で動くロボット基盤モデル（Vision-Language-Action, VLA）は、2026年に主要3プレイヤーが出揃いました。NVIDIA GR00T 2はIsaac Lab 3.0でのポストトレーニングを前提に設計され、大規模な人間動画データで事前学習された世界行動モデルです。

公式プロジェクトはコードの公開を2026年12月を予定とアナウンスしており、重み・ライセンスの公開条件は本記事執筆時点で確定していません。

Physical Intelligenceのπ0.5はopenpiリポジトリで公開されており、2026年10月13日にはマネージド学習・推論APIの早期ベータも案内されています。

Google DeepMindのGemini Robotics 2は、一般開発者向けに提供されるEmbodied Reasoning（ER 2）APIと、パートナー向け早期アクセスで提供されるVLA／On-Deviceモデルが分かれている点に注意が必要です。選定は既存学習データ・ロボット形態・社内のVLA運用経験で決まります。

世界モデル——Cosmos 3の3層構成

NVIDIA Cosmos 3は、2026年5月31日に公式ローンチされた世界基盤モデルで、7月のSIGGRAPHでEdge版が追加発表されました。Sim-to-Realの文脈では「シミュレータの出力を実機級に写実化する」役割を担います。

モデル規模は3層で、Cosmos 3 Edge（4B）はJetson・RTX PROで動作、Nano（16B）は中規模GPU、Super（64B）はデータセンターGPU向けという位置づけです。推論コストはモデル規模に応じて大きく変動するため、PoC段階はEdgeから入るのが現実的です。

自動運転車とヒューマノイドを含むPhysical AI基盤モデルとして位置づけられるNVIDIA Cosmos 3のキービジュアル（出典：NVIDIA Cosmos）

---

世界モデルとVideo-to-Sim-to-Realが変えた流れ

2026年のSim-to-Realで最も大きな変化は、世界モデルとビデオ入力ベースの新パイプラインが「シムと実機の差をどう埋めるか」の前提そのものを書き換えつつあることです。

本セクションでは、Cosmos Sim-TransferとGemini 4 ArgonのVideo-to-Sim-to-Real、そして3D Gaussian Splattingによる自動化の3つを整理します。

NVIDIA Cosmos Sim-Transfer——物理シムを写実化する層

NVIDIA Cosmos 3のSim-Transfer機能は、従来の物理シミュレータ（Isaac Lab／MuJoCo等）が生成する空間制御信号を受け取り、写実的なRGBフレームとしてレンダリングするレイヤーです（補足: NVIDIA Newsroom発表）。

従来は、シムで描画したCG画像を実機のRGB画像にDomain Adaptationで近づけていましたが、Cosmos Sim-Transferは「シムの物理挙動は正確、見た目は後段で写実化する」という役割分担を実現します。

• 物理層は従来通りIsaac Lab／MuJoCoが担当
• 視覚層はCosmosが担当し、シムCG→実写風RGBに変換
• 下流のVLA（GR00T 2・π0.5等）は実写風RGBを入力として学習・推論
  
  

この階層分離により、物理精度と視覚精度を独立に向上できるのが2026年の設計思想になっています。

Google DeepMind Gemini 4 Argon——Video-to-Sim-to-Real

Google DeepMindが2026年10月13日に発表したGemini 4 Argon for Roboticsは、Video-to-Sim-to-Realという単一パイプラインを打ち出した点で画期的です。

実機のteleoperation映像（遠隔操作中のカメラ映像）をArgonが読み、MuJoCoシーンとして再構築し、視覚と接触力を実機と同期させる反復ループで物理パラメータまで合わせ込みます。

結果として、Apptronik Apollo humanoid（76自由度・5指ハンド）がcornhole（袋投げゲーム）を動画視聴後に7連続で成功させる実演にまで到達しました。

Google公式が公開したEmbodied Reasoning Question Answering（ERQA）ベンチマークでは、Gemini 4 Argonが87.0%でClaude Opus 5.5（82.3%）・GPT-6 Astra（81.0%）・Claude Fable 5.1（74.0%）を上回り、汎用マルチモーダルモデルの中で物理シーンの読み解きにおいて先頭に立っています。

Embodied Reasoning Question Answering（Tool off・N=400）における主要汎用マルチモーダルモデルの身体性推論スコア比較（出典：Google Developers Blog — Gemini 4 Argon for Robotics）

従来は「動画→シム」「シム→実機」が別々の研究だったものを、1つの基盤モデルが両端をつなぐ構成に統合した意味合いが大きい発表です。

3D Gaussian Splatting——Real-to-Simの自動化

もう一つの変化は、Real-to-Simの前段である「実機シーンの3D化」が自動化されたことです。3D Gaussian Splattingは、数十枚〜数百枚の実写画像から短時間で高忠実度の3Dシーンを構築する手法で、2024年以降の爆発的な進化で実用レベルに到達しました。

従来は実機の作業空間をCADで模写する作業に数週間かかっていましたが、Gaussian Splattingならスマホ撮影の動画から数時間でシム資産を生成できます。

産業用ロボットの新しい設置現場で、現地撮影→シム構築→方策の実機適合というサイクルが数日単位に圧縮されつつあります。

---

Sim-to-Real実装パイプラインの型

Sim-to-Realのプロジェクトはツールやタスクによって細部が変わりますが、典型的には4工程に分解できます。

ここでは、現場で実際に組む実装パイプラインの型を整理します。全体の流れは、物理シムで強化学習→ドメインランダマイゼーション適用→必要に応じて実機demonstrationを追加→デプロイと運用ドリフト監視、という順序です。

物理シミュレータで強化学習

最初の工程は、物理シミュレータ上で方策を強化学習（RL）で訓練するフェーズです。Isaac Lab 3.0であれば、数千〜数万の並列環境を同時に動かし、数億ステップ規模の学習をGPU単機でも数時間〜数日で回せます。

ここで重要なのは、学習対象のタスクを「シムで解ける」形に落とし込むことです。報酬関数の設計・観測空間の定義・エピソード終了条件の設計が、後段のSim-to-Real成否を大きく左右する工程になります。

ドメインランダマイゼーションの適用

シムで学習させる段階で、物理・視覚パラメータをランダム化して多様な環境分布を経験させます。揺れ幅の設定には以下の3観点が必要です。

• 物理パラメータ
  摩擦係数・質量・慣性・アクチュエータ応答のランダム化幅
  
  

• 視覚パラメータ
  照明・テクスチャ・カメラ位置・ノイズ強度のランダム化幅
  
  

• 自動調整（ADR）
  揺れ幅を学習進捗に合わせて自動的に広げるアルゴリズムの採用可否
  
  

揺れ幅を過剰にするとシムで方策が収束せず、過少だと実機で破綻するため、この調整が最も試行錯誤を要する工程になります。

実機demonstrationとのハイブリッド学習

タスクの性質によっては、シム訓練だけで実機にゼロショット転移が成功するケースもあります（後述のSGS研究のように、接触組立をデモなしで解く実装例もあります）。

一方で接触依存度の高いマニピュレーションでは、シムで事前訓練した方策に実機demonstration（人間のteleoperationデータ）を追加で学習させるハイブリッド構成が、2026年の公開実装の中で複数採用されています。

必要なdemonstration件数はタスク・ロボット形態・実機側の分布シフト幅によって幅があり、プロジェクトごとに個別設計するレイヤーとして扱うのが実務上の筋道です。

NVIDIA GR00T N1.6の訓練データ構成（BEHAVIOR Sim 22%・Simulated GR-1 11%・RoboCasa Sim 5.5%とReal Bimanual YAM 22%・Real AgiBot 22%・Real GR-1/Unitree G1 各5.5%の混合）（出典：NVIDIA Developer Blog — GR00T N1.6 Sim-to-Real Workflow）

たとえばGR00T N1.6の公開データ構成では、シム由来のデータ（BEHAVIOR・RoboCasa・Simulated GR-1）が約38.5%、実機teleoperationデータ（Bimanual YAM・AgiBot・Real GR-1・Unitree G1・DROID）が約61.5%で混合されています。

シム単独でも実機単独でもなく、タスク設計に応じた比率でブレンドする構成例として、業界全体に対して直接当てはめるのではなく個別参照のベンチマークとして捉えるのが妥当です。

実機デプロイと分布シフト監視

訓練済み方策を実機に乗せたら、本番運用で性能モニタリングを続けます。

• 成功率・失敗パターンのログ化
  本番タスクの成功率、失敗時の観測・行動シーケンスを記録
  
  

• 分布シフトの検出
  季節変動・設備摩耗・新しい対象物など、実機環境が訓練時から離れていないかを監視
  
  

• 継続的なfine-tune
  分布シフトが検出されたら、追加の実機データで方策を更新する運用ループを組む
  
  

Sim-to-Realは「訓練して終わり」ではなく、実機運用中のドリフト対応まで含めて設計するのが本番運用の鉄則です。

---

Sim-to-Realの産業応用事例

2026年に入り、Sim-to-Realの産業応用は「論文のベンチマーク」から「現場での量産適用」へと移行してきました。本セクションでは代表的な4事例を取り上げ、2026年の実装水準を具体化します。

ABB Robotics × NVIDIA——最大99%のaccuracyを掲げたRobotStudio HyperReality

ABB Roboticsは2026年3月9日にNVIDIAとのパートナーシップを発表し、同社のRobotStudioにNVIDIA Omniverseライブラリを組み込んだ新プラットフォーム「RobotStudio HyperReality」（2026年下期提供予定）で、シミュレーションと実機動作のaccuracy（精度）を最大99%まで高めたとしています。

これは統計的な相関係数ではなく、公式が掲げる精度指標である点に注意が必要です。

シミュレーション環境で生成された合成画像をそのままAI学習パイプラインに流し込む運用を目指し、RobotStudioの既存ユーザー基盤を通じてSim-to-Realワークフローを広げる構えです。

Skild AI × Newton——GPUラック組立の強化学習

Skild AIは、NVIDIA Newton PhysicsとIsaac Lab 3.0を組み合わせ、GPUラックの組立タスクを強化学習で解いています。

コネクタ挿入・基板配置・ネジ締結といった高精度のタスクに対し、NewtonのSDF（符号付き距離関数）衝突判定とhydroelastic接触モデルを使って、CAD形状のまま高忠実度のシム訓練を実現しました。

さらにCoRL 2026では、Skild AI独自の剛体ソルバSTEEL（Scalable Throughput-optimized Engine for Embodied Learning）をNewton上に構築してIsaac Lab 3.0と統合する発表も行っています。

産業ロボットのSim-to-Realで、物理エンジンのレイヤーに独自ソルバを足す流れが始まった象徴的な動きです。

Figure 02 × BMW——30,000台超のX3生産に貢献

ヒューマノイドロボット分野では、Figure社のFigure 02がBMW Group Plant Spartanburgで2025年から約11か月間稼働し、X3 の生産ラインで30,000台超のシートメタル・ローディングに貢献したと公式に報告されています。

公式が許容誤差として示す位置決め精度は5mm以内です。

同工場では2026年に後継機Figure 03が追加投入され、クラシックなpick-and-placeからシーケンシングタスクへの展開が始まっています。ヒューマノイドが実際の量産工場ラインで統計的に意味のある台数の生産に関与した初期事例として、業界の参照点になっています。

BMW工場のライン稼働を支えたFigure 02の5指ハンド（出典：Figure AI — F.02 Contributed to the Production of 30,000 Cars at BMW）

Fincantieri——造船所でのヒューマノイド溶接の開発計画

Fincantieriはイタリアの造船大手で、熟練溶接工の不足を背景にヒューマノイド溶接ロボの開発提携を進めています。公式発表時点では、2026年末までに初回の現地試験を予定する開発段階にあり、実運用としての実績ではない点に注意が必要です。

熟練技能の継承が難しい重工業領域でヒューマノイド溶接ロボの開発計画が動き始めた段階で、現地試験の結果と、そこにSim-to-Realがどこまで組み込まれるかは、2027年以降の産業応用の見通しを占うポイントになります。

---

Sim-to-Real導入で詰まる論点

Sim-to-Realの導入を検討する企業・研究チームが、PoCの初期段階でつまずきやすい論点を整理します。

AI総合研究所の支援現場でも、同じパターンで止まるケースが繰り返し出てきています。

シムと実機データの比率設計

最初に詰まるのが、「シム訓練だけで実機に転移できるのか／実機データをどのくらい混ぜればよいか」という比率設計です。

• タスクが接触依存なら実機データを混ぜる選択肢を早めに検討
  組立・挿入・把持のような接触が主要な成功要因になるタスクでは、実機demonstrationの追加学習でSim-to-Realを安定化させる構成が多い。
  
  ただしSGSのようにデモなしでシミュレーションのみ学習→実機ゼロショット転移を達成した事例もあり、タスク設計次第で純シムでも届くケースがある
  
  

• ロコモーション（歩行・走行）はシム主体で済むことが多い
  接触の個別性が低く、物理モデリングで吸収できる領域。シムだけでゼロショット転移の実例が多い
  
  

• 知覚主体のタスクは世界モデル活用を検討
  視覚ベースの把持・ナビゲーションでは、Cosmos Sim-Transferのような写実化レイヤーをDRと組み合わせる構成が選択肢に入る（効率の比較は対象ロボット・タスク・指標が揃った検証で行う）
  
  

ケース別の推奨としては、PoC初期は「ロコモーション系→シム主体」「接触系→ハイブリッド or 純シム＋強DR」「視覚系→世界モデル導入」で分岐して設計するのが実務的な出発点になります。

ツール選定——Isaac Lab vs MuJoCo vs Genesis

もう一つの詰まりポイントは、物理シミュレータの選定です。3つの主要OSSにそれぞれ特性があります。

• Isaac Lab 3.0
  NVIDIA GPUとの親和性、Newton統合、GR00T N1.6・GR00T 2との連携が強み。エンタープライズでNVIDIAエコシステムに乗っている企業の第一候補
  
  

• MuJoCo
  接触物理の精度と研究コミュニティでの実績が強み。Google DeepMindのArgonが採用しているのもこの流れ
  
  

• Genesis
  新興OSSで、スループット重視の設計。コミュニティはまだ小さいが、将来性は注目されている
  
  

既存のGPUインフラがNVIDIA寄りで、ロボット基盤モデルにGR00T N1.6やπ0.5を使いたいならIsaac Lab 3.0、研究寄りで接触物理の忠実度を優先するならMuJoCoが、2026年11月時点の実務的な推奨です（GR00T 2は2026年12月のコード公開待ちで、量産適用はその後の判断になります）。

評価とベンチマーク——シム成功率と実機成功率の乖離管理

3つ目は、評価ベンチマークの設計です。シムでの成功率をそのまま実機の成功率として扱うと、デプロイ後に大きなギャップで戸惑うケースが多発します。

• シム評価は「ランダム化範囲内」の平均成功率で見る
  固定シードでの成功率ではなく、DRを掛けた分布全体での平均を見る
  
  

• 実機評価は20〜50試行の統計で判断
  1〜2回の成功で「転移成功」と結論しない
  
  

• 失敗モードを分類する
  接触失敗・知覚失敗・制御失敗など、失敗の種類を分類してギャップ源を特定する
  
  

ABB×NVIDIAの「最大99% accuracy」も、公式がRobotStudio HyperRealityの性能指標として掲げる数値で、統計的な相関係数や再現可能な測定手順が共有されているわけではありません。

自社タスクで同じ数値が出るとは限らず、ベンチマーク条件を自前で設計してから自社の精度を測るのが実務上の筋道です。

---

Sim-to-Realの物理ギャップを、部品の図面と検査記録から縮める

Real-to-Simの進歩で、作業空間はスマホで撮った動画から数時間でシムに起こせるようになりました。一方で、組立や挿入のように接触の多いタスクでは、部品の形状と重さをどこまで正確にシムへ写せるかが転移の出来を左右し、CADから得た公称値と実機で計測した値の差は、そのまま物理ギャップとして残ります。古い部品ほど2Dの図面しか残っていない現場では、シムを組む前に、設計時の寸法と実測値を社内から引き出せる状態が必要になります。

そこで選択肢になるのが、CADや手書きのスケッチを寸法と注記まで読み取り、検査記録とあわせてOneLakeに集めて扱う、製造業向けに組まれたAI Agent Hubです。

• 散らばった過去図面を、部品名や型番で探す
  Teamsで尋ねると、テンプレートAgentが該当図面と類似図面を拠点をまたいで探し出すため、ファイルサーバを順に開いて回る手間が減ります。
  
  
• 古い部品の2D図面は、AIで3Dに起こす
  2Dしか残っていない図面はAIが3D化するため、シムに組み込む前に形状を立体で確かめやすくなります。
  
  
• 公称値と実測値の差を、検査記録から拾う
  検査成績書や測定記録の帳票を集計できる形に整え、重さや寸法の実測値を品番ごとに公称値と並べて、ずれの大きい部品を絞り込みます。

AI総合研究所の専任チームが、シムで扱う部品の図面と検査記録がどこに残っているかを確かめ、テンプレートAgentで引き出せる状態に整えるところから伴走します。

---

まとめ

本記事では、Sim-to-Realを「シミュレータで学習したロボットの方策を実機へ移す技術分野」として整理し、リアリティギャップの正体・主要な手法・最新のツールスタックとコスト・世界モデルが変えた流れ・実装パイプラインの型・産業応用事例・導入で詰まる論点を解説しました。

2026年11月時点で押さえておくべきポイントは次の3つです。

• 世界モデルが見た目の写実化を受け持つようになり、物理の精度と視覚の精度を別々に高める設計が広がった
• 実機に載せた方策は分布のずれを監視しながら、追加の実機データで更新し続ける運用まで設計に含める
• メーカーが掲げる精度の数字は自社のタスクにそのまま当てはまらず、実機での成功率は条件をそろえて自前で測り直す必要がある
  
  

PoCの初期で止まらないために、AI総合研究所は検討の入口で次の2つを決めておくよう助言しています。

まずは、タスクが接触と視覚のどちらに強く依存するかで、シム主体・実機データとの併用・世界モデルの導入のどれで学習を組むかを切り分けます。
続いて、GPU基盤がNVIDIA寄りならIsaac Lab 3.0、接触物理を重視するならMuJoCoを選び、基盤モデルが商用に回せるライセンスかを調べます。

遅延のモデリングを後回しにした方策は、物理や知覚の差を詰めたあとでさえ、実機で振動や過剰反応を起こしがちです。

ヒューマノイドや産業ロボットがPoCを抜けて量産へ進む道筋は、Sim-to-Realの出来しだいで変わります。