AI総合研究所

SHARE

X(twiiter)にポストFacebookに投稿はてなブックマークに登録URLをコピー

Real-to-Simとは?Sim-to-Realとの違いや主要技術、活用事例を解説

この記事のポイント

  • Real-to-SimはSim-to-Realと逆向きに「実機から高忠実度のシムを作る」技術分野で、Real2Sim2Realパイプラインの前段を担う中核要素
  • 中核技術はNeRF・3D Gaussian Splatting・Differentiable Simulationの3層で、2026年の主流は3D Gaussian Splattingによる高速フォトリアル復元
  • 2026年のスタックはNVIDIA Isaac Sim 6.0 NuRec・Cosmos 3・Isaac Lab 3.0に、Real-is-Sim(ICRA 2026)・PolaRiS・RoboGSimなどの研究基盤が組み合わさる構成
  • Niantic Spatial×FlexionAIのZero-shot real2sim2real humanoid navigation、Toyotaのバスケドリブル事例、FANUC・ABB・YASKAWA・KUKAのvirtual commissioningなど産業採用が揃った
  • 導入で詰まる論点はスキャン品質・物理パラメータ校正ズレ・GPU要件の3点で、特に接触の多い組立タスクでは実機計測との残差監視が必須
坂本 将磨

監修者プロフィール

坂本 将磨

XでフォローフォローするMicrosoftMVP

Microsoft MVP・AIパートナー。LinkX Japan株式会社 代表取締役。東京工業大学大学院にて自然言語処理・金融工学を研究。NHK放送技術研究所でAI・ブロックチェーンの研究開発に従事し、国際学会・ジャーナルでの発表多数。経営情報学会 優秀賞受賞。シンガポールでWeb3企業を創業後、現在は企業向けAI導入・DX推進を支援。

Real-to-Sim(リアル・トゥ・シム)は、実機で収集したセンサーデータや映像から、シミュレーション環境と物理パラメータを自動で復元する技術分野の総称です。

Sim-to-Realが「シムで学んだ方策を実機に移す」方向の技術であるのに対し、Real-to-Simは逆向きに「実機側からシムを作り直す」立ち位置にあり、2026年のフィジカルAI実装では両者を往復させるReal2Sim2Realパイプラインが主流になりつつあります。

2026年11月時点では、NVIDIA Isaac Sim 6.0のNuRec(3D Gaussian Splatting統合)・Cosmos 3・Isaac Lab 3.0といった商用スタックに加え、Real-is-Sim・PolaRiS・RoboGSimなどの研究フレームワークが揃い、Real-to-Simの実装選択肢が実務レベルで出揃いました。

本記事では、Real-to-Simの定義・Sim-to-Realとの役割分担・中核となる3つの技術(NeRF/3D Gaussian Splatting/Differentiable Simulation)・実装パイプライン・2026年の主要プラットフォーム・Niantic+FlexionAIやToyotaなどの活用事例・導入で見落とされやすい論点・コスト構造までを、2026年11月時点の最新情報で体系的に解説します。

目次

Real-to-Simとは?実機からシミュレータを復元する技術分野

Real-to-Sim・Sim-to-Real・Real2Sim2Realの関係

Sim-to-Realだけでは埋まらない現実差とReal-to-Simの役割

Sim-to-Real側のアプローチが持つ3つの限界

Real-to-Simが補完する領域

Real-to-Simを構成する3つの中核技術

NeRF(Neural Radiance Fields)

3D Gaussian Splatting(3DGS)——2026年Real-to-Simの主流

Differentiable Simulation(微分可能シミュレーション)

Real-to-Simのパイプラインと実装ワークフロー

1.実機データ収集

2.3Dシーン復元

3.物理パラメータ校正

4.シム学習・方策訓練

5.実機ロールアウトとフィードバックループ

Real-to-Simの主要プラットフォーム・フレームワーク

NVIDIA Isaac Sim 6.0 + NuRec

NVIDIA Cosmos 3——世界基盤モデルによる合成データ生成

Real-is-Sim(ICRA 2026)

PolaRiS・RoboGSim・OpenReal2Sim

Real-to-Simの活用事例

Niantic Spatial×FlexionAI——Zero-shot real2sim2real humanoid navigation

Toyota Research——Real2Sim actuator modeling

産業用ロボットのVirtual Commissioning——FANUC・ABB・YASKAWA・KUKA

NVIDIA Cosmos-H-Dreams——外科ロボットの物理生成シミュレーション

Real-to-Sim導入で見落とされやすい3つの観点

データ品質——スキャン枚数・アングル・センサー種別

物理パラメータ校正のズレ——接触の多いタスクほど効く

計算コストとGPU要件——用途別のGPU選定

Real-to-Simの料金とコスト構造

GPU計算費の目安

エンジニア工数とスキャン標準化

Real-to-Simの現場スキャンを、撮る人や拠点によらず同じ手順で回す

まとめ

Real-to-Simとは?実機からシミュレータを復元する技術分野

Real-to-Simとは

Real-to-Sim(Real2Sim・リアル・トゥ・シム)とは、実機で収集した映像・センサーデータ・計測値から、シミュレーション環境と物理パラメータを自動で再構成する技術分野の総称です。

扱う対象はシーンの3D形状・テクスチャ・ライティングから、剛体・変形体の質量や摩擦係数、アクチュエータの応答特性まで広く、ロボット学習の前段で「学習に使うシム自体を実機に寄せる」役割を担います。


Sim-to-Realが仮想環境で学んだ方策を実機に転移させる流れであるのに対し、Real-to-Simは逆向きに「実機側からシム環境を組み直す」ベクトルに立ち、2026年のフィジカルAI実装では両者を1本のパイプラインで往復させるReal2Sim2Realが基本形になりつつあります。

Real-to-Sim・Sim-to-Real・Real2Sim2Realの関係

Real-to-Sim Sim-to-Real Real2Sim2Realの関係

Real-to-SimとSim-to-Realは別物ですが、実務ではReal2Sim2Realという統合パイプラインの一部として語られる場面が増えました。各用語の守備範囲は、以下の整理で見ると混乱しません。

  • Sim-to-Real
    シムで学習したロボット方策を実機に転移させる方向の総称。Domain Randomizationなどの手法でシム側を揺らし、実機の多様性に強い方策を作るアプローチが代表的。

詳細はSim-to-Realとは?リアリティギャップや主要手法、2026年の最新実装を解説で扱っています

  • Real-to-Sim
    実機で収集したデータからシム環境・物理パラメータを自動復元する方向の技術分野。本記事の主題

  • Real2Sim2Real
    Real-to-Simで作ったシム上でSim-to-Real学習を行い、得られた方策を実機に戻す統合パイプライン。NVIDIAのIsaac Sim 6.0やNiantic Spatial+FlexionAIの実装などで単一ワークフローとして回る形が出てきた


ここでのポイントは、Real-to-Simは単体で完結する技術ではなく、「Sim-to-Realの性能を引き上げるための前段」として設計されるのが2026年時点の標準だという点です。

AI Agent Hub1


Sim-to-Realだけでは埋まらない現実差とReal-to-Simの役割

Sim-to-Realだけでは埋まらない現実差とReal-to-Simの役割

Real-to-Simが2026年に入って一気に注目された背景には、Sim-to-Real側のアプローチだけではリアリティギャップを埋めきれないタスクが現場で表面化してきた、という事情があります。

本セクションでは、Sim-to-Real側の具体的な限界と、Real-to-Simがそれを補完する領域を整理します。

Sim-to-Real側のアプローチが持つ3つの限界

Sim-to-Real側のアプローチが持つ3つの限界

Sim-to-Realの第一選択であるDomain Randomizationは、パラメータの揺れ幅を広げるほど汎化性能が上がる一方、広げすぎると方策が収束しづらくなるトレードオフを抱えています。

実機で動く方策を得るためには、以下の3点が壁になりがちです。

  • シムアセット作成の人手コスト
    工場レイアウト・部品形状・対象物の配置を手作業でモデリングする工数が大きく、拠点や製品が増えるほど準備時間が線形以上に膨らむ

  • 物理パラメータ校正の限界
    摩擦係数・剛性・減衰を人手でチューニングしても、個体差・経年劣化・環境温度の影響を定常的に取り込めない。特に接触が多いマニピュレーションではこの残差が決定的になる

  • 長尾タスクへの弱さ
    Domain Randomizationは多様な変動をカバーできる一方、現場固有の物体配置・照明・床面テクスチャのように想定した変動範囲の外側にある条件を十分にカバーしきれない場合がある


これらは「シム側をどう揺らすか」のチューニングだけで完結しない問題で、実機側の情報をシム構築工程に戻す仕組みが求められてきた、というのがReal-to-Sim台頭の構造的な背景です。

Real-to-Simが補完する領域

Real-to-Simが補完する領域

Real-to-Simは、Sim-to-Real側で人手に委ねられていた工程を自動化することで、学習ループ全体のスループットを引き上げる役割を担います。

  • 環境資産の自動生成
    実機のRGB動画・LiDARスキャンから3Dシーンを自動構築し、シム上の床・棚・対象物を手作業でモデリングする工程を省く

  • 物理パラメータの実測ベース校正
    実機で計測したトルク・接触力・関節角度から、シム側の物理パラメータを微分可能シミュレーションで逆推定する

  • デジタルツインの継続更新
    実機の動作ログを定常的にシムへ戻すことで、季節変動・レイアウト変更・新しい対象物をシムに追随させる


AI総研の支援現場でも、製造ラインの試作評価や物流拠点の方策検証では「シムをどう揺らすか」より「シムをどう現場に合わせ直すか」のほうが先に効くケースが増えてきました。Real-to-Simは、この肌感を技術として整理した領域と言えます。


Real-to-Simを構成する3つの中核技術

Real-to-Simを構成する3つの中核技術

Real-to-Simのパイプラインを支えるのは、大きく分けて「見た目を復元する技術」「物理を復元する技術」「システムとして辻褄を合わせる技術」の3層です。

以下の表で、2026年時点の主要技術を役割別に整理しました。

技術 復元対象 代表的な起点・実装 2026年の立ち位置
NeRF(Neural Radiance Fields) シーンの3D形状と視覚外観 2020年のNeRF論文、Instant-NGP 高忠実度のオフライン復元で現役、リアルタイム描画は3DGSに主役を譲る
3D Gaussian Splatting(3DGS) シーンの3D形状と視覚外観 2023年の3DGS論文、Isaac Sim 6.0のNuRec統合 Real-to-Simの主流手法。描画がリアルタイム級に高速でロボット学習と相性が良い
Differentiable Simulation 剛体・変形体の物理パラメータ NVIDIA Newton Physics、MuJoCo XLA 実機計測から勾配ベースで物理を逆推定。接触の多いタスクで効く


この比較から見えるのは、見た目の復元ではNeRFから3D Gaussian Splattingへの重心移動が進み、物理の復元は微分可能シミュレーションがいよいよ実務段階に入ってきた、という2方向の進化です。

NeRF(Neural Radiance Fields)

NeRF

NeRFは、複数視点から撮影した画像をニューラルネットワークで学習し、シーン全体を連続的な体積場として表現する技術です。2020年のNeRF論文で提案されて以降、Instant-NGP・Mip-NeRFといった派生系が高速化と品質向上を進めてきました。

Real-to-Sim文脈では、撮影した現実シーンを高忠実度の3Dモデルとして復元し、シム上に配置する用途で使われてきました。

レンダリング品質は非常に高い一方、学習と描画が重く、ロボット学習のように大量のロールアウトを回す用途には向き切らなかった点が、次に紹介する3D Gaussian Splattingへの移行を後押ししています。

3D Gaussian Splatting(3DGS)——2026年Real-to-Simの主流

3D Gaussian Splatting NeRFとの速度品質比較

3D Gaussian Splatting(3DGS)は、2023年のSIGGRAPH論文で提案されたレンダリング手法で、シーンを数百万個の3Dガウシアン粒子で表現し、高速かつフォトリアルに描画できる特徴があります。

NeRFと比べたときの強みは、描画がリアルタイム級に高速で、ロボット学習の数千万ステップのロールアウトでもレンダリングコストが律速になりにくい点です。

学習自体は数分〜数時間の実行時間を要しますが、学習済みシーンを使ったロールアウトの高速性が実装上の決定的な優位になります。

2026年6月4日に一般提供が始まったNVIDIA Isaac Sim 6.0のNuRec(Neural Reconstruction)ライブラリは、この3D Gaussian SplattingをFabric Scene Delegate経由でシミュレータに統合し、光のインタラクション・MaterialX互換・マルチGPU描画を揃えた形で提供しています。

Real-to-Simの標準スタックがコンシューマ向けツールからロボティクスの基幹プラットフォームに組み込まれた象徴的な動きです。

3D Gaussian Splattingによる自転車シーンの高忠実度復元例
3D Gaussian Splatting論文で示された自転車シーンの高忠実度復元例(出典:3D Gaussian Splatting for Real-Time Radiance Field Rendering (Inria))

Differentiable Simulation(微分可能シミュレーション)

Differentiable Simulation 古典System IDとの違い

Differentiable Simulationは、物理シミュレーション全体を微分可能な計算グラフとして組み立て、実機計測との残差を勾配で逆伝播して物理パラメータを推定する手法です。

System Identificationは古典的にも数値最適化(勾配法を含む)で物理パラメータを合わせ込みますが、Differentiable Simulationはシミュレーション全体を微分可能にして物理エンジン内部の勾配を使える点が実装上の違いで、大量のパラメータを同時に調整しやすくなります。

代表的な実装は、Disney Research・Google DeepMind・NVIDIAの共同プロジェクトとして公開されたNewton Physics 1.0で、GPU上で動作しケーブル・布・変形体のモデリングに強みを持ちます。微分可能物理エンジンをReal-to-Simの物理復元層として組み込む研究は、2026年に入って急速に広がっています。

NVIDIA Newton Physicsでロボットアームが布と球を扱う接触リッチなタスク例
Newton Physicsで扱う接触リッチな産業ロボットタスクの例(出典:NVIDIA Developer Blog)


Real-to-Simのパイプラインと実装ワークフロー

Real-to-Simのパイプラインと実装ワークフロー

Real-to-Simの実装は、Real2Sim2Realパイプラインの前段として5ステップで整理できます。本セクションでは、各ステップで何を復元し何を次工程に渡すのかを順に見ていきます。

以下の表で、5ステップの入力・出力・主要ツールを整理しました。

ステップ 入力 復元対象 主要ツール
1. 実機データ収集 現場の映像・センサー RGB動画・LiDAR・触覚・関節トルク スマホ動画/LiDAR/ハンドカメラ
2. 3Dシーン復元 複数視点の画像・ポイントクラウド シーン形状とテクスチャ Isaac Sim 6.0 NuRec/Nerfstudio
3. 物理パラメータ校正 実機の軌道・接触力ログ 質量・摩擦・剛性・アクチュエータ応答 Newton Physics/MuJoCo XLA
4. シム学習・方策訓練 復元シーン+物理パラメータ ロボット方策 Isaac Lab 3.0/π0.5/GR00T N1.6
5. 実機ロールアウト 学習済み方策 実機の動作ログ・失敗事例 実機+ログ基盤


このパイプラインは一方通行ではなく、Step 5の失敗ログをStep 1〜3に戻して再復元するフィードバックループが前提で設計されるのが2026年の標準です。

1.実機データ収集

Step 1 実機データ収集

Real-to-Simの出来を左右する最初の分岐点が、現場でどんなデータを・どんな密度で集めるかです。用途ごとに要件が変わるため、「撮っておけばよい」では済みません。

  • シーン全体を復元するなら
    複数視点から数十〜数百枚のRGB画像、可能であればLiDARスキャン。照明条件は本番運用に近づけておくと後工程のドメインギャップが減る

  • 物理パラメータを校正するなら
    実機の関節トルク・接触力・関節角度の時系列ログ。可能ならアクチュエータの応答試験データも取る

  • 操作対象物を復元するなら
    対象物単体を複数角度から撮影したマルチビュー画像。産業部品ならCAD図面との突き合わせも活用


データ収集は現場の人手に依存しがちで、ここが詰まるとパイプライン全体が前に進みません。AI総研の支援でも、スキャン手順の標準化を先に作って拠点横展開するケースが増えています。

2.3Dシーン復元

Step 2 3Dシーン復元

Step 1で集めた画像群から、3D Gaussian SplattingやNeRFでシーンを復元します。

2026年の典型的な実装は、COLMAPでカメラ姿勢を推定し、3DGUTでガウシアン表現を学習してNuRec仕様のUSDZに書き出し、Isaac Sim 6.xに取り込む流れで、Fabric Scene Delegate経由で既存のメッシュアセットと同じ座標系で合成できます。

復元したシーンはそのまま描画対象になるだけでなく、衝突判定用のコリジョンプロキシも同時に生成するのが実務では重要です。Isaac Sim 6.xのドキュメントでも、同じシーンを知覚学習と物理シミュレーションの両方で使い回すために、ガウシアン表現とペアで軽量メッシュを持たせる構成が推奨されています。

3.物理パラメータ校正

Step 3 物理パラメータ校正

3Dの見た目が揃っても、質量・摩擦・剛性が実機と一致しないと接触の多いタスクでは失敗します。Differentiable Simulationを使い、実機で計測した軌道と接触力ログから物理パラメータを逆推定するのがこの工程です。

Newton Physicsのような物理エンジンでは、微分可能性に対応したソルバーを使うことで、実機の軌道と同じ初期条件でシムを回し、終端状態の差分を損失として物理パラメータに勾配を流せます。摩擦係数・減衰・サーボの応答時間など、個別にチューニングしていた項目をまとめて最適化できる点が実装上の価値です。

微分を使わない経路としては、Isaac SimのSystem Identification拡張(beta)がCMA-ES等の勾配フリー最適化で摩擦・減衰を校正する公式手順を提供しており、Differentiable Simulationと並ぶ選択肢として扱えます。

制御周期や通信遅延を含めてモデル化してシムに織り込む工程は、Real-to-Simの物理校正でも実機再現性を左右する要素として重視されており、Step 3はこの対策の自動化版と位置づけられます。

4.シム学習・方策訓練

Step 4 シム学習方策訓練

Step 2・3で整えたシム上で、強化学習や模倣学習、VLA(Vision-Language-Action)モデルの事後学習を回します。復元シーンがフォトリアルかつ物理も実機に寄っているため、Domain Randomizationの揺れ幅は従来より狭く設定でき、学習効率が上がる傾向があります。

2026年の実装では、Isaac Lab 3.0上でNVIDIA GR00T 2やπ0.5などのロボット基盤モデルをファインチューニングする構成が公開実装例として広がっています(RLinfによるVLA事後学習はIsaac Labの実験的機能として提供)。シムが実機に寄っているため、少ない実機ロールアウトでも方策が安定しやすく、PoCから量産への移行サイクルが短縮できます。

5.実機ロールアウトとフィードバックループ

Step 5 実機ロールアウトとフィードバックループ

学習した方策を実機で動かし、失敗事例・外れ値をログに残します。Real-to-Simの強みはここからで、失敗したシーンの画像・接触力ログをStep 1〜3に戻し、シム側を更新できます。

このループが短く回る実装では、現場での失敗を2〜3日でシムに反映し、再学習した方策を翌週に実機で試す、といったサイクルが成立します。

従来のSim-to-Real運用が「初期セットアップに数週間」だったのに対し、Real2Sim2Realパイプラインは初期化後の運用保守フェーズが主戦場になる点が特徴的です。


Real-to-Simの主要プラットフォーム・フレームワーク

Real-to-Simの主要プラットフォーム・フレームワーク

Real-to-Simの実装選択肢は、商用プラットフォーム・研究フレームワーク・OSSツールキットの3層で整理できます。既存のロボット開発基盤がNVIDIA寄りかOSS寄りかで最適解が変わります。

以下の表で、2026年11月時点の主要プレイヤーを層別にまとめました。

層 主要プレイヤー 役割 ライセンス/提供形態
商用シミュレータ NVIDIA Isaac Sim 6.x(NuRec) 3DGS統合シミュレータ Apache 2.0(公開ソースコード)/Kit・アセットは別条件
商用世界モデル NVIDIA Cosmos 3 世界基盤モデル・合成動画生成 オープンウェイト(Hugging Face)
商用学習基盤 NVIDIA Isaac Lab 3.0 シム上での方策学習 BSD-3-Clause(2026年10月20日GA)
研究フレームワーク Real-is-Sim(ICRA 2026) 動的デジタルツインとポリシー評価 RA-L採択・論文公開
研究フレームワーク PolaRiS Scalable Real-to-Sim Evaluations arXiv公開
研究フレームワーク RoboGSim 3DGS+物理エンジンのReal2Sim2Real arXiv・GitHub
OSSツールキット OpenReal2Sim Real-to-Sim学習スタジオ GitHub


この表から見えるのは、商用スタックがNVIDIA系に集約しつつ、研究側はICRA 2026周辺で急速に成熟してきた、という2026年の構図です。

NVIDIA Isaac Sim 6.0 + NuRec

NVIDIA Isaac Sim 6.0 + NuRecの統合構造

NVIDIA Isaac Sim 6.0は、2026年6月4日に一般提供が開始されたロボティクス向けシミュレータのメジャー版で、Omniverse NuRecを通じて3D Gaussian Splattingを標準統合した点が最大の変化です。

その後、Isaac Sim 6.2.0が2026年10月14日に公開され、NuRecのGaussian depth/albedo有効化などの機能が追加されています。

Radiance Fields編集部の解説記事によれば、NuRec経由で取り込んだガウシアン表現は、Fabric Scene Delegateによるマルチビュー描画、メッシュアセットとの光インタラクション、MaterialX互換といった要素を備え、既存のUSDアセットと同じ座標系で動かせます。

同時にPhysXとNewton Physicsを切り替えられるマルチ物理バックエンド構成も用意されており、知覚学習と物理シミュレーションを同じシーンで回せる設計です。Real-to-Simの標準プラットフォームとして2026年下期の採用が加速しています。

Isaac SimとIsaac Lab上で訓練された家電操作・精密組立・ヒューマノイド群訓練の実例
Isaac SimとIsaac Lab上で訓練された家電操作・精密組立・ヒューマノイド群訓練の実例(出典:NVIDIA Blog — Practice Makes Precise)

NVIDIA Cosmos 3——世界基盤モデルによる合成データ生成

NVIDIA Cosmos 3による合成データ生成フロー

NVIDIA Cosmos 3は、2026年5月に発表された世界基盤モデルで、合成動画生成・物理推論・アクション生成を単一モデルで扱う構成です。

Real-to-Sim文脈では、実機で撮影した1回のデモンストレーションから数千パターンの変種動画を生成し、復元したシム上で大量の学習データを作る用途が注目されています。

Super/Nano/Edgeの3グレードがオープンウェイトで提供されており、Cosmos3-Nano公式モデルカードでは全体13億データ点・生成用動画3億4,800万サンプル規模で学習されたと示されています。

Isaac Sim 6.xと組み合わせる形では、「実機デモで方策プロトタイピング→シム上の深度映像をCosmosでフォトリアルなRGB映像に変換→Isaac Labで方策学習」という流れが単一ベンダーで完結するようになったのが2026年下期の変化です。

NVIDIA Cosmos 3のローンチキービジュアル
Cosmos 3のローンチキービジュアル(2026年6月1日発表、出典:NVIDIA Newsroom)

Real-is-Sim(ICRA 2026)

Real-is-SimのEmbodied Gaussianと60Hz同期

Real-is-Simは、The Robotics and AI Institute(RAI)が中心となってICRA 2026・RA-Lに採択された研究フレームワークです。

Embodied Gaussianと呼ばれる粒子表現で物理挙動と視覚外観を統合的に扱い、60Hzで現実と同期する動的デジタルツインを構築します。

特徴的なのは、学習・評価・デプロイのすべてを「シムの中」で完結させる設計で、実機は同期されたシムの関節状態に追従させる、という逆転の発想を採用している点です。

これにより、Sim-to-Realのギャップそのものを「学習→デプロイの境界」で発生させない、という新しいアプローチを提示しています。

Real-is-SimのEmbodied Gaussianシミュレータと実機ロボットアームの同期デモ
Real-is-SimのEmbodied Gaussianシミュレータと実機の60Hz同期デジタルツイン(出典:RAI Institute — Real-is-Sim)

PolaRiS・RoboGSim・OpenReal2Sim

PolaRiS RoboGSim OpenReal2Sim

研究寄りの選択肢として、以下のフレームワークがReal-to-Simの実装選択肢に加わっています。

  • PolaRiS
    Scalable Real-to-Sim Evaluationsを掲げ、汎用ロボット方策の評価用デジタルツインを量産する研究

  • RoboGSim
    3D Gaussian Splattingと物理エンジンを組み合わせたReal2Sim2Realロボティックシミュレータ。ゼロショット転移の実証事例あり

  • OpenReal2Sim
    Real-to-Simのシーン再構成・Isaac Lab/MuJoCo連携を1つのワークベンチで扱うOSS


研究フレームワークは商用プラットフォームと比べて適用対象が特定タスクに寄る傾向があるものの、商用スタックに取り込まれる前の実装アイデアが先に出てくるため、PoC段階の選定候補として押さえておく価値があります。


Real-to-Simの活用事例

Real-to-Simの活用事例

Real-to-Simは研究フェーズを抜け、2026年には産業・ヒューマノイド・外科領域で具体的な活用事例が揃いました。本セクションでは、実装スタック別に代表的な採用例を紹介します。

Niantic Spatial×FlexionAI——Zero-shot real2sim2real humanoid navigation

Niantic Spatial × FlexionAI Zero-shot real2sim2real

Niantic Spatialの公式ブログによれば、Niantic Spatialが自社の3D復元パイプラインで屋内環境をNuRec仕様のUSDZに出力し、FlexionAIがそれをNVIDIA Isaac Sim/Isaac Labに取り込んでシム上でナビゲーション方策を学習、ゼロショットで実ヒューマノイドに転移するデモを成立させています。

事例としての重みは、「撮影→復元→学習→実機」の全工程を単一スタックで回し、追加の実機ファインチューニングなしに動作する点にあります。ヒューマノイドの屋内展開では、現場ごとのレイアウト適応が運用コストに大きく影響するため、Real2Sim2Realパイプラインの産業導入の象徴的な事例と位置づけられます。

Niantic Spatial・FlexionAI・NVIDIA Isaacの3社コラボによるreal2sim2real humanoid navigationキービジュアル
Niantic Spatial・FlexionAI・NVIDIA Isaacによる real2sim2real humanoid navigation(出典:Niantic Spatial Blog)

Toyota Research——Real2Sim actuator modeling

Toyota Real2Sim actuator modeling

トヨタ自動車のヒューマノイド研究では、実機のアクチュエータを実際に動かして取得したデータから、シミュレーション側のアクチュエータモデルを最適化するReal2Sim手法を採用しています。

この取り組みの結果、強化学習と人間のモーションキャプチャ参照動作を組み合わせて、ヒューマノイドに安定歩行とバスケットボールのドリブル動作を習得させる成果が報告されました。Real-to-Simの中でもStep 3(物理パラメータ校正)の精度が運動制御の実機再現性を直接押し上げる好例で、「見た目の復元」より「物理の復元」が効くユースケースを体現しています。

Toyotaヒューマノイドの歩行姿勢とバスケットボールドリブル動作
ToyotaがReal2Sim actuator modelingで実装したヒューマノイドの歩行とバスケドリブル動作(出典:Toyota Mobility Frontier Research)

産業用ロボットのVirtual Commissioning——FANUC・ABB・YASKAWA・KUKA

産業用ロボットのVirtual Commissioning

NVIDIAの発表によれば、FANUC・ABB Robotics・YASKAWA・KUKAといった産業用ロボットの主要ベンダーが、Omniverse+Isaac SimをVirtual Commissioning(仮想立ち上げ)システムに統合する動きが加速しています。

Virtual Commissioningは、実機設置前にシム上で制御ロジックを検証する工程を指し、Real-to-Simで現場の3D環境を取り込むことで実設置時のトライアルアンドエラーを大幅に短縮できます。既存のPLC・MESと連動したシミュレーションを行う産業用途では、現場の3D資産を自動取り込みできるかどうかが運用負荷を決めるため、Real-to-Simの産業採用が一気に進んだ領域です。

GTC 2026でNVIDIAが公開した産業ロボティクスエコシステムの4実例
GTC 2026で公開された産業ロボティクスエコシステムの実例(出典:NVIDIA Newsroom)

NVIDIA Cosmos-H-Dreams——外科ロボットの物理生成シミュレーション

NVIDIA Cosmos-H-Dreams 外科ロボット動画世界モデル

Cosmos-H-Dreamsは、NVIDIAが外科ロボット向けに提案した動画世界モデルで、ロボットの動作を条件として次の手術映像を生成する研究です。数値物理ソルバーではなく、実手術動画を学習した生成モデルとして位置づけられています。2026年11月にはCosmos3-H-Embodied-NanoやCosmos3-H-Dreamsといった次世代の派生モデルも紹介されており、医療ロボティクス向けの動画世界モデルが系譜として広がっています。

軟組織の変形・切開・縫合のような従来の物理シミュレーションでは扱いが難しい現象を、動画生成の学習で近似する点が特徴です。

医療ロボティクスのように実機での試行コストが高い領域で、Real-to-SimやReal2Sim2Realの発展形として注目されています。

メルマガ登録


Real-to-Sim導入で見落とされやすい3つの観点

Real-to-Sim導入で見落とされやすい3つの観点

Real-to-SimのPoCは上手く回っても、量産適用で詰まるケースは依然多く残っています。本セクションでは、導入判断で特に効く3つの観点を整理します。

データ品質——スキャン枚数・アングル・センサー種別

データ品質 スキャン枚数アングルセンサー種別

3D Gaussian Splattingの復元品質は、入力画像の数・アングル・重なり具合で大きく変動します。工場の試作ラインを復元するなら数十枚のRGB画像で足りることもありますが、金属光沢の多い部品や透明物体が混ざる現場では、RGBだけでは十分な品質が得られにくく、LiDARやデプスカメラとの併用が選択肢に入ります(ただしデプスカメラ自体も反射・透明面では無効な測距が出るため、材質とセンサーの相性は現場で検証が要る)。

スキャン手順を現場の人手で回す場合、「どのアングルから何枚撮るか」を事前に標準化していないとオペレーターごとに復元品質が揺れ、下流の学習結果が不安定になります。

AI総研の支援現場でも、Real-to-SimのPoCでつまずくケースの多くがStep 1のデータ品質に起因しており、ここの標準化が量産化の分水嶺になります。

物理パラメータ校正のズレ——接触の多いタスクほど効く

物理パラメータ校正のズレ 接触の多いタスクほど効く

見た目が実機とそっくりでも、剛体近似のまま布・ケーブル・液体を扱うと、接触の多いマニピュレーションではすぐ破綻します。

Differentiable Simulationを導入しても、何を校正パラメータに含めるかの設計を誤ると、勾配が別のパラメータに流れて見かけの損失だけが下がる状態になりがちです。

Newton Physicsのような微分可能物理エンジンを使う場合でも、校正する物理パラメータの選定と、その背景にある接触モデルの妥当性は人間が判断する領域として残ります。産業アームの組立タスクや医療の縫合タスクのように接触が勝負を分ける領域ほど、物理パラメータ校正の設計が運用成功率を左右します。

計算コストとGPU要件——用途別のGPU選定

計算コストとGPU要件 用途別のGPU選定

Real-to-Simの各工程はGPU計算量が大きく、特にIsaac Lab 3.0の方策学習は単一GPUからマルチGPU/マルチノードまでスケール可能な構成で設計されています。

大規模な並列学習ではDGX-class環境が有利になる一方、PoC規模なら単一GPUでも十分動きます。

一方、Isaac Sim 6.x系で3DGS復元を扱うNuRec描画はRTX A6000・L40S・RTX 6000 Ada等のRTX世代GPUが公式サポート対象で、A100・H100のようなデータセンターGPUはIsaac Simの描画対応リストには含まれません。

復元・描画用はRTX世代、方策学習用はH100/H200等のデータセンターGPU、という2層構成が実運用の現実解です。クラウドで回すならオンデマンドのGPU単価と、プリエンプティブル枠の活用計画をセットで設計するのが現実的です。


Real-to-Simの料金とコスト構造

Real-to-Simの料金とコスト構造

Real-to-Simのツール自体はOSS・オープンウェイト中心で、ソフトウェアライセンス費用は従来のPLC・CAEソフトと比べると抑えやすい領域です。

一方、GPU計算費とエンジニア工数が実質コストの大半を占めます。本セクションでは、構成要素と規模別のコスト目安を整理します。

以下の表で、Real-to-Simのコスト構造を4つの要素に分けて整理しました。

コスト要素 内訳 コストの読み方
ソフトウェアライセンス Isaac Sim/Isaac Lab/Newton/MuJoCo/Cosmos 3 本体は無償。Cosmos系は推論GPUが従量的に効く
GPU計算費 3DGS学習/シム学習ロールアウト/Cosmos推論 クラウド利用ならH100時間、オンプレならDGX調達費
エンジニア工数 スキャン手順設計/シム構築/物理パラメータ校正 現場との調整工数が大半。拠点数で線形に増える
実機・センサー費 LiDAR/ハンドカメラ/触覚センサー 既存設備があれば追加少、ゼロベースなら数百万〜


この構成から、Real-to-Simのコストは「ソフトを買う話」ではなく「GPUとエンジニア工数をどう確保するか」の話であることが分かります。

ソフトウェア予算よりも、継続運用のインフラ予算と内製人材育成を先に設計するのが実務の定石です。

GPU計算費の目安

GPU計算費の目安

2026年11月時点のクラウドGPU単価の一例として、Lambda公式料金表の2026年11月16日適用予定の新価格体系では、H100 SXM 80GBが構成別で$4.59〜$4.89/GPU時、A100 PCIe 40GBが$1.99/GPU時という水準です。
提供事業者・リージョン・契約形態(予約型/スポット)で2〜3倍変動するため、調達前に事業者ごとの最新表で確認が必要です。

自社データセンターでDGX H100を導入する場合、1ノードで数千万円規模の設備投資が目安になります。

PoC段階ではクラウドのオンデマンド+プリエンプティブルの組み合わせで、GPU 2〜4枚を1日8時間×月20日(320〜640 GPU時間/月)稼働させる構成なら、H100 SXMで月約20〜50万円、A100 PCIeで月約10〜20万円のGPU予算から始められます。量産適用に進んだ段階でDGX調達やVertex AI/AWS Bedrockとの併用を検討する流れが定着しつつあります。

エンジニア工数とスキャン標準化

エンジニア工数とスキャン標準化

Real-to-Simの導入で意外と重いのが、現場のデータ収集を誰が・いつ・どの手順で回すかの設計工数です。工場・物流拠点・医療施設のように拠点数が多い組織では、スキャン手順書とオペレーター教育をパイプラインに組み込まないと、毎回バラツキが出てシム学習が安定しません。

AI総研の支援現場でも、Real-to-Simの導入で現場の運用設計とオペレーター教育に相応の工数を割くケースが一般的です。「GPUより人の問題」という肌感が強く、ここを軽視するとツール選定がどれほど正しくても量産フェーズで詰まります。


Real-to-Simの現場スキャンを、撮る人や拠点によらず同じ手順で回す

Real-to-Simの復元品質は、どの角度から何枚撮るかで大きく変わるため、そこを決めずに現場へ任せると、撮る人ごとに出来が揺れて方策の学習が安定しません。PoCの1拠点からほかの拠点へ広げ、レイアウトの変更に合わせて撮り直していくほど、GPUやツールの選定より、撮り方の手順と撮影の記録を社内でどう回すかが効いてきます。

この運用を支えるのが、工場のファイルサーバに残る図面や帳票、現場写真をOneLakeにつなぎ、テンプレートAgentから参照できる状態にする、製造業のためのAI基盤です。AI総合研究所のAI Agent Hubなら、PoCで決めた撮り方を、あとから加わる担当者が同じ手順書と台帳で扱えます。

  • 決めた撮り方を、現場からTeamsで引く
    担当者が撮影の前に尋ねると、どのアングルから何枚撮るかを定めた手順書の該当箇所を、ナレッジ検索Agentが社内の文書から探して示します。

  • 撮り方の差を、撮影の記録から見つける
    撮影ごとの枚数やアングル、使ったセンサー、復元の結果を記した台帳から、うまくいかなかった回の撮り方を拠点や担当者ごとに集計して並べます。

  • 撮り直す範囲を、配置図の版で絞る
    設備の配置図は図面保存AgentがOneLakeに版ごとに残すため、レイアウトを変えたときは前の版と比べて、変わった区画だけを撮り直す判断に使えます。



AI総合研究所の専任チームが、最初の拠点でまとめた手順書と撮影の台帳をAgentで扱える形に整え、次の拠点の担当者がTeamsで引けるようになるまで支援します。

現場スキャンの手順をほかの拠点へ広げる

AI Agent Hub

撮影の記録から復元の出来を見比べる

撮る角度や枚数で3Dの復元品質が揺れるReal-to-Simでは、拠点を広げる前に、撮り方の手順と撮影の記録を社内でそろえる段取りが要ります。社内文書の検索や現場データの集計、図面の版管理を受け持つテンプレートAgentは、AI Agent Hubの製造業向けページで部門ごとにたどれます。


まとめ

本記事では、Real-to-Simを「実機で集めた映像やセンサーデータから、シミュレーション環境と物理パラメータを自動で再構成する技術」として整理し、Sim-to-Realとの役割分担・中核技術・実装の流れ・主なプラットフォーム・活用事例・見落とされやすい観点・コスト構造を解説しました。

2026年11月時点で押さえておくべきポイントは次の3つです。

  • 3D Gaussian Splattingが見た目の復元の主流となる一方、物理の復元では微分可能シミュレーションが実務の段階に入った
  • 商用のスタックはIsaac Sim 6.0を中心にNVIDIA系へ集まり、研究側からは製品に取り込まれる前の実装の発想が先に出てくる
  • 実機での失敗をシムに戻して作り直す流れを繰り返すため、初期の構築より運用と保守の段階に手間の重心が移る

AI総合研究所は、物理の校正と計算資源の確保を、Real-to-Simの検証を始める前の準備に位置づけています。

まずは、前提とする接触モデルが妥当かを確かめたうえで校正に含める物理パラメータを選び、実機の軌道と接触力のログを取る計画にまとめます。
続いて、復元と描画にはRTX世代、方策学習にはデータセンター向けのGPUを充て、検証の間はクラウドのオンデマンド枠とプリエンプティブル枠を組み合わせます。

シムが実機に寄るほど、Sim-to-Realで使うDomain Randomizationの揺れ幅を狭く設定でき、少ない実機ロールアウトで方策を仕上げやすくなります。

撮影、復元、学習、実機への転移を一つのスタックで回す事例が揃い、Real-to-Simは研究の段階を抜けて、現場にロボットを立ち上げる実務の工程へ移っています。

監修者
坂本 将磨

坂本 将磨

Microsoft MVP・AIパートナー。LinkX Japan株式会社 代表取締役。東京工業大学大学院にて自然言語処理・金融工学を研究。NHK放送技術研究所でAI・ブロックチェーンの研究開発に従事し、国際学会・ジャーナルでの発表多数。経営情報学会 優秀賞受賞。シンガポールでWeb3企業を創業後、現在は企業向けAI導入・DX推進を支援。

関連記事

AI導入の最初の窓口

お悩み・課題に合わせて活用方法をご案内いたします
お気軽にお問合せください

AI総合研究所 Bottom banner

ご相談
お問い合わせは
こちら!