第 4 章 学習とデータ4.5

NVIDIA NemotronとCosmosの違いを箱運びで読み解く

NVIDIAの2026年10月のモデル発表と11月の研究報告をもとに、Nemotron 3.5 Super VLとCosmosの役割を整理します。箱を運ぶ場面から、画像の読み取り、操作後の映像予測、物理状態の計算を区別します。

要点

  1. Nemotron 3.5 Super VLは、画像と文章を手がかりに状況を読み取るモデルです。
  2. Cosmosの対話型シミュレーションでは、操作を変えた後にカメラに何が映るかを生成できます。
  3. 生成した映像をロボットの評価に使うときは、物体の位置や動きをどの仕組みが決めたかを確かめます。

作業台に青いトレーと段ボール箱があります。「箱をどこへ運ぶか」をカメラ画像と作業指示から読み取る場面と、「少し右から箱を押すと、その後どう見えるか」を試す場面では、モデルに渡す情報も、受け取りたい答えも違います。NVIDIAが2026年10月21日に発表したモデル群を、この架空の箱運びに当てはめてみます。

Nemotronが読み取る作業指示と画像

Nemotron 3.5 Super VLは、視覚と言語を扱うモデルです。箱運びなら、作業台の写真と「青いトレーに箱を移して」という指示を渡し、対象物と置き場所を言葉で答えさせる使い方が考えられます。読み取りを評価するには、箱が二つある写真や、トレーの縁が箱の陰に隠れる写真を用意し、どこまで識別できたかを答えと照合します。正しく答えた後にも、つかむ位置や腕を動かす量を決める工程が残ります。

NVIDIAの10月発表ではSuper VLの配布先にHugging Faceなどが挙がっています。同じ発表にあるCosmos 3.5は、物理世界の変化を扱う世界モデルの系列です。こちらでは開発者が運転やロボット操作を繰り返し試すための学習済みモデルと、訓練データを選別・生成するCosmos Data Factoryが紹介されました。

Cosmosが操作に応じて描く二つの映像

11月4日の研究報告で、NVIDIAの著者らは操作に応じて映像を順次生成する仕組みを示しました。報告にはロボットによる物体操作や、車載カメラの複数視点での実演が含まれます。箱を押す例に置き換えると、箱の動きを決める工程は、二つの経路に分かれます(図 4.5.1 操作からカメラ映像ができる二つの経路)。

方式箱を押した後の映像ができるまで評価で確かめたい点
操作から映像を予測する世界モデルが、押す操作に応じて次に見える箱の動きを予測する押す向きだけを変えたとき、映像の変化が観測した動きと合うか
外部の物理状態から映像を生成するシミュレーターが箱の位置や姿勢を更新し、世界モデルがその状態からカメラ映像を作る計算した箱の位置と、生成した映像に写る位置が対応するか
操作からカメラ映像ができる二つの経路箱を押す操作から世界モデルが映像を予測する経路と、物理状態を計算してから映像化する経路。箱を押す操作世界モデルが予測物理状態を計算状態から映像化カメラに映る箱
図 4.5.1 操作からカメラ映像ができる二つの経路

たとえば「箱がトレーの奥まで滑った」という映像を見ても、その原因は映像だけでは決まりません。二つ目の方式なら、まずシミュレーターが記録した停止位置を調べます。そこで既に滑り過ぎていれば床の摩擦などが調査対象です。停止位置が想定どおりなら、カメラからどう見えるかを生成する工程を調べられます。

箱の停止位置を測った検証

編集部がMuJoCo 3.16.0で箱を押した検証では、床の摩擦係数を0.5から0.2に変えると、箱は目標より57 mm先で止まりました。これは箱の位置をシミュレーター内で測った値です。NemotronとCosmosについて本稿で確認したのは公開資料までで、両モデルの推論精度や実機での停止位置は測定していません。MuJoCoで摩擦と停止位置を測った条件・結果

自社での取り組みについて相談する

ロボットやシミュレーターの検証・導入について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する