VLM（Vision-Language Model）とは？主要モデルや料金、選び方を徹底解説

VLM（Vision-Language Model・視覚言語モデル）とは、画像を入力し、言語で理解・推論・応答できるマルチモーダルLLMを指します。
2026年時点ではGPT-5.6 Sol/Terra/Luna・Claude Fable 5/Opus 4.8/Sonnet 5・Gemini 3.1 Pro Previewといった主要フラグシップがすべてVLM対応となり、Qwen3-VL 235B-A22Bなど一部のオープンウェイトは商用フロンティアに迫る水準に到達しています（InternVL3・LLaVA-OneVision-2はSelf-host／R&D用途の有力候補として位置づけられます）。

本記事では、VLMの定義とマルチモーダルAI・画像認識との位置づけ、CLIP型からEarly-fusion Transformerへのアーキテクチャの世代交代、OCR・ドキュメント理解・GUI操作といった実務ユースケース、主要9モデルの性能・料金比較、選定判断軸、詰まりやすい論点までを2026年7月時点の最新情報で整理します。

VLMとは？画像と言語をつなぐマルチモーダルLLMの2026年像

VLM（Vision-Language Model・視覚言語モデル）とは、画像を入力として受け取り、言語で理解・推論・応答できるマルチモーダルLLMのことです。

技術的には、視覚エンコーダで画像を特徴ベクトルに変換し、それを大規模言語モデルの入力空間に投影して統合処理する構造で、テキストと画像を同じ推論ループで扱えます。

2026年現在、VLMは学術用モデルではなく主要フラグシップLLMの標準機能として定着しています。

OpenAIのGPT-5.6（Sol/Terra/Luna 3層）と前世代GPT-5、AnthropicのClaude Fable 5/Opus 4.8/Sonnet 5、GoogleのGemini 3.1 Pro Preview、AlibabaのQwen3-VL、上海AI LabのInternVL3などが同じ「画像+テキスト→テキスト」のインターフェースで提供されるようになりました。

オープンウェイトのなかではQwen3-VL 235B-A22Bが商用フロンティアに迫る水準に到達しており、InternVL3・LLaVA-OneVision-2はSelf-host前提のR&D・業務ワークロード向けの有力候補として層をなしています。

マルチモーダルAI・LLM・画像認識のなかでのVLMの位置づけ

VLMを理解するうえで押さえておきたいのが、マルチモーダルAI・大規模言語モデル（LLM）・従来の画像認識AIとの関係です。

この3つと混同すると、モデル選定でも実装設計でも遠回りします。

以下の表で、VLMと隣接する4カテゴリの位置づけを整理しました。

カテゴリ	入力	出力	代表モデル
VLM	画像＋テキスト	テキスト	GPT-5、Claude Opus 4.8・Fable 5、Gemini 3.1 Pro、Qwen3-VL
マルチモーダルAI（上位概念）	画像・音声・動画・テキスト	テキスト・画像・音声等	GPT-5、Gemini 3.1 Pro、Sora、Suno
LLM（テキスト特化・旧世代）	テキスト	テキスト	GPT-3.5 Turbo、Claude 2.1、初期LLaMAシリーズ等（画像非対応の世代）
画像認識AI（旧世代CV）	画像	ラベル・座標・スコア	ResNet、YOLO、Cloud Vision AI
VLA（Vision-Language-Action）	画像＋テキスト	ロボット動作コマンド	π0、RT-2、Helix

マルチモーダルAIは音声・動画まで含む上位概念で、VLMはその中で「画像入力→テキスト出力」に特化した部分集合です。

LLMがテキストしか扱えなかった時代の制約を外し、業務で発生する画像・スクショ・PDFを同じ推論ループで扱えるようになったのが本質的な変化です。

旧世代の画像認識AIとの違いは、言語で操作できる点にあります。ResNetやYOLOは「猫」「99.2%」のような固定ラベルを返しますが、VLMは「この検査画像のどこに欠陥があり、原因として何が考えられるか」を自然言語で返せます。

ロボット制御向けのVLA（Vision-Language-Action Model）はVLMを土台にした派生系で、出力を「動作コマンド」に置き換えたものです。

---

VLMの仕組み——CLIP型デュアルエンコーダからEarly-fusion Transformerへ

VLMのアーキテクチャは、2020年代前半に主流だったCLIP型デュアルエンコーダから、2026年時点ではEarly-fusion単一Transformer型へと大きく世代交代しています。

この変遷を理解すると、「なぜオープンウェイトのQwen3-VLがGPT-5と肩を並べる水準に到達したか」「なぜCLIPの解説だけ読んでも今の主要VLMを理解できないか」がつながります。

第1世代：CLIP型デュアルエンコーダ（2021年〜）

第1世代の代表が、OpenAIが2021年に発表したCLIP（Contrastive Language-Image Pre-training）です。

CLIPは画像エンコーダ（ResNet/ViT）とテキストエンコーダ（Transformer）を別々に持ち、共有埋め込み空間でコントラスト学習によりペアの類似度を最大化する設計でした。

CLIPの対照学習：ペアの画像/テキストの類似度を最大化しつつ非ペアは削減する（出典：OpenAI）

CLIPは4億の画像テキストペアで訓練され、ゼロショット分類で従来の教師あり学習と同等の精度を出せることを示しました。

ただし、CLIPは分類・検索には強いものの、「この画像について説明してください」「表の数値を読み取って要約してください」といった生成タスクは苦手でした。テキストエンコーダの出力は固定次元のベクトルで、可変長の文章生成には向いていなかったためです。

第2世代：Vision Encoder + Projection + LLM（LLaVA型・2023年〜）

第2世代は、CLIP等で訓練済みの視覚エンコーダを、独立した大規模言語モデルに「橋渡し」する構造です。代表例がLLaVA（Large Language and Vision Assistant）で、以下の3層構造を取ります。

• 視覚エンコーダ
  CLIP ViT等の凍結された画像エンコーダで、画像を特徴トークンの列に変換する
  
  

• プロジェクション層（Projector）
  視覚特徴を言語モデルの埋め込み空間に線形変換する軽量な変換層
  
  

• 大規模言語モデル
  Vicuna・Llama等のオープンLLMが、視覚トークンとテキストトークンを結合して自己回帰的に応答を生成する

LLaVAはVision Encoderで抽出した特徴をProjection Wで言語モデルの埋め込み空間に射影し、言語モデルが応答を生成する（出典：LLaVA）

この構造の強みは、既存のLLM資産をほぼそのまま活かせる点にあります。視覚部分はプロジェクションだけを訓練すれば済むため、学習コストが劇的に下がりました。
LLaVA以降、MiniGPT-4・InstructBLIP・Qwen-VLなどがこの型で登場しました。

一方、視覚と言語が「別の脳」を持っている構造上、視覚推論の深さには限界があり、複雑な図表理解や長尺動画では次世代に譲る形になっています。

第3世代：Early-fusion単一Transformer（2025〜2026年）

第3世代——2026年時点の主流——は、視覚・言語（さらには音声）を最初から単一のTransformerで処理するEarly-fusion型です。

画像・動画・（一部モデルでは）音声が単一の early-fused トークンストリームとして入力され、生成側は依然としてテキストの自己回帰出力を行います。

GPT-5.6 Sol/Terra/Luna・Gemini 3.1 Pro Preview・Claude Fable 5/Opus 4.8/Sonnet 5・Qwen3-VLといった今の汎用フラグシップは、いずれもこの世代に属します。

Qwen3-VLでは Vision Encoder で得た画像/動画トークンを Qwen3 LM Dense/MoE Decoder に early-fusion で流し込む設計（出典：Alibaba Qwen）

この世代の設計上の利点は、視覚と言語の意味を初期段階から統合的に扱えるため、表やチャート、ドキュメント全体の視覚レイアウトを含む複雑な文書理解が飛躍的に改善した点にあります。

Anthropic系ではClaude Opus 4.7発表時にXBOW視覚精度ベンチマーク98.5%（Opus 4.6は54.5%）を記録し、その資産が現行のClaude Opus 4.8・Fable 5・Sonnet 5に継承されています

GoogleのGemini 3.1 Pro PreviewがMMMU-Pro 83.6%を達成しているのも、この世代交代の恩恵です。

学習手法——事前学習・SFT・RLHF・DPO

第2世代・第3世代のVLMはいずれも、以下の学習パイプラインを経て仕上げられます。

• 視覚言語事前学習
  画像キャプション・画像テキストペア・OCRデータ・図表データで、視覚と言語の対応関係を学習する
  
  

• 視覚指示チューニング（Visual Instruction Tuning）
  「画像を見て質問に答える」「画像から表を抽出する」といった指示形式のデータでSFT（Supervised Fine-Tuning）する
  
  

• 人間フィードバックによる強化学習（RLHF・DPO）
  生成結果の好ましさをフィードバックとして与え、指示追従性と幻覚抑制を高める

これらの学習ステージは基本的にテキストLLMと共通で、視覚側の追加が主な差分です。

同じ学習パイプラインを使うため、テキスト側の性能向上（RLHF・DPO・Constitutional AI等）がそのままVLMにも波及し、結果としてフロンティア級VLMの精度が急速に伸びています。

---

VLMでできること——OCR・ドキュメント理解・GUI操作・視覚推論

VLMの実務用途は多岐にわたりますが、ビジネスで頻出するのはドキュメント理解・視覚推論・GUIエージェント・図表数値抽出の4カテゴリです。

以下の表で、主要ユースケースと従来手法との違いを整理しました。

ユースケース	従来手法	VLM活用の変化
ドキュメント理解／OCR	Google Cloud Vision・AzureのForm Recognizer等の専用OCR	VLM単体で文字認識＋レイアウト理解＋構造化を一気通貫。処理コストが75〜92%減る事例も
視覚QA・画像説明	固定タグの画像認識	「この検査画像の異常箇所と考えられる原因は？」など自由な自然言語で応答
GUIエージェント	RPA（画面座標指定）	スクショから要素を意味理解し、Computer Use等で「注文キャンセル画面まで進めて」を実行
図表・チャート数値抽出	手作業でExcelに転記	論文・報告書のグラフから数値を直接取り出し、後段のLLM推論に接続

この4カテゴリのうち、実務インパクトが大きいのはドキュメント理解とGUIエージェントの2つです。

ドキュメント理解——AI-OCRを代替する現実的な選択肢

VLMは単なる文字認識ではなく、レイアウトの意味を保ったまま構造化できる点で従来OCRとは別物です。

請求書・領収書・図面・検査票・帳票のように、位置関係が意味を持つドキュメントでは、専用OCRが必要としていた「レイアウト解析→OCR→ルール抽出→構造化」の多段パイプラインを、VLM単体で1回の推論に集約できます。

Vary/DeepSeekVL世代（並列パイプライン）→ InternVL/DeepSeekVL2世代（多パッチ分割）→ Qwen2/2.5/3-VL世代（NaViT型）への視覚エンコーダ設計の変遷（出典：DeepSeek-OCR論文）

2026年時点では、VLMベースのドキュメント処理を採用した企業で処理コストが75〜92%削減された事例が報告されています。月100万ページ超を処理する規模では、この単価差がインフラ意思決定を左右します。

日本語ドキュメントに特化した用途では、DeepSeek-OCRやDocument AIといった専用モデル・サービスも登場しており、汎用VLMと使い分ける設計が定着しつつあります。

【関連記事】
おすすめのAI-OCRサービスを徹底比較！選び方・利用時の注意点も紹介

視覚QA・画像説明

固定タグ返しの旧世代画像認識とは異なり、VLMは「画像＋質問」に対して自然言語で答えます。

現場のユースケースとして、以下のようなものが典型です。

• 製造ラインの検査画像から欠陥位置とその物理的原因の推定
• 医療画像（X線・皮膚科写真等）から関心領域のハイライトと所見文の下書き生成
• SNS投稿画像のブランド適合性チェック（テキスト・画像の両方でNG判定）
• 自動車のドラレコ映像から事故要因の分析コメント生成
  
  

いずれも「画像を分類する」ではなく「画像を読んで人間に説明する」ステップが業務で要る領域で、VLM以前は人間が担っていた作業です。

GUIエージェント——スクショから画面を操作する

2026年に急速に伸びているのが、VLMを使ってPCやスマホのGUIを操作する用途です。

OpenAI Operator・Anthropic Claude Computer Use・Gemini 2.5 Computer Useなどが代表例で、スクリーンショットをVLMに渡して「注文キャンセル画面まで進めてほしい」といった指示を出すと、モデルが画面要素を意味理解してマウス・キーボード操作を出力します。

従来のRPAが「画面座標のハードコーディング」に依存していたのに対し、VLMベースのGUIエージェントはUIが変わっても意味で辿れるため、Webサービスや業務システムのUI改修に強い耐久性を持ちます。

Anthropic Claude Opus 4.7が2,576ピクセル長辺（約3.75メガピクセル）の高解像度スクショを直接扱えるようになった資産は、現行のClaude Opus 4.8・Fable 5・Sonnet 5にも引き継がれており、密なダッシュボードUIも実用範囲に入りました。

図表・チャート数値抽出

論文・IR資料・行政の統計PDFに埋め込まれたグラフから、数値を直接取り出す用途もVLMの得意領域です。

Gemini 3.1 Pro PreviewはMMMU-Pro（マルチモーダル推論ベンチマーク）で83.6%、Qwen3-VL Plusは256Kのコンテキスト長で長尺PDFを一括処理でき、財務分析や競合調査といった業務での効率化余地が大きくなっています。

---

主要VLM比較——プロプライエタリ6本＋オープンウェイト3本

2026年7月時点で企業導入の候補になる主要VLMを、プロプライエタリ6本＋オープンウェイト3本で整理します。

以下の表は、それぞれの提供元・入力単価・出力単価・コンテキスト・ライセンス・強みを一覧化したものです。

モデル	提供元	入力単価/1M	出力単価/1M	コンテキスト	ライセンス	強み
GPT-5.6 Sol/Terra/Luna	OpenAI	Sol $5 / Terra $2.50 / Luna $1	Sol $30 / Terra $15 / Luna $6	1.05M	商用	現行3層フラグシップ（2026-07-09 GA）、Programmatic Tool Calling
GPT-5（前世代）	OpenAI	$1.25	$10	400K	商用	前世代扱いだが低単価ベースライン、Responses APIのComputer use対応
Claude Fable 5	Anthropic	$10	$50	1M	商用	Mythos級の一般公開最上位モデル
Claude Opus 4.8	Anthropic	$5	$25	1M	商用	complex coding・ドキュメントQA・Computer Use
Claude Sonnet 5	Anthropic	$2〜$3	$10〜$15	1M	商用	near-Opus性能で低単価・高解像度vision・128K出力
Gemini 3.1 Pro Preview	Google	$2（≤200K）／$4（超）	$12（≤200K）／$18（超）	1M	商用	ネイティブ長尺動画・Vertex AI統合（GUI用途はGemini 3.5 Flash等が別途対応）
Qwen3-VL Plus	Alibaba	段階課金（例: シンガポール $0.24（≤32K）/$0.36（≤128K）/$0.72（≤256K）／中国 $0.17/$0.26/$0.52）	段階課金（シンガポール $1.92/$2.88/$5.76／中国 $1.72/$2.58/$5.16）	256K	商用（API）+オープン系列あり	長尺コンテキスト・CJK対応、地域＋トークン帯別段階課金
Qwen2.5-VL-72B	Alibaba	Self-host	Self-host	標準32K（YaRN拡張131K）	Qwen License	MMMU 70.2・OCRBench 885（2025年2月公開当時のオープン系上位、現在はQwen3-VL 235B-A22Bが後継）
InternVL3-78B	上海AI Lab	Self-host	Self-host	32K〜	MIT（言語バックボーン部分はQwen License要確認）	MMMU 72.2、MIT本体で改変・商用可
LLaVA-OneVision-2-8B	LMMs-Lab	Self-host	Self-host	32K〜	Apache 2.0	単一8B構成（4B版はComing soon）、動画・空間理解対応

この表で見るべきは、フラグシップ最上位（Claude Fable 5、GPT-5.6 Sol）とオープン系列（Qwen3-VL Plusの低トークン帯）のあいだで単価が最大50倍以上開くという事実です。

加えて、Qwen3-VL Plusは地域・入力トークン帯で段階課金される点も見落としがちで、長尺画像や動画では実質単価が2〜3倍に跳ねます。月間画像処理量が数百万を超える業務では、この段階課金と実効TCOの試算を欠かせません。

以下、9モデルそれぞれの特徴と選定シーンを整理します。

GPT-5.6 Sol/Terra/Luna——OpenAIの現行フラグシップ3層

GPT-5.6 Sol/Terra/Luna（OpenAI、2026-07-09 GA）は、Sol（$5/$30・フラグシップ）／Terra（$2.50/$15・GPT-5.5と同等性能で2倍安）／Luna（$1/$6・最速最安）の3層構成です。OpenAI公式はGPT-5を「previous model」として位置づけ、現行の推奨はGPT-5.6シリーズです。

GPT-5.6はProgrammatic Tool Calling（Responses API経由でエージェントが自律的にツールを呼び出す仕組み）と、30分ミニマムの明示的プロンプトキャッシュ（キャッシュ書き込みは通常入力単価×1.25、読み取りは90%割引）が主な追加機能です。

前世代のGPT-5（2025-08〜）は入力$1.25／出力$10・コンテキスト400Kで、GPT-5.6より単価は安いためコスト重視のバッチ処理・大規模バックエンド向けの「低単価ベースライン」として位置づけ直し、視覚+推論の主戦はGPT-5.6 Solに移行するのが定石です。
チャート推論・ドキュメントQAは両モデルで共通、**GUI/ツール操作はResponses API経由のComputer use、音声・低遅延対話は別系統のRealtime系モデル（gpt-realtime-2など）**という役割分担になっており、

Realtime APIをGPT-5.6/GPT-5共通機能として並列に扱わないよう注意します。OperatorはResponses APIのComputer useを土台にしたエージェント制御機能です。

ChatGPT・Azure OpenAI経由でも同じVLM機能が利用でき、既存のOpenAI基盤資産をそのまま拡張できるのが強みです。

Claude Opus 4.8・Fable 5・Sonnet 5——vision対応の現行Claudeライン

Anthropicの現行Claudeは、Claude Fable 5（Mythos級の一般公開最上位、入力$10/出力$50、2026-06-09 GA）を頂点に、Claude Opus 4.8（$5/$25、complex codingとエージェント）、Claude Sonnet 5（2026-06-30、near-Opus性能で$2/$10導入価格→8月末以降$3/$15、高解像度vision、1Mコンテキスト、128K出力）、Claude Haiku 4.5（$1/$5）の4層構成に更新されています。

Claude Opus 4.7発表時（前世代）の公式ベンチ表。CharXiv Reasoning（視覚推論）でOpus 4.7は82.1%（tools無し）/91.0%（tools有り）、OSWorld-Verifiedでは78.0%。現行はOpus 4.8・Fable 5がこの上に位置します（出典：Anthropic）

vision能力の起点となったのは前世代のClaude Opus 4.7で、**画像長辺2,576ピクセル（約3.75メガピクセル）**まで扱える設計と、claudefa.stの分析によればXBOWの視覚精度ベンチマークで98.5%（Opus 4.6は54.5%）を記録しました。この視覚精度の資産はClaude Opus 4.8・Fable 5・Sonnet 5に継承されており、密な技術図解・化学構造式・プロフェッショナル向けスクショの解釈で頭ひとつ抜けた性能を示します。

Computer Use APIとの組み合わせで、GUIエージェント用途では現時点で最も安定した選択肢に位置づけられます。SIerの実装現場では、コスト重視ならSonnet 5、複雑判断はOpus 4.8、最上位品質が要るシーンだけFable 5、というプラン階層で切り替えるのが定石です。

Gemini 3.1 Pro Preview——1Mコンテキストとネイティブ長尺動画

Gemini 3.1 Pro Preview（Google、2026-02-19リリース。旧Gemini 3 Pro Previewは2026-03-09に終了）は、テキスト・画像・音声・動画すべてをネイティブに扱う設計で、1Mトークンのコンテキストウィンドウと動画のフレーム連続処理に強みがあります。

料金は入力$2・出力$12（200Kコンテキスト以下、超過分は$4/$18）と主要商用モデルのなかで安く、動画分析・長大PDF処理といった長入力タスクで単価優位性が大きく出ます。マルチモーダル推論のMMMU-Pro 83.6%、GPQA Diamond 94.1%を出しており、フロンティア級評価でも上位に位置します。

Vertex AIやBigQuery、Google Workspaceとの連携が前提の企業では、統合的なワークフロー構築のしやすさから第一候補になります。ただしGoogleのComputer Use APIの対応モデル一覧はGemini 3.5 Flash（推奨）／Gemini 3 Flash Preview／Gemini 2.5 Computer Use Previewで、Gemini 3.1 Pro Preview自体はComputer Use非対応のため、GUIエージェント用途にはFlash系のいずれかを併用する構成になります。

Qwen3-VL——Alibabaのオープン+API併用モデル

Qwen3-VL 235B-A22B（Non-Thinking）とGemini 2.5 Pro・GPT5・Claude Opus 4.1の比較。OCRBenchで920.0、OCRBenchV2（en/ch）で67.1/61.8、MathVisionで66.5、AI2Dで89.7とオープン系トップクラス（出典：Alibaba Qwen）

Qwen3-VL（Alibaba）は、Qwen2.5-VLからの世代交代版で、マルチモーダル推論・エージェント能力・長コンテキストのすべてで大幅に強化されました（GitHubリポジトリ）。

Alibaba公式ベンチマークでは、フラグシップのQwen3-VL-235B-A22B-InstructがGemini 2.5 Pro・GPT-5と主要マルチモーダル指標で拮抗する水準に到達しており、オープンウェイト系列のQwen2.5-VL-72Bも継続提供されています。

API版（Qwen3-VL Plus）はAlibaba Cloud PAI Token Serviceで地域と入力トークン帯による段階課金を採用しています。中国リージョン（Beijing/Shanghai/Hangzhou等）は最安帯で入力$0.17／出力$1.72（≤32K）、シンガポールリージョンは$0.24／$1.92（≤32K）から始まり、128K・256Kと帯を上がるほど単価が2〜3倍に伸びます。「$0.20固定」の低単価イメージは実質的な最安帯のみに当てはまる表現で、長尺入力を扱う本番運用では地域＋トークン帯の組み合わせで単価が跳ねる点を織り込む必要があります。

Qwen2.5-VL-72B——2025年公開のオープン上位、いまもSelf-host定番

InternVL3-78BはMMMU 72.2で2025年4月論文時点のオープン系SOTA、Qwen2.5-VL-72BはMMMU 70.2/OCRBench 885で同時期の商用モデルと肩を並べる。現在のオープンフロンティアはQwen3-VL 235B-A22B（MMMU_VAL 78.7）やInternVL3.5-241B-A28B（MMMU 77.7）が上位に位置します（出典：OpenGVLab InternVL3論文）

Qwen2.5-VL-72B-Instructは、Hugging FaceでQwen LICENSE AGREEMENT（月間アクティブユーザー1億超は別途Alibaba Cloudからの追加ライセンスが必要）で公開されており、2025年2月公開当時のオープン系上位に位置するMMMU 70.2・OCRBench 885を出しています。現在のオープンフロンティアはQwen3-VL 235B-A22B（MMMU_VAL 78.7）に移りましたが、Qwen2.5-VL-72Bは32K標準のシンプルな構成と豊富なファインチューニング事例で、いまもSelf-hostの定番として広く採用されています。

構造化データ抽出・複雑ドキュメント理解に特化した設計で、標準コンテキストは32,768トークン、YaRNによる拡張で131Kまで伸ばせます（ただし公式ドキュメントは時間的・空間的localizationタスクで性能低下があるため常時拡張は非推奨と注記）。

Self-hostできるため、機密画像を外部APIに送れない業種（金融・医療・防衛）や、大量処理でAPI課金がボトルネックになる規模の企業に適しています。

InternVL3-78B——上海AI LabのMITライセンス系

InternVL3-78Bは、上海AI Labが2025年4月に公開した78.4Bパラメータモデルで、論文発表時点でMMMU 72.2のオープン系SOTAを記録しました。

同ラボは2025年8月に後継のInternVL3.5-241B-A28B（MMMU 77.7）を公開しており、最新オープンフロンティアはInternVL3.5に移行しています。

ただしInternVL3-78Bはコンパクトなパラメータ規模で運用しやすく、Self-host基盤としては依然として有力な選択肢です。

InternViT-6B-448px-V2_5とQwen2.5-72Bを組み合わせた「ViT-MLP-LLM」構成で、InternVL3本体はMIT公開ですが言語バックボーンのQwen2.5-72B部分はQwen Licenseに従うため、商用配布や大規模MAU用途では両ライセンスの適用範囲を法務で個別確認しておく価値があります。

LLaVA-OneVision-2-8B——単一8B構成のフルオープン基盤

LLaVA-OneVision-2は、2026年4月30日にリリースされた次世代マルチモーダルモデルで、現時点で公開済みなのはLLaVA-OneVision-2-8B-Instructの単一構成（4B-Instructは「Coming soon」として告知）です。

新規のLLaVA-OneVision-2-VideoCaption・LLaVA-OneVision-2-Spatialデータセットとセットで公開されており、単一画像・長尺動画・空間理解を1モデルで統合するのが設計思想です。データ・エンコーダ・訓練コード・チェックポイント・ログまでApache 2.0でフルオープンにされている点が、他のオープンウェイトVLMとの明確な差別化要素です。

LLaVA系列は学術研究・オープン基盤としての位置づけが強く、独自ドメインへのファインチューニング・オンプレ運用を前提とする研究開発・R&D用途に適しています。

---

VLMの料金と実効コスト——単価表と用途別TCO試算

VLMの料金設計はテキストLLMより一段複雑です。画像入力が「画像枚数×解像度に応じた大量のトークン」として課金されるため、同じ月額でも処理できるページ数がモデルによって10倍以上変わるケースが珍しくありません。

画像トークン消費の仕組み

VLMのAPI課金は、テキストトークンと画像トークンをそれぞれカウントする方式が主流です。

以下の表で、主要モデルの画像1枚あたりのトークン消費を整理しました（1024×1024ピクセル・高精細指定時の目安値）。

モデル	画像1枚のトークン目安	備考
GPT-4o系（GPT-5含む）	約765トークン	高精細指定時、低解像度は約85トークン
Gemini 3.1 Pro Preview	560トークン	画像入力の固定コスト
Claude Opus 4.8・Fable 5・Sonnet 5	解像度に比例（〜約1,500）	3.75MPまで対応、画像サイズに応じて増加
Qwen3-VL	数百〜数千	解像度に応じてタイル分割

1024×1024ピクセルの画像1枚を処理するだけで、テキスト換算で数百〜数千トークン相当の課金が発生します。

100ページのPDFを画像として読み込ませる場合、テキストなら数万トークンで済むところが、VLM経由だと数十万トークンに膨らむのが実務での大きな注意点です。

用途別TCOの目安

以下の表は、月間処理量とモデル選択によるTCO（総所有コスト）の桁感を整理したものです。

前提: 全モデル共通で画像1枚あたり765トークン（GPT-4o系準拠の高精細指定時）と仮定し、テキスト側は無視した「入力単価×画像トークン消費」だけの目安計算。

実際のGeminiは560トークン固定・Claudeは解像度比例なので、モデルごとの実効TCOは前段の画像トークン消費表と組み合わせて再試算してください。Qwen3-VL Plusは中国リージョン最安帯（≤32K・$0.17/M）で試算しています。

月間画像処理量	GPT-5.6 Sol（$5/M）	GPT-5（$1.25/M）	Claude Opus 4.8（$5/M）	Claude Fable 5（$10/M）	Gemini 3.1 Pro Preview（$2/M）	Qwen3-VL Plus 中国≤32K（$0.17/M）	Self-hosted Qwen2.5-VL-72B
1万枚（PoC規模）	約$38	約$10	約$38	約$77	約$15	約$1.3	GPU代のみ
10万枚（小規模本番）	約$383	約$96	約$383	約$765	約$153	約$13	GPU代のみ
100万枚（中規模本番）	約$3,825	約$960	約$3,825	約$7,650	約$1,530	約$130	月$500〜$2,000程度のGPUインスタンス
1,000万枚（大規模本番）	約$38,250	約$9,600	約$38,250	約$76,500	約$15,300	約$1,301	月$2,000〜$10,000程度＋運用工数

この試算からわかるのは、現行フラグシップのGPT-5.6 SolやClaude Opus 4.8が同じ$5/Mで並び、前世代GPT-5の$1.25は最安クラスとして残るという点です。

一方で、Claude Fable 5級の最上位を大量に回すと1,000万枚で$76,500に達し、Qwen3-VL Plusの中国リージョン最安帯$1,301と50倍以上の開きが出ます。ドキュメント処理型のユースケースで数千万枚を捌く規模になると、Self-hosted VLM OCRとの差が本格的に効いてきます。

Self-hostedの場合、A100・H100等のGPUインスタンス料金と、モデルの推論最適化（vLLM・TensorRT-LLM等）を担当できるMLエンジニアの工数が別途必要です。

月間1,000万枚を超えるかClaude Fable 5・Opus 4.8を主軸に据える構成では、Self-hostedが総コスト（人件費+インフラ）で優位に立つケースが多く、規模とモデル選定の組み合わせで切り替える設計が現実的になります。

追加コスト要因

以下の要素は、単価表だけを見ていると見落としがちなコスト要因です。

• プロンプトキャッシング
  Anthropic Claudeシリーズ・OpenAI GPT-5.6/5.5/5.4等はキャッシュヒット時の入力単価が最大90%減。
  GPT-5.6は30分ミニマムの明示的キャッシュブレークポイントに対応（キャッシュ書き込みは通常入力単価×1.25）。同じシステムプロンプトを繰り返し使うワークフローでは実効単価が大幅に下がる
  
  

• Batch API
  Anthropic・OpenAIとも非同期バッチ処理で50%割引。夜間バッチや週次レポート生成では有効
  
  

• 画像リサイズ前処理
  高解像度画像を必要精度に合わせて縮小することでトークン消費を抑えられる。GUIスクショなら1024px程度で十分な用途も多い
  
  

• タイル分割の設定
  高解像度時のタイル数を制御できるモデル（Qwen3-VL・GPT-4o系）は、解像度と精度のバランスをアプリ側で調整可能

実務での見積もりは「単価×月間画像枚数」だけでは足りません。
キャッシュ利用率・Batch適用率・リサイズ戦略まで含めた実効単価で試算しないと、本番運用開始後に想定の2〜3倍の請求が来るケースがあります。

---

VLMの選び方——オープンか商用か、汎用か特化か

VLM選定で迷いやすい論点は、「オープンウェイト vs 商用API」「汎用フラグシップ vs 特化モデル」「単価 vs 精度」の3軸です。

以下の表で、判断軸別に推奨モデルを整理しました。

判断軸	優先すべき条件	推奨候補
データ主権（機密画像を外に出せない）	Self-hosted必須／VPC内推論	Qwen2.5-VL-72B、InternVL3-78B、LLaVA-OneVision-2
最大解像度・密な図表	3MP超のスクショ・技術図解を扱う	Claude Opus 4.8 / Fable 5 / Sonnet 5 vision
動画分析・長尺入力	数十分の動画・数百ページPDF	Gemini 3.1 Pro Preview、Qwen3-VL Plus
日本語OCR精度	手書き含む日本語ドキュメント	GPT-5、Gemini 3.1 Pro Preview、DeepSeek-OCR
GUIエージェント制御	Computer Use・Operator連携	Claude Opus 4.8 / Sonnet 5、GPT-5 / GPT-5.6 Sol、Gemini 3.5 Flash / 3 Flash Preview / 2.5 Computer Use Preview（Gemini 3.1 Pro自体は非対応）
大量処理・単価優位	月100万枚超のドキュメント処理	Qwen3-VL Plus、Self-hosted Qwen2.5-VL-72B
ライセンス制約が緩い	改変・商用利用フル対応	LLaVA-OneVision-2-8B（Apache 2.0）、InternVL3-78B本体（MIT・ただしQwen2.5-72Bバックボーン部分はQwen License要確認）

この表を軸に、以下でケース別の推奨を示します。

支援現場から見えている典型パターンをベースに、「どのケースで何を第一候補にするか」を整理します。

機密画像を扱う金融・医療・防衛

顧客の身分証・診療画像・設計図面のように、外部APIに送信できない画像を扱う業種では、Self-hostedオープンウェイトが唯一の選択肢になります。

第一候補はQwen2.5-VL-72BまたはInternVL3-78Bです。両者ともMMMU 70前後の性能で発表時点の商用フロンティアに肉薄していますが、GPU要件は決して軽くありません。vLLM公式レシピではQwen2.5-VL-72BはBF16で4×A100級（A100-80GBならTensor Parallel≥2が必須）、InternVL3-78B公式HFでは8bit量子化で2×80GB GPU、非量子化では少なくとも3×80GB GPUが目安と明記されています。

単一GPUで運用したい場合は8B〜14B級の小型モデル、または量子化版（INT4/INT8）を検討するのが現実的です。

契約審査・カルテ画像の一次スクリーニング・図面照合といったタスクで、社内基盤の中で完結する設計が組めます。GPU調達コスト（A100/H100 4枚構成なら月$5,000〜$15,000規模）と運用工数を織り込んだうえで判断してください。

業務OCR・ドキュメント大量処理

請求書・領収書・帳票を毎日数万件処理する規模の企業では、Qwen3-VL Plusが単価優位性から第一候補になります。

商用フロンティア（GPT-5.6/Claude/Gemini）と精度は近く、Claude Fable 5・GPT-5.6 Sol比では大幅に安い（1桁は下）、Gemini 3.1 Pro Preview・前世代GPT-5比では地域・入力トークン帯により数分の1程度の水準です。

日本語手書き帳票のように精度クリティカルな一部業務のみGPT-5.6 Sol・Gemini 3.1 Pro Previewに振り分ける、ハイブリッド構成が実務で選ばれるパターンです。

【関連記事】
AI-OCRの活用事例10選！導入メリットや業界別の導入事例を解説

GUIエージェント・業務システム自動操作

社内SaaSやWebサービスの操作を自動化したい場合、Claude Opus 4.8/Sonnet 5＋Computer Useが現時点で最も安定した選択肢です。

3.75メガピクセル対応で密なダッシュボードUIも扱え、Anthropicの公式Computer Use API経由でスクショ入力→操作出力のループが組めます。

代替としてOpenAI Operatorも比較検討候補になりますが、法人統制・監査ログの充実度ではAnthropic側が現時点で先行しています。

動画・長尺PDF分析

顧客対応の録画動画・IR資料の数百ページPDF・行政の統計ドキュメントを一括処理する用途では、Gemini 3.1 Pro Previewが動画ネイティブ対応と1Mコンテキストで頭ひとつ抜けています。

料金も入力$2/1Mトークン（200K以下）と主要商用モデルのなかで安く、大量処理のTCOも抑えられます。

動画分析は他モデルではフレーム抽出→逐次画像入力といった追加パイプラインが必要になるケースが多く、Gemini 3.1 Pro Previewの単一APIで完結する設計優位が効いてきます。

R&D・独自ファインチューニング

自社ドメイン（例：製造業の外観検査画像、医療画像の希少疾患検出）に特化してファインチューニングしたい場合、LLaVA-OneVision-2またはInternVL3-78Bが候補になります。

LLaVA-OneVision-2-8BのApache 2.0はデータ・エンコーダ・訓練コードまでフル公開で、コミュニティのファインチューニング事例も豊富。

社内MLエンジニアが試行錯誤しやすい環境が整っています（InternVL3-78Bを選ぶ場合は言語バックボーンのQwen2.5-72B部分がQwen Licenseになる点を法務で確認）。

---

VLM導入で詰まる論点——幻覚・機密画像・運用ループ・ライセンス

VLMは強力な一方、業務組み込みで詰まりやすい論点が4つあります。POC段階では気づきにくく、本番運用で顕在化するケースが多いため、選定時から想定しておく価値があります。

幻覚——画像に写っていないものを説明してしまう

VLMは自然言語で応答する以上、画像に写っていない要素を「もっともらしく」説明してしまう幻覚が発生します。

「請求書のこの欄に金額が書かれています」と応答したが、実際にはその欄が空白だった、といったパターンです。

テキストLLMの幻覚と質は同じですが、視覚領域では人間による検証が難しく（画像を目視確認できる人材が必要）、影響が見えにくい特徴があります。

対策としては、以下の3層を組み合わせるのが実務的です。

• 出力を構造化スキーマ（JSON Schema等）で強制し、明示的な「不明」の返答を許可する
• 高リスクな判断（金額・法的判定・医療所見）は人間レビュー必須のワークフローに組み込む
• 同じ画像に対して複数モデルで冗長判定し、不一致時のみ人間にエスカレーションする

これらは1つでは足りず、業務クリティカリティに応じて重ね合わせる設計が必要です。

機密画像の取り扱い——ZDR・データ主権

顧客の顔写真・診療画像・設計図面のように、機密性の高い画像を商用APIに送ることは、多くの企業でコンプライアンス上難しい判断になります。

以下の3つの選択肢のうち、業種・データ機密度に応じて選ぶのが実務的です。

• ZDR（Zero Data Retention）契約
  OpenAIは対象エンドポイントでZDRを申請可能、Anthropicも対象API/組織で同等のオプションを提供している。ただし適用モデル・機能は限定されるため、金融・医療用途ではZDR/BAA/HIPAA等の要件をエンドポイント単位で確認する必要がある
  
  

• Azure OpenAI・Vertex AI経由のVPC統合
  主要クラウドのマネージド経由で、VPC内推論・地域選択・暗号化キー管理を組み合わせる
  
  

• Self-hosted VLM
  Qwen2.5-VL-72B・InternVL3等をオンプレ・プライベートクラウドで運用。もっとも高い制御性を得られるが、GPU調達・運用工数のコストが別途発生する

ケース別に「どのレベルの機密性ならどの構成が許容されるか」を法務・情報セキュリティ部門と事前に握っておくことが、後工程の手戻りを防ぐポイントになります。

運用ループの整備——「精度は出るが使われない」への対応

VLMのPoCで精度がクリアしても、業務プロセスに接続する運用ループがないと現場では使われないままになります。

現場で頻繁に見る典型パターンは以下です。

• 検出結果をExcelにコピペする手動作業が残り、月末にまとまって作業する運用に戻る
• 例外パターンの判定を担当者ごとに独自ルールで処理し、モデルの学習改善サイクルが回らない
• モデル更新のたびに現場フローを調整する運用オーナーが不在
  
  

これらは技術論というより組織設計の話で、AIエージェント基盤で「検出→通知→承認→システム反映→ログ記録」の一連の流れを自動化しないと本質的な効率化は得られません。

オープンウェイトのライセンス条件

オープンウェイト系VLMは「ライセンス緩い」のイメージが強いですが、実際は制約付きモデルも混在します。

• Apache 2.0（LLaVA-OneVision-2-8Bなど）：改変・商用利用フル可
• MIT（InternVL3など）：改変・商用利用フル可、Apache 2.0とほぼ同等。ただしバックボーンにQwen2.5等を使う場合、当該部分は元のライセンスに従う
• Qwen LICENSE AGREEMENT（Qwen2.5-VL・Qwen3-VLシリーズ）：改変・商用利用可だが、月間アクティブユーザー1億超はAlibaba Cloudへの追加ライセンス申請が必要
• Custom License（Llama 4など）：月間アクティブユーザー数の制限、特定用途の制限が付くケースあり

Self-hostedで本番運用に乗せる前には、必ずモデルカードのライセンス条項を確認することが必要です。特に競合企業への提供や、モデル出力を再学習に使うケースでは、License条項の解釈で法務判断が分かれることもあります。

---

VLMの検出結果を業務プロセスに繋ぐ運用ループを作るなら

VLMはEarly-fusion Transformer時代に入り、ドキュメント理解・視覚QA・GUIエージェント・図表数値抽出の4カテゴリで単体精度が業務水準に到達しました。

一方で記事後段で整理したとおり、"精度は出るが使われない"パターン——検出結果をExcelに手動コピペする運用に戻る、例外パターンを担当者が独自ルールで処理する、モデル更新のたびに現場フローを組み替える——は現場でも頻発します。VLM単体では、"検出→通知→承認→システム反映→ログ記録"の一連の運用ループが埋まらないためです。

このループを担うのが、自社Azureテナント内で動くエンタープライズAIエージェント基盤です。

AI総合研究所のAI Agent Hubは、AI-OCR Agent・自動入力Agent・フロー判定Agentなど9種類の業務特化Agentを、SAP Concur・freee会計・Dynamics 365・Salesforce・勘定奉行クラウドといった基幹システムと繋げ、Microsoft Teamsから呼び出せる形でパッケージ化しています。VLMの出力を、Human-in-the-Loopの承認（幻覚対策）、実行ログ、権限管理を挟んで基幹システムまで自動反映させる運用ループを最初から組み込めます。

AI総合研究所の専任チームが、VLM選定と業務プロセス側のAgent実行基盤設計の両輪で伴走支援します。AI Agent HubのLPで、VLMの検出結果を"検出→通知→承認→反映→ログ"の運用ループに載せる実行基盤の全体像をご確認ください。

---

まとめ——VLM選定は「モデル比較」より「業務プロセスの再設計」に軸を移す

本記事では、VLM（Vision-Language Model）の定義・アーキテクチャの世代交代・実務ユースケース・主要9モデル比較・料金TCO試算・選定判断軸・詰まる論点を2026年7月時点の最新情報で整理しました。要点を改めて整理します。

• VLMは「画像+テキスト→テキスト」のマルチモーダルLLMで、マルチモーダルAI（音声・動画含む上位概念）の一部。旧世代の画像認識AIとは別系統で、ロボット制御向けのVLAとも切り分けて考える
  
  

• 2026年の主流はEarly-fusion単一Transformer型。CLIP型デュアルエンコーダは学習・軽量用途向けに縮小し、GPT-5.6 Sol/Terra/Luna・Claude Fable 5/Opus 4.8/Sonnet 5・Gemini 3.1 Pro Preview・Qwen3-VLといった商用フラグシップはすべて第3世代に属する
  
  

• 主要モデルの単価は最上位と低単価APIで最大50倍開く。GPT-5.6 Sol/Terra/Luna・GPT-5・Claude Fable 5/Opus 4.8/Sonnet 5・Gemini 3.1 Pro Previewの商用フロンティア勢と、Qwen3-VL Plus（地域＋トークン帯別の段階課金）・Qwen2.5-VL-72B・InternVL3-78B・LLaVA-OneVision-2-8Bのオープン勢を、用途と規模で使い分ける設計が現実的
  
  

• 実務ユースケースはドキュメント理解・視覚QA・GUIエージェント・図表数値抽出の4カテゴリ。ドキュメント処理ではSelf-hosted VLMベースのOCRが商用API比で桁違いに安く、月1,000万枚超の大規模やClaude Fable 5級の最上位を主軸にする構成でSelf-hostedのTCO優位が明確に効いてくる
  
  

• 選定はデータ主権・最大解像度・日本語OCR精度・単価の4軸で判断する。機密画像扱いはSelf-hosted、汎用推論とGUIエージェントは商用APIが第一候補。詰まる論点は幻覚・機密扱い・運用ループ・ライセンスの4項目で、モデル選定の段階から想定しておく

VLM選定は「どのモデルが最強か」より、「自社のどの業務でどの規模の画像処理を回すか」を先に決めることが本質的です。単価表を並べて比較する前に、業務プロセスの再設計まで含めた設計に着手することが、VLM投資を実務価値に変える最短ルートになります。