マルチモーダルAI×自動運転の実証研究「autodrive」を始動

弊社は、公開されているマルチモーダル基盤モデルの走行判断能力を自家用車で定量評価する実証研究プロジェクト 「autodrive」 を始動いたしました。

背景

自動運転領域では、センサーデータから認識・判断・軌道生成までを統合的に扱う End-to-End(E2E)アプローチ の研究が進みつつあります。Waymoが2024年に公開したGemini系マルチモーダルモデル「EMMA」^※1 はその代表例であり、従来のモジュール分割型とは異なる設計思想の現実性を示しました。

この流れを踏まえ、弊社では 公開基盤モデルが持つ走行判断能力を、実走行データで独自に評価する ことに研究的価値があると考え、本実証を開始します。

autodriveの概要

• 車両:一般的な自家用車
• 端末:市販Android 2台(Front/Rear同期記録)
• 判断取得:Gemini APIへ走行シーンを送信し、推奨アクション・目標速度・危険物・予測軌道を構造化出力で受信
• Shadow Modeでの評価:判断はあくまで評価対象として記録し、車両制御には一切接続しません。操作は常に人間が行うため、公道での安全な検証が可能です
• 定量評価:action agreement、stop recall/precision、latency分布などの指標で、基盤モデルの判断の実力値を可視化します

Agentic Company OSとの接続

マルチモーダル基盤モデルが 認識・判断・行動を統合的に扱う 流れは、自動運転に限られた現象ではありません。複数の業務データ・コンテキストを横断し、判断と実行を一体で扱うという設計思想は、弊社が開発する Lifegence Company OS(Agenticなエンタープライズ運用基盤)と本質的に共通しています。

autodriveで得られる知見 ― 構造化出力の設計パターン、判断妥当性の評価観点、Shadow Modeによる段階的な信頼獲得 ― は、Agentic OS側の設計改善にも還元可能です。また、弊社で並行して進めているドローン技術開発においても、自律移動体の判断能力検証という観点で活用を見込んでいます。

今後の情報公開

本プロジェクトの実証結果は、本サイトにて継続的にご報告してまいります。走行データに基づく評価メトリクス、判断と実走行挙動のサンプル比較、レイテンシ分布や失敗事例の分析などを、順次公開予定です。

※1 Waymo, “Introducing EMMA, Waymo’s End-to-End Multimodal Model for Autonomous Driving”, 2024年10月 / arXiv:2410.23262