現実世界の”見えないリスク”を可視化せよ─画像認識による危険検知／VLMで拓く予兆検知【DENSO Tech Night 第三夜】

2025年7月25日に開催されたイベントの資料となります。

1. © DENSO CORPORATION All Rights Reserved.
稲田純也
セーフティシステム事業部
セーフティシステム技術 1部
2025年7月25日
デンソーの技術開発のリアルな悩み？

2. © DENSO CORPORATION All Rights Reserved.
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
自己紹介
稲田 純也
株式会社デンソー セーフティシステム技術 1部長
＜プロフィール＞
2002年ー：株式会社デンソーへ入社、基礎研究所にて画像認識技術の研究開発に従事
（2004－2006年まで客員研究員としてカーネギーメロン大学に在籍）
2012年ー：AD/ADASの量産開発部署へ異動し、前方監視カメラの物体認識技術を担当し、製品化
2016年ー：デンソードイツ拠点 (DENSO AUTOMOTIVE Deutschland GmbH)にて欧州のAD技術研究に従事
2018年ー：TRI-AD（現Woven by Toyota）の立上げに参画すると共に、前方監視カメラの物体認識技術開発をリード
2023年ー：現職として、 AD/ADASの次世代システム開発を統括
2/58

3. © DENSO CORPORATION All Rights Reserved.
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
デンソーのビジョン
⚫あ?\?\?\???? ?\?
移動革新の信頼性を高める
⚫無限のアイデアをかな\????\?
運転するよろこびを最大化する
⚫交通事故のない世界を
あ?\?\?\?\?\?\?\?\???S?\?\げる
⚫自由に移動できるよろこびと環境保護の両立を
あ?\?\?\?\?\?\?\?\???[\?p\?\s
3/58

4. © DENSO CORPORATION All Rights Reserved.
目指す方向性
深み
ADASシステムの
さらなる進化
AIを応用した危険予知
全周囲センシング
より多くの先進モビリティへ搭載
あ?\?\?\?\?\?\?\?\?
価格面でも魅力の
あ?c?\??s
後付け製品拡充
できるだけ多くのクルマに普及
究極の目標 「交通死亡事故ゼロ 」を目指し、「深み」と「広\?」で安全製品を普及
広\?
Add-on
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
4/58

5. © DENSO CORPORATION All Rights Reserved.
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
ADASの歩み
2015
2016
2020
2018
2021
Global Safety
Package Gen.1
Global Safety
Package Gen.2
Mini Stereo
Camera ver.1
Advanced Park
Products
Advanced Drive
Products
AEB
(Bicycle, Ped. at night)
★
★
AEB
(Collision)
★
AEB
(Intersection)
★
AEB
(Pedestrian)
DN
History
Support cutting-
edge AD Lv2 parking
system
Compact & easy
installation camera
[2016 Euro NCAP ★5]
[2018 Euro NCAP ★5]
Global Safety
Package Gen.3
[2022 Euro NCAP ★5]
Next Gen.
延べ5000万台以上の車両への搭載実績
5/58

6. © DENSO CORPORATION All Rights Reserved.
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
ADAS製品の動作環境
様々な環境、状況においても正しく動作し、安心して使って頂ける性能を実現
6/58

7. © DENSO CORPORATION All Rights Reserved.
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
最新のADASの動向
自動車専用道でのハンズオフ、 Lv.3
一般道での運転支援（ Lv2++）
信頼性
対応力
7/58

8. © DENSO CORPORATION All Rights Reserved.
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
技術の進歩
認知 判断 操作
AIによる判断
センサ
センサ 操作
これまで
現在
8/58

9. © DENSO CORPORATION All Rights Reserved.
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
ルールベースとAI
ルールベース AI
＜メリット＞
設計通りの動作、振舞いで扱いやすい（ White Box）
＜メリット＞
様々な状況に対応可能
＜デメリット＞
全てエンジニア\?\N\?\?I ^\s\??Cあ?
＜デメリット＞
振舞いに対して説明できない（ Black Box）
9/58

10. © DENSO CORPORATION All Rights Reserved.
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
悩み、楽しさ
悩み：
安心、安全と先進性のバランス
楽しさ：
目に見\?\?J\??\??[\?\g\?
10/58

11. © DENSO CORPORATION All Rights Reserved.
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
本日のお話
11/58

13. © DENSO CORPORATION All Rights Reserved.
二反田 直己
セーフティシステム事業部
セーフティセンサ＆コンポーネント技術１部
2025年7月25日
駐車場での安心安全を世界中に！
見\?\^+g\?u?\s\?
自動駐車向け画像認識技術

14. © DENSO CORPORATION All Rights Reserved.
自己紹介
二反田 直己
セーフティセンサ＆コンポーネント技術１部 室長
略歴：
2007年～ 北海道大学大学院 博士後期課程を修了。
デンソーに入社し、研究開発部に配属。 カメラやLiDARによる認識技術の 研究開発 を担当。
2014年～ 走行安全システム技術部に異動。 前方カメラによる走路認識の 量産開発 を担当。
2017年～ 東京支社に赴任。 単眼カメラによる三次元再構成の 量産向け技術開発 を担当。
2019年～ 本社に帰任。セーフティセンサ技術１部で、 周辺カメラによる画像認識の 量産開発 を担当。
2020年～ セーフティセンサ技術１部 室長として、自動駐車向けの画像認識開発を統括。
趣味：
ITFテコンドー (初段＆指導員 )※ 学生の時はバスケや合気道 (初段)もやってました！
他にも史跡散策やラーメン屋巡り、漫画 /アニメ鑑賞など。
にたんだ なおき
先進安全分野の研究開発から量産開発まで経験し、現在は自動駐車向けの画像認識開発を統括
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
14/58

15. © DENSO CORPORATION All Rights Reserved.
自動駐車 リモート駐車 自宅駐車接触回避
バレーパーキング
車線内走行 信号/停止線
自動運転
衝突回避 車線変更
車載センシングカメラによる画像認識
安心安全と利便を世界中に提供すべく、車載センシングカメラによる画像認識を開発中！
前方監視カメラ
Front Sensing Camera
周辺監視カメラ
Surround Sensing Camera
P2P(Parking to Parking / Point to Point)
自宅駐車場 一般道/自専道 目的地駐車場
今回の講演テーマ
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
15/58

16. © DENSO CORPORATION All Rights Reserved.
ドライバーの視野 /死角
目視/ミラー/リアカメラを用いたとしても、自車近傍には多くの死角Q\s\? ‥‥
：視認可能領域 ：死角
車両周囲?\?aているか？
勿論No！ No！ 足元までは見\?\^?
リアカメラはあ?、画面を見な\??\?\?\^ ‥
E\?\E?!\?\?\?\?\?\??o??めない‥
実際の視野 /死角は‥‥？
自車近傍は死角だらけ ‥‥
目視
目視 目視
サイド
ミラー
ルーム
ミラー
サイド
ミラー
リアカメラ
目視/ミラー/カメラでカバーできるか？
目視
目視 目視
サイド
ミラー
ルーム
ミラー
サイド
ミラー
リアカメラ
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
16/58

17. © DENSO CORPORATION All Rights Reserved.
駐車シーンにおける死角と危険
周辺監視カメラで周囲の環境を認識し、車両を制御することで、安心安全と利便を提供！
駐車場には視認しにくい人 /物<!\iQ ＋ 巻き込みやすいシーンも多数
車止め、輪留め /縁石、ポール/三角コーン、段差 /植木、‥‥
自車近傍、特に低い人 /物は極めて視認しにくい
0mm
800mm (1～2歳)
1400mm (セダン)
1000mm
800mm
600mm
400mm
※ 子供ダミーサイズ
※ SUVだと死角は拡大
駐車枠・
静止物・移動物
の認識を紹介！
魚眼カメラを活用し、
周辺環境を認識！
自動駐車を通\?
安心と利便を提供！
・視野角180度以上
・車両の前後左右
4ヶ所に搭載
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
17/58

18. © DENSO CORPORATION All Rights Reserved.
自動駐車のための画像認識：駐車枠検知
自動駐車をするためには、目標位置となる駐車枠の検知?C?
18/58

19. © DENSO CORPORATION All Rights Reserved.
自動駐車のための画像認識：静止物検知
自動駐車中に周りの壁やポールなどと衝突しないために、静止物の検知?C?
上段：入力カメラ画像
中段：AI意味推論
下段：画像幾何 (SfM：Structure from Motion)
黄矩形： AI物体検知
黄/緑線：各カメラの軌跡 (SfM)
点群：SfM点群
多角形：静止物標
点群：SfM点群
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
19/58

20. © DENSO CORPORATION All Rights Reserved.
自動駐車のための画像認識：移動物検知
自動駐車中に周りの歩行者や車両と衝突しないために、移動物の検知?C?
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
20/58

21. © DENSO CORPORATION All Rights Reserved.
自動駐車のための画像認識：安全性を担保するには？
安全に関わる機能のため、要求精度も高く、度重なる実車評価?C (性能出るまで帰れない ‥)
安全性の担保：
•検知精度：
車両制御も含めて、 10cm前後の
位置精度、 1度前後の角度精度
必要
ちょっと
ズレてる？
ちょっと
傾いてる？
接触
しない!?
AIモデル(SS) ×幾何モデル(SfM)AIモデル(BB) ×AIモデル(SS)
BB: Bounding Box、SS: Semantic Segmentation
•信頼性：
複数のAIモデルの組み合わせや、
AIと幾何モデルの組み合わせにより
認識結果の冗長性を確保
雨滴 雪 泥
•ロバスト性：
カメラ ?\?gN\o\?\?\y\?\E
レンズ汚れの検知も必要
(雨滴、雪、泥、 ‥‥)
開発 実装
評価
100本ノック
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
21/58

22. © DENSO CORPORATION All Rights Reserved.
商品性の向上：
情報量にバラツキ\る\E
同=?/性能?C‥
自動駐車のための画像認識：商品性を向上するには？
駐車場には雑多な物Q\s\?\y\?\E??\?? ?\? ????\?2" /評価?C‥‥
•様々な駐車枠：
一本線、二重線、
T字、コの字、塗り潰し、 ‥‥
カメラで「見\?\V\?
「理解/判断」?\q\^‥
欧州ではカラフル
且つ線無しの駐車場
・非常に短い駐車枠線
・線O?\?\y? ?
•様々な静止物：
壁、ポール、段差、
コインパーキングのフラップ板、
パーキングロッカー、 ‥‥
・倒れている時は停められる
・立ってる時は停められない
・フラップ板は乗り越\?\?\?
・輪留めは乗り越\?\?\?\^
•様々な移動物：
大人、子供、車両、二輪車、
キックボード、ベビーカー、
おもちゃ自動車、 ‥‥
開発データの計測 /収集方法にも
工夫?C‥
市場の駐車場を回っても
滅多に遭遇しない ‥‥
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
22/58

23. © DENSO CORPORATION All Rights Reserved.
大変なことは多々あ?\k\?\E\w\?\?\? ‥‥
•駐車場での悲しい事故を無くすために ‥‥
•駐車? \?\?\?? ?\q\? かけられるために ‥‥
•全てのドライバーの運転体験をより素晴らしいものにするために ‥‥
DENSO はこれからも画像認識開発に邁進していきます！
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
23/58

25. © DENSO CORPORATION All Rights Reserved.
【参考】SfM (Structure from Motion：単眼移動ステレオ )
時刻T1 時刻T2
時刻T1の自車位置
時刻T2の
自車位置
静止物
X
Z
カメラの
姿勢変化
原理：
画像間の対応点から幾何学的に
カメラの姿勢変化を求め、
三角測量を行うことで対応点の
三次元位置を推定する
三角測量
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
25/58

26. © DENSO CORPORATION All Rights Reserved.
野場 悠佑
セーフティシステム事業部
セーフティシステム技術 1部
2025年7月25日
目だけでは見\?\^\?\?\?\?Ea?
車両の周辺環境を高精度に認識するための
センサフュージョン開発

27. © DENSO CORPORATION All Rights Reserved.
のばゆうすけ
野場 悠佑
株式会社デンソー セーフティシステム技術 1部
経歴
2018年株式会社デンソーに入社。 ETC/ETC2.0車載器の量産開発・設計部署
に配属され、筐体設計および車両への搭載検討業務を担当。
2020年筐体設計リーダーとして、搭載性およびカード読み取り品質の向上を
目指した次期型筐体を製品化。
2024年セーフティシステム技術 1部に異動。
次世代AD/ADAS向けの企画業務を経て、次世代センサフュージョン開発、
自動運転向け認識アルゴの先行開発を担当。
自己紹介
趣味
・ゲーム
・音楽鑑賞(ディズニー音楽、ジャズ、 etc.)
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
27/58

28. © DENSO CORPORATION All Rights Reserved.
センサフュージョン開発 の概要
1
28/58

29. © DENSO CORPORATION All Rights Reserved.
Mobility Well-being
⚫あ?\?\?\???? ?\?
移動革新の信頼性を高める
⚫無限のアイデアをかな\????\?
運転するよろこびを最大化する
⚫交通事故のない世界を
あ?\?\?\?\?\?\?\?\???S?\?\げる
⚫自由に移動できるよろこびと環境保護の両立を
あ?\?\?\?\?\?\?\?\???[\?p\?\s
交通事故死亡者ゼロを目指して
「深み」と「広\?\V\? \??\?\??、
安全製品を普及させ、
交通事故のない自由な移動を実現
交通事故死亡者ゼロ
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
29/58

30. © DENSO CORPORATION All Rights Reserved.
AD(自動運転)/ADAS(先進運転支援 )とは？
認知 判断 操作
ドライバの運転行動の 3要素
AD/ADASシステム
認知
ミリ波・カメラ・Lidar等のセンサ
判断
ADASアプリ
(自動ブレーキ作動の判断など )
操作
ブレーキ・ステアリング制御
第二夜の再掲資料
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
30/58

31. © DENSO CORPORATION All Rights Reserved.
画像認識技術紹介
画像認識による周辺車両や信号、車線の認識???`U?
DENSO Tech Night 第二夜の再掲動画
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
31/58

32. © DENSO CORPORATION All Rights Reserved.
カメラの苦手分野
苦手シーン 苦手な認識
〇m？
天候や時間帯によってはカメラで見難い 画像から距離を正確に認識するのは難しい
カメラは、悪天候や夜間で認識精度s?\q\E?\????
カメラ画像のみの 2次元画像での距離の推定
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
32/58

33. © DENSO CORPORATION All Rights Reserved.
センサフュージョンモデルの一例
Camera
to BEV
Head
カメラ画像
台数×カメラ平面特徴
カメラBEV
特徴
フュージョン
車両/自転車/歩行者
Head
レーン/トポロジ
Head
道路端(構造物)
レーダ出力
レーダBEV
特徴
アプリ
アプリADAS
アプリ
カメラとレーダの組み合わせ (＝フュージョン)で、認識精度? ?\s\?\m\?\?:6
カメラの得意分野 レーダの得意分野
信号機の色
種別(車や人など)
白線
移動物との距離、速度
BEV : Birds Eye View
電波
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
33/58

34. © DENSO CORPORATION All Rights Reserved.
センサフュージョンによる認識精度向上検証結果
カメラ＋レーダ
カメラのみ
※どちらのモデルも同 試作モデル用データセット で学習
白：真値
黄：車 推論値
緑：トラック 推論値
水色：歩行者 推論値
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
34/58

35. © DENSO CORPORATION All Rights Reserved.
開発における苦労話
2
35/58

36. © DENSO CORPORATION All Rights Reserved.
レアケースへの対応 (イメージです。画像は生成 AIで作成してます )
実環境のみで珍しいシーンのデータを収集するのは困難
路上落下物 極端に暗い環境での横断者 認識結果と交通状況の不整合
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
36/58

37. © DENSO CORPORATION All Rights Reserved.
実車計測データとシミュレーションの比較 (改善前)
カメラ
レーダ
実車 シミュレーション
受信電力の比較
受信電力
距離
ノイズ!\i\?
上手く出?\^\?\^
電力値??\?\?\^\?\^
波形も違うのはなぜ？
理想はこの形 …
重畳すると
点の位置?\?\?\^…
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
37/58

38. © DENSO CORPORATION All Rights Reserved.
実車計測データとシミュレーションの比較 (改善後)
シミュレーションで実環境を再現できることを確認
実車 シミュレーション
受信電力の比較
受信電力
距離
カメラ
レーダ
重畳すると
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
38/58

39. © DENSO CORPORATION All Rights Reserved.
データ収集の環境構築\?\g\?\?]\?\N\?\?\?\?\?\N\?
1984年開設
面 積 : 100ha
周回路： 2.6km
本社
2002年開設
面 積 : 550ha
周回路： 5.5km
額田
網走
■平坦路
坂路移動式ﾃﾞﾘﾈｰﾀ移動式ｶﾞｰﾄﾞﾚｰﾙ 移動式ﾘﾌﾚｸﾀﾎﾟｰﾙ
■降雨、照射実験棟 (全長200m,車速60km/h対応)
降雨ノズル
(4~50mm/h可変)
夜間歩行者 AEB
■周回路・カントリー路など 12種類のコース
大R(R400まで)・高速条件での評価F?
(圧雪路、氷盤路 )
■市街地路 (交差点、照明設備 )
可変照度 0～200 lx
■高速周回路拡張 (高速道路出入口の再現 )
テストコースで様々な環境を再現することF?
第二夜の再掲資料
1984年開設
面 積 : 100ha
周回路： 2.6km
2002年開設
面 積 : 550ha
周回路： 5.5km
網走テストセンター額田テストセンター
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
39/58

40. 40/58

41. © DENSO CORPORATION All Rights Reserved.
鷹野 翔
セーフティシステム事業部
セーフティシステム技術 1部
2025年7月25日
カメラ画像内のリスクを先読みせよ！
生成AIの設計・評価・エッジ組み込みで目指す、
「熟練ドライバーレベルの安全運転」

42. © DENSO CORPORATION All Rights Reserved.
42
自己紹介
鷹野翔
•2013年に株式会社デンソー (旧アスモ)に入社。車載カメラを用いたシステム企画・ PoC開発に従
事。
•2018年よりAD/ADASの量産開発部署へ 異動し、前方・周辺監視カメラの画像認識開発を担
当。デンソーADAS製品2世代の様々な MLモデル開発や、 MLOps立ち上げ導入を担当し製品
化を実現。
•2024年からシステム技術 1部に異動し、次世代の ADAS製品の先行開発に従事。
◼一般構造物認識
◼汚れ認識
◼交差点認識 ◼などなどなど。。。 趣味
1.家族
2.モノづくり
◼ビットコインの価格予測 WEB API(有
料)(AWS Lambda) 2016
◼オリジナルキーボード・マウス (アートワー
ク・ハウジング3D Print) 2023
◼生成AI\q\?\?\}\?\?\?\?\?\?t?\s\?
スマホアプリ(Google Cloud
Gemini)2024
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
42/58

43. © DENSO CORPORATION All Rights Reserved.
イントロダクション
子供?\? すかも
譲ってくれるか?
物理的位置、向き、速度、過去の軌跡\?\e\}\?\?
全体の場面をとらま\y\G ??\?\??:\?\?\g\?\^
生成AIの常識力を活用する。
生成AIを使わなくても、あ?\?\らゆる if文を張り巡らせば、実現はできるかも。。
リスク
リスクリスク
0(km/h)
40(km/h)
10(km/h)
0(km/h)
生成AIで、熟練ドライバーレベルの安全運転を実現する !
「カメラ画像内のリスクを先読みせよ！
生成AIの設計・評価・エッジ組み込みで目指す、 “熟練ドライバーレベルの安全運
転”」
従来の画像認識モデルでは見\?\^\??\??i ?8 (種類・位置・速度 )を正確
に把握することは可能です。
これにとどまら出E ADASのプロ:デンソーとして、その場面を踏ま\y??\?y(\G?
全・かもしれない運転の実現を目指しています。
その実現可能性を秘めた VLM技術の製品化のため、クラウド v.s. エッジ, ファイン
チューニング v.s. プロンプトチューニング , 量子化変換 SoC実装にいたるまで、デン
ソーの先行開発の取り組みを紹介します。
侵入してくるかも
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
43/58

44. © DENSO CORPORATION All Rights Reserved.
やってみよう
なにはともあ? やってみよう
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
44/58

45. © DENSO CORPORATION All Rights Reserved.
先は長そうであ?
指定された場所について、詳しく説明しよう。車は白の 4ドアセダン。中型車かフルサイズ車のようで、 2000年
代後半から 2010年代前半のモデルによく見られる、やや丸みを帯びたボディ形状で、洗練られたモダンなデザ
インであ?\Fj\???\?\g\?\?\?\e\??1.カラー：ピュアホワイト 2.ボディスタイル 4ドアセダン 3.仕上げ：塗
?の状8は??で、?V\る。?：? ?された?aる 5.ホイール：リアホイールa、合金リム
見\? 6.リアライト：テールライトは部分的に見\EsG&\?\?\?\?\?\?\?]\?\G\?\?\?]\?aる 7.トランク：
車体後部は比較的平らなトランクリッドで、縁石に対して斜めに駐車しているため、全部よりも後部?\ia
\?\F\?\?]\?\?\?\?\?見\?\^\y\?\E[?\? \??\s\?\?\??\q\^、全体的なスタイルは当時の高
級セダンと一致している。
[x1,y1,x2,y2]=[120, 460, 510, 600]の位置の車について詳しく教\?\F
左のSUVの座標を指定して聞いたのに、
右のセダンの説明をしてしまう
やってみよう
45/58

46. © DENSO CORPORATION All Rights Reserved.
②潜在リスク推定＝まだ見\?\^\?\^\?\?
•死角 検出
•“Car” “Ped” “Bike”
•自然言語
•検出?i\E 参照表現*
•画像全体の運転ポリシー
①顕在リスク推定＝もう見\?\^\?\?\?
•移動体 検出
•“譲る” “交渉” “行く” “通過”
•自然言語
•検出?i\E 参照表現 *
•画像全体の運転ポリシー
タスク設定
参照表現 : 合流する黒い車
クラス: 譲る
理由: 交差点に進入し、対向車
の進路を妨げているため
参照表現 : 右側に駐車している
銀色の車
クラス: 通過
理由: 駐車しているため
参照表現 : 対向車線の白い車
クラス: 通過
理由: 対向車線で止まっている
ため
運転ポリシー: 左側から合流する黒い車に道を譲ってください。
* 参照表現 :画像から一意に対象を特定する言語表現
参照表現 : 左手前のトラックの影
クラス: 歩行者
理由: 車間から歩行者 \s\s\?
可能性\るため
参照表現: 右側に駐車されたトラック
クラス: 歩行者, バイク
理由: 死角をバイク??\q\?\^\?F?S
あ?\y\?
運転ポリシー: トラックの影からの歩行者の飛び出q\???\q\?\i\z\o\^\F
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
46/58

47. © DENSO CORPORATION All Rights Reserved.
47/58
モデル・アーキ 選定
パターン1 パターン2 パターン3
図
デプロイ先 エッジ エッジ クラウド
Detection機
能
含む 含まない 含まない
Full scratch 1回: 推定4千万円 1回: 推定4千万円 1回: 推定3か月~, 5億円~
Fine-tune 1回: 12時間 1回: 5.5時間 1回: 推定2.5時間~
モデル Qwen2-VL-7B InternVL2-8B Claude 3.5 Sonnet v2
論文 サイズやアーキなど詳細不明
60
65
70
75
80
85
90
0 20 40 60 80
MMBench
Overall
パラメタ数 (B)
VILA1.5-3B
VILA1.5-13B
VILA1.5-40B
Qwen-VL-Chat
PaliGemma-3B
Gemini-1.5-Flash
GPT-4o
Qwen2-VL-2B
Qwen2-VL-72B
InternVL2-72BInternVL2-26B
InternVL2-8B
Qwen2-VL-7B
InternVL2-40B Claude-3.5-Sonnet
MMBench
◼モデル規模と性能からベースモデルを選定 ◼車載アーキと開発規模から 3パターンに絞り込み
Q wen2-V L Enha ncing V ision-La ng ua g e M odel’ s Perception of the World a t A ny Resolution
Qwen2-VL Enhancing Vision-
Language Model’s Perception
of the World at Any Resolution
Expa nding Performa nce Bounda ries of O pen-S ource M ultimoda l M odels with M odel, Da ta , a nd Test-Time S ca ling
Expanding Performance
Boundaries of Open-Source
Multimodal Models with Model,
Data, and Test-Time Scaling
選定した3パターンを性能比較する
基盤モデル画像
認識
矩形
基盤モデル
画像
認識
矩形
基盤モデル
画像
Detection
機能
エッジ エッジ クラウド
https://mmbench.opencompass.org.cn/leaderboard
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025

48. © DENSO CORPORATION All Rights Reserved.
パターン1 パターン2 パターン3
Detection機能 含む 含まない 含まない
Prompt-tune 逐次質問形式 一括質問形式 逐次質問形式
Fine-tune する する しない (Few-shotで賄う)
プロンプト
会話の流れ
会話履歴
•CoT(Chain-of-Thought) = 順を追って
考\o\u\?\m\?\?uvS?向上するテク
ニックを活用。
•一度にすべての boxについて質問
することで、推論実行のオーバー
ヘッドを低減する。
•CoT
•Fine-tuneの代わりに、Few-shot = プロンプト/
会話履歴の中に例 QAを含めておく。
プロンプト
検出u\?
xyxy, xyxy
xyxyについてjson
で記述せよ
{}
xyxyについてjson
で記述せよ
{}
policyは?
hoge {}, {}, hoge
xyxy, xyxyのすべて
について順にjsonで
記述し、最後に
policyを述べよ
policyは?
policyは?
hoge
{}
{}
{}
hoge
xyxyについてjson
で記述せよ
xyxyについてjson
で記述せよ
xyxyについてjson
で記述せよ
Few-shot
Detection
一括質問
La ng ua g e M odels a re F ew-S hot Lea rners
Language Models are Few-Shot Learners
Cha in-of-Thoug ht Prompting Elicits Rea soning in La rg e La ng ua g e M odels
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
48/58

49. © DENSO CORPORATION All Rights Reserved.
推論結果動画
Class: Negotiate (交渉)
Reason: The blue bus is approaching from the left and its
direction is undetermined.
Policy: Please slow down, as there is a women crossing the
pedestrian lane.
Class: Give (譲る)
Reason: The white bus is currently driving on the intersection first
to avoid a possible collision.
Policy: Please stop and let the white bus pass the intersection first
to avoid a possible collision.
認識精度はまだまだだ\E\?\?\g\?\g\y
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
49/58

50. © DENSO CORPORATION All Rights Reserved.
課題. 1評価指標
推論の定性評価はいい感\F
さて定量評価しようとしたとこ
ろで問題\F
意味は合っているのに性能
(CIDEr)\^\F
自然言語の正解っ
てなに?
正解(人間アノテ)
Policy: Please slow
down as you can see a
worker in gray clothes
ahead.
推論(モデル)
Policy: Slow down as
you see a person in
gray ahead.
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
50/58

51. © DENSO CORPORATION All Rights Reserved.
51/58
RAGを参考に、単語の意味、文意を評価可能な Metricsを採用
評価指標
CIDEr BERTScore Sentence-BERT
•語順の変化に対応でき
ない (別物のN-gram扱
いされてしまう)
•単語の言い換\?2"
できない (別物のN-
gram扱いされてしまう )
•単語の意味を評価でき
ない (N-gramの頻度と
レア度を評価しただけ )
•文意を評価できない
•N-gramベースの課題を解決すべく登
場
•各単語をBERTモデルで埋め込みベク
トルに変換
•GtとPredの各埋め込みベクトル毎に
最大のコサイン類似度となるマッチを
探し、スコア化したもの BERTScore。
•単語\?\???&??U\?/?して
いるので、文全体の意味を考慮してい
るわけではない。
•文全体の意味の類似度
を評価する目的で
Sentence-BERTL ?
•RAGなどで活用される。
•BERTモデルでトークンを埋
め込み、mean pooling
することで作る文ベクトル
を距離学習・対照学習・
Fine-tuneする。
CI DEr: Consensus-ba sed I ma g e Description Ev a lua tion
CIDEr: Consensus-based
Image Description
Evaluation
BERTSCORE: EVALUATING TEXT GENERATION
WITH BERT
Sentence-BERT: Sentence
Embeddings using Siamese BERT-
Networks
•N-gram
•2-gramの例 「'今
日は', 'はいい', 'い
い天気', '天気です
', 'ですね', ‘ね。‘」
RAG（Retrieval-Augmented Generation）
大規模言語モデル（ LLM）のテキスト生成に
外部情報の検索を組み合わせることで、回答
精度を向上させる技術
これまで
検索
チャットアプリ
質問
回答
ユーザー
LLM
回答
結果
質問+結果
u v
cosine-sim(u, v)
Sentence A Sentence B
BERTBERT
pooling pooling
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025

52. © DENSO CORPORATION All Rights Reserved.
課題. 2目標値
良い評価指標?\?\?\y\?\m
ろで問題\F
自然言語の目標
値ってなに?
どこまでできたら、どう
だっていうこと?
正解(Aさんアノテ)
Policy: Please
slow down as
you can see a
worker in gray
clothes ahead.
推論(モデル)
Policy: Slow
down as you
see a person in
gray ahead.
正解(Bさんアノテ)
Policy: Please slow
down as workers
wearing hard hats
and gray suits are
approaching.
自然言語のバリエーション豊富な学習データにするため、
同\?\N\?\?5人別々にアノテーションしていた。
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025
52/58

53. © DENSO CORPORATION All Rights Reserved.
53/58
目標値
項目
description reason policy
オブジェクトの参照表現 オブジェクトを譲る /譲らない判断した理由 画像全体における運転方針
評価指標 BERTScore Sentence-BERT
解釈
単語の意味的に合っている回答\?\g\?\^\?\e
(descriptionは”The black car”のように短いため、文意よ
りは単語レベルで一致してほしい。 )
文の意味的に合っている回答\?\g\?\^\?\e
実例 en Black car travelling from left front to right front.
Black car from the left ahead is going straight ahead and
there is a danger of merging contact.
Be careful of the black car coming straight from the left.
実例 ja 左前方から右前方へ走行している黒い車 左前方から黒い車は直進しており、合流接触の危険\る 左から直進してくる黒い車に注意してください
分布
•Description, Reason, Policy: アノテータ5人の言葉の表現のばらつき
•Detection /Classification: アノテータ5人の判断 (譲る・交渉・行く・通過 ) のばらつき
5人のアノテータのばらつきから目標値を策定＝人間同等を目指す！
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025

54. © DENSO CORPORATION All Rights Reserved.
54/58
性能比較 •パターン1 Qwen2-VL
①検出性能 目標値未達 ×
②自然言語性能 目標達成 〇
•パターン2 InternVL2
①識別性能 目標値未達 ×
•しかしパターン3より高性能
⇒ Fine-tuneエッジモデル > Few-shotクラウド
モデル
②自然言語性能 目標未達 ×
⇒ Prompt、もしくはベースモデルの性能差
•パターン3 Claude
①識別性能 目標値未達 ×
•しかしパターン2より低性能
⇒ Few-shotでは不十分
②自然言語性能 目標未達 ×
⇒Few-shotでは不十分
①すべてのパターンで矩形性能 目標未達 ×
•画像中の小さな矩形には課題あ?\F
②高性能なモデルを Fine-tuneすることで自然言語性能 目標達成 〇
•Fine-tuneエッジモデル > Few-shotクラウドモデル
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
F1 F1 F1 F1
BERTScore
Sentence-BERT Sentence-BERT
Give Nego Take OffsetDescriptionReasonPolicy
目標値
Qwen2-VL (G/N/T) Fine-tuned
InternVl2 (G/N/T) Fine-tuned *1
Claude 3.5 Sonnet V2 (G/N/T) Few-
shot *1
*1 別途低影響度リジェクト機能?C
目標下限値 =平均-1σ
人間の平均より高スコア !
代表者の表現を学んだ。
人間のばらつきに入っている !
モデルは5人と見分け\~\e\?\^\F
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025

55. © DENSO CORPORATION All Rights Reserved.
55/58
量子化
開発PC+GPUで
動かせただけではまだまだ。
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025

56. © DENSO CORPORATION All Rights Reserved.
56/58
量子化
•量子化とは
•浮動小数点演算を、整数演算に置き換\?\m
とで高速化
•これまでの経験上、認識精度Z\{\?\F
•検出
•矩形の位置 れる。
•識別
•ビミョウなサンプルで識別#\?\?\F
•LLM
•未知
LO RA LO W-RA NK A DA PTA TI O N O F LA RGE LA NGUA GE M O DELS
LORA LOW-RANK ADAPTATION OF LARGE
LANGUAGE MODELS
A WQ : A CTI V A TI O N-A WA RE WEI GHT Q UA NTI Z A TI O N F O R O N-DEV I CE LLM CO M PRES S I O N A ND A CCELERA TI O N
AWQ: ACTIVATION-AWARE WEIGHT QUANTIZATION
FOR ON-DEVICE LLM COMPRESSION AND
ACCELERATION
LLMを量子化して精度>るって、何K\m\??
車載SoCバジェット(処理速度 )内で推論する必要\る。
NVIDIA Jetson AGX Orinを暫定デプロイターゲットとし、モデル量子化変換し処理速度を実測する。
◼構成
•Qwen2VL(AWQ量子化)+LoRAモデルを、vLLMで動かす。
Pretrained
Weights
A
B
Pretrained
Weights
A
B
AWQ
量子化
モデル
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025

57. © DENSO CORPORATION All Rights Reserved.
57/58
量子化
•結果
•処理速度は向上した\E@?\z\}\y 10fpsには遠く及ばなかっ
た。
•今後
•伝統芸能のような高速化方法はまだまだたくさんあ?\F
•しかしそもそも、リスク認識を 10fpsで回し続ける必要はないかも ?
•やはり処理速度重視のプロンプトを使った方\^\^\e ?
•などなど。。
今回は、中国語 た。
おそらくは意味不明な単語 たりするのだろう。評価指標としてはほぼ劣化?\e\}\y\F
◼出力例
The front gray car is showing no signs of changing direction, while the gray car ahead on the right is waiting for the right
时机 to turn right.
不上(0, 492),(381,621)
The black car is now at the intersection. The light is red but the black car is still 科.
最適でない箇所は多数あ?\?\?\E 1パス通すこと\?\g\y
試行錯誤はまだまだ続く
DENSO Tech Night 第三夜 資料 / Jul. 25, 2025