東北大学 大学院情報科学研究科 情報基礎科学専攻 計算機構論分野
(東北大学 工学部 電気情報物理工学科 情報工学コース)
青木・伊藤(康)研究室

マルチヘッド注意機構と大域特徴損失によるTalk2DINO の高精度化

梶原 健悟   (東北大学),  斎藤 凪都   (東北大学),  伊藤 康一   (東北大学),  青木 孝文   (東北大学)

2026年度電気関係学会東北支部連合大会, August 2026.

Graphical Abstract
Abstract

自動運転やロボット制御などでは,画像の画素単位でクラスラベルを付与するセマンティックセグメンテーションを用いて空間認識を行っている.従来は,あらかじめ定義されたクラスラベルのみを扱っていたが,近年では,任意のテキストラベルを扱うためにOpen-Vocabulary Segmentation (OVS) が検討されている.OVS では視覚と言語を結合するCLIP の利用が標準的であるが,局所的な画像特徴表現の精度不足が課題であった.これに対し,高精度な視覚基盤モデルである DINOv2 を用いたTalk2DINO が提案され,高い精度を実現している.しかし,Talk2DINO は単一の注意ヘッドのみを用い,画像全体を表現するCLS トークンを活用していないため,他ヘッドの多様な文脈や大域特徴が十分に利用されていない課題がある.本稿では,複数の注意ヘッドの重み付き統合とCLS トークンによる大域特徴損失を導入することで,局所・大域の両文脈を考慮し,OVS を高精度化する手法を提案する.公開データセットを用いた実験により有効性を検証する.