Graduate School of Information Sciences, Tohoku University
(Department of Electrical, Information and Physics Engineering, School of Engineering, Tohoku University)
Computer Structures Laboratory

SAM と CLIP を用いた半教師ありセグメンテーションに関する検討

斎藤 凪都   (東北大学),  伊藤 慎太郎   (東北大学),  伊藤 康一   (東北大学),  青木 孝文   (東北大学)

電気関係学会東北支部連合大会, pp. 1--1, August 2024.

Abstract

画像中の物体領域の特定とクラス分類を画素単位で行うセマンティックセグメンテーションモデルの学習には,ラベルが付与された膨大な画像が必要である.ラベルのアノテーションは手間がかかる作業であるため,少数のラベルあり画像でセグメンテーションモデルを学習する方法が必要である.半教師あり学習は,ラベル無し画像も利用してモデルを学習する方法である.学習中のモデルを用いてラベル無し画像に擬似ラベ ルを付与するため,擬似ラベルの品質がモデルの学習精度に影響を与える.本稿では,セグメンテーションの基盤モデルであるSAMと,視覚と自然言語の基盤モ デルであるCLIPを用いて教師無しで擬似ラベルを生成し,Unified Dual-Stream Perturbations Approach (UniMatch)の半教師あり学習を用いて擬似ラベル を洗練することで,モデルの学習精度を改善する手法を提案する.公開データセットを用いた精度評価実験を通 して,提案手法の有効性を実証する.