東北大学 大学院情報科学研究科 情報基礎科学専攻 計算機構論分野
(東北大学 工学部 電気情報物理工学科 情報工学コース)
青木・伊藤(康)研究室

SAM と CLIP を用いた半教師ありセグメンテーションとその性能評価

斎藤 凪都 (東北大学) , 伊藤 慎太郎 (東北大学) , 伊藤 康一 (東北大学) , 青木 孝文 (東北大学)
映像情報メディア学会メディア工学研究会サマーセミナー, pp. 1--4, August 2024.
Abstract

セマンティックセグメンテーションモデルの学習には,ラベルが付与された膨大な枚数の画像が必要である.画像にラベルを付与するアノテーションは時間と手間がかかるため,ラベルが付与された少数の画像でモデルを学習する必要がある.そのような手法の1つである半教師あり学習では,少数のラベルあり画像とラベルなし画像を用いてモデルを学習する.学習中のモデルを用いてラベルなし画像に擬似ラベルを付与するため,擬似ラベルの品質がモデルの推論精度に強い影響を与える.そこで,本稿では,基盤モデルを用いることで学習中のモデルに影響を受けずに擬似ラベルを生成し,モデルの推論精度を改善する手法を提案する.提案手法では,セグメンテーションの基盤モデルであるSAMと,視覚と自然言語の基盤モデルであるCLIPを用いて擬似ラベルを生成する.公開データセットを用いた性能 評価実験を通して,提案手法の有効性を実証する.

戻る