任意のテキストを用いて画像中の各画素を分類する技術であるOpen-Vocabulary Semantic Segmentation (OVSS) では，推論に画像と言語の意味的類似性を利用するため，ラベルの意味的な一貫性が重要である．既存のデータセットでは，chair と seat，building と house のように，意味的に類似または重複する概念が独立したラベルとして定義されていることが多い．そのため，モデルが正解と意味的に近いラベルを予測しても誤分類と見なされ，手法本来の認識性能が過小評価される問題が生じている．そこで本稿では，類似ラベルの統合によるOVSSの高精度化を目的とし，統合後のラベルを入力および推論に用いる手法を提案する．具体的には，CLIPのテキスト特徴量に基づいて各ラベルをクラスタリングし，同一クラスタ内のラベルを1つの文字列として連結する．公開データセットを用いた評価実験により，提案手法を用いることで見かけ上の誤分類が軽減され，セグメンテーション精度が向上することを示す．