自動運転やロボット制御などの分野では，周辺環境の画像に対して画素単位でクラスラベルを付与するセマンティックセグメンテーションが不可欠である．従来の固定ラベルの制約を解消するため，任意のテキストを提示して各画素を分類する Open-Vocabulary Semantic Segmentation (OVSS) が注目を集めている．OVSS は，言語と画像の意味的類似性に基づいて推論を行うため，ラベルの意味的な一貫性が極めて重要となる．しかし，既存データセットには，意味的に類似・重複したラベルが多数混在している．そのため，モデルが意味的に妥当なクラスを予測しても，データセットのラベルと一致しなければ不正解と判定され，OVSS 本来の性能が不当に過小評価される問題がある．本稿では，意味的に類似したラベルを統合することで，OVSS を妥当に評価する枠組みを提案する．公開データセットを用いた実験により，提案手法の有効性を検証する．