楽器演奏や工芸品製作の技術習得の支援などを行うために熟練者の手の動きを正確に取得する必要がある．動画像からの手の姿勢推定では，オクルージョンや照明変化などの環境変化に対する頑健性が重要である．本稿では，環境変化に頑健でリアルタイムに手の姿勢を推定する手法を提案する．公開データセットを用いた性能評価実験により，提案手法の有効性を示す．