‘제스처’는 음성을 제외한 가장 직관적인 인간의 의사표현 수단이다. 그에 따라 제스처를 이용하여 컴퓨터를 제어하는 방법에 대한 많은 연구가 진행되고 있다. 이러한 연구에서 사용자를 검출하고 추적하는 방법은 매우 중요한 과정 중의 하나이다. 기존의 2차원 객체 검출 및 추출 방법은 조명이나 주변 환경의 변화에 민감하고, 2차원과 3차원 정보의 혼합사용 방법은 연산량이 많다는 단점이 있다. 또한 3차원 정보를 이용한 기존 방법들은 유사한 깊이의 객체 분할이 불가능하다. 따라서 본 논문에서는 깊이 정보의 누적 값인 Depth Projection Map (DPM)과 움직임 정보를 이용하여 객체를 검출하고 추적하는 방법을 제안한다. 실험 결과 제안 방법은 조명이나 환경변화에 강인하고, 연산속도가 빠르며, 유사한 깊이의 물체도 잘 검출하고 추적할 수 있음을 확인하였다.