비전기반 3차원 제스처 인식 기술은 카메라를 이용하는 많은 응용분야에서 중요한 핵심 기술로 인식되고 있다. 본 논문에서는 영상으로부터 추출 가능한 신체 특징점의 3차원 위치정보를 이용하여 영상에서 추정이 불가능한 나머지 중간관절의 움직임 정보를 계산하여 사람의 동작을 복원하며 복원된 동작 정보를 이용하여 동작자의 자세를 인식하는 방법에 대해 기술한다. 영상으로부터 추출되지 않는 중간관절의 3차원 후보 위치들은 Inverse Kinematics 이론을 적 용하여 계산되어지며 후보 위치들 중 다양한 신체 제약조건을 이용하여 후보군의 수를 줄인다. 또한 보다 정확한 위치 추적을 위해 Kalman Filter를 사용하며 이전 프레임과의 상관관계를 적용하면 보다 정밀한 최종 추정치를 얻을 수 있 다. 계산된 관절들의 위치 및 회전값을 이용하여 동작을 복원할 수 있으며 복원된 3차원 모션 데이터에서 관절과 관절 사이를 잇는 법선벡터들을 하나의 벡터로 통합한 3차원 자세기술자를 사용하여 명령형 제스처 인식이 가능하게 된다. 제안된 방법은 사람의 실제 움직임이나 제스처를 손쉽게 복원할 수 있어 다양한 단말에서 감시시스템이나 게임시스템 구현에 널리 활용될 수 있을 것으로 기대된다.