본 발명은 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템에 관한 것으로, 영상 데이터 또는 카메라로 촬영하고 있는 실시간 비디오에서 cascaded CNN(Convolutional Neural Network)를 통해 사람의 얼굴을 감지 및 추적하고, 추적된 데이터를 기하학적 변환이 적용된 AAM(Active Appearance Model)을 통해 모델링하는 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템 및 그 방법에 관한 것이다. 본 발명은 기하학적 변환을 통해 추적된 객체의 이미지를 수평 방향의 이미지로 회전 처리하여 다양한 포즈(회전)로 인한 객체의 움직임을 추정할 수 있고, 추정 후 객체의 이미지를 원래 위치로 역회전시켜 객체를 모델링하는 과정을 반복하여 객체를 실시간으로 검출 및 모델링할 수 있는 효과가 있다.