본 발명은 물체로부터 발생한 스테레오 영상으로부터 좌우 특징 벡터를 추출하고, 추출된 좌우 특징 벡터에 공통적으로 존재하는 강인한 특징 벡터를 찾으며, 좌우 특징 벡터 및 강인한 특징 벡터의 정보와 데이터베이스에 저장된 정보를 비교하여 물체의 이름 정보를 추출하여 물체를 인식하는 물체 인식 시스템 및 그 물체 인식 방법을 개시한다.