본 발명은 비디오 영상으로부터 얼굴 이미지를 추출하여 이를 기준으로 비디오클립을 생성하고, 이에 대한 비디오 영상의 감정 레이블을 표시함으로써 감정을 인식하기 위한 비디오 데이터를 구축할 수 있도록 하는 감정인식을 위한 비디오 데이터 구축 방법 및 시스템에 관한 것이다. 본 발명의 실시 예에 따른 감정인식을 위한 비디오 데이터 구축 방법은 원본 비디오(Original Video) 영상을 수집하는 단계(S10), 얼굴 영상 정보를 기반으로 상기 원본 비디오 영상을 하위 비디오(Sub video) 영상으로 분할하는 단계(S20) 및 상기 하위 비디오(Sub video) 영상의 각 프레임(frame)에서 주 얼굴 정보를 추출하는 단계(S40)를 포함할 수 있다. 또한, 추출된 주 얼굴 정보를 이용하여 해당 프레임의 감정을 인식하는 단계(S50)와 감정 인식 결과를 이용하여 하위 비디오 영상의 감정 레이블을 예측하는 단계(S60)를 포함할 수 있다.