본 발명은 비디오로부터 객체 행동 분류를 위한 특징정보를 추출하는 방법에 관한 것으로서, 처리대상 비디오의 영상 프레임들에 대해 선정된 키포인트에 대해 그레디언트 벡터와 광학 옵티컬 플로우벡터를 산출하는 단계와, 그레디언트 벡터와 옵티컬 플로우 벡터에 대한 텐서곱을 구하는 단계와, 텐서곱의 차원을 낮추도록 텐서곱에 대한 텐서다이버전스를 산출하고, 산출된 텐서 다이버전스를 움직임 분류용 특징 벡터로 결정하는 단계를 포함한다. 이러한 비디오 객체 행동 분류를 위한 특징정보 추출 방법 및 특징 추출기에 의하면, HOG 및 HOF의 특징을 하나의 특징으로 융합하여 공간과 시간상의 변화를 반영할 수 있으면서 특징벡터의 차원을 증가시키지 않음으로써, 인식기인 분류기의 계산량을 증가시키지 않으면서도 비디오내 행동분류의 성능을 향상시킬 수 있는 장점을 제공한다.