본 발명은 비지도 학습 방법을 이용한 행위 인식 방법 및 장치에 관한 발명이다. 본 발명의 일 실시예에 따른 행위 인식 장치는 분석대상 영상 및 기준 영상을 입력받는 입력 모듈; 인공 신경망을 이용하여 상기 입력받은 분석대상 영상의 특징들(features)과 상기 입력받은 기준 영상의 특징들을 프레임 단위로 추출하고, 상기 추출된 특징들 중 일부인 핵심 특징들을 각각 추출하는 특징 추출 모듈; 및 상기 추출된 핵심 특징들 간의 유사도를 계산하고, 유사도가 계산된 기준 영상들 중 가장 큰 유사도를 갖는 기준 영상을 출력하는 검증 모듈을 포함할 수 있다.