본 발명은 영상으로부터 손의 형상을 탐지하고, 탐지된 손의 형상을 3D CNN(end-to-end 3-convolution neural network)을 이용하여 분석함으로써 손 제스처를 인식할 수 있는 시스템으로서, 손 제스처가 포함된 깊이 영상을 획득하는 깊이영상 촬영부와, 깊이 영상을 분석하여 손가락 끝을 식별하는 손가락 추적부와, 손가락 끝이 식별된 데이터를 신경망(neural network)으로 분석하여 손 제스처를 인식하는 손짓 인식부를 포함한다.