동영상을 이용한 부유 구조물의 변위 측정 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 동영상을 이용한 부유 구조물의 변위 측정 시스템은, 부유 구조물을 포함하는 입력 영상으로부터 복수의 프레임 영상을 추출하는 영상 추출부; 상기 프레임 영상에 푸리에 변환(FFT : Fast Fourier Transform) 기법 및 서프(SURF : Speed-Up Robust Features) 알고리즘을 적용하여 정합점을 추출하는 정합점 추출부; 및 상기 정합점을 이용하여 상기 부유 구조물의 3차원 변위를 측정하는 변위 측정부를 포함한다.