구조물의 변위 판단 장치 및 방법이 개시된다. 일 양상에 따른 구조물의 변위 판단 장치는 구조물 영상을 획득하는 영상 획득부; 상기 획득된 구조물 영상으로부터 구조물의 직선의 외곽 에지를 관심영역으로 선택하는 관심영역 선택부; 상기 관심 영역으로 선택된 외곽 에지 및 그 외곽 에지를 포함하는 구조물 영역을 분석하고, 구조물의 위상 영상의 비선형도를 고려하여 가버 필터를 설계하는 필터 설계부; 및 상기 설계된 가버 필터를 이용하여 상기 구조물 영상으로부터 위상 영상을 생성하고, 상기 생성된 위상 영상을 분석하여 상기 구조물의 변위를 판단하는 변위 판단부; 를 포함한다.