본 발명은 입력 깊이 맵을 다층 깊이 맵으로 분할하고, 다층 깊이 맵 각각의 깊이 신뢰도(depth confidence)를 이용하여 입력 깊이 맵의 불확실성을 식별하고, 이에 기초하여 입력 깊이 맵의 전체 신뢰도를 결정하는 방법에 관한 것이다. 본 발명의 일 실시예에 따른 다층 깊이 맵을 이용한 입력 깊이 맵의 신뢰도 결정 방법은 입력 깊이 맵을 깊이 범위에 따라 다층 깊이 맵으로 분할하는 단계, 상기 입력 깊이 맵의 각 픽셀에 대하여 상기 다층 깊이 맵의 신뢰도를 결정하는 단계, 상기 신뢰도에 기초하여 상기 각 픽셀의 유력 깊이를 추정하는 단계, 상기 유력 깊이에 기초하여 상기 입력 깊이 맵의 아웃라이어를 식별하는 단계 및 상기 아웃라이어를 고려하여 상기 입력 깊이 맵의 신뢰도를 결정하는 단계를 포함하는 것을 특징으로 한다.