본 발명은 장면 구조(scene structure)를 이용하여 영상 처리 태스크를 수행하는 베이스라인 네트워크에 플러그 앤 플레이(plug-and-play) 방식으로 적용되는 신경망 모델을 이용하여 장면 구조를 생성하는 방법으로, 영상의 유사도 행렬(affinity matrix)에 따라 상기 영상에 대한 복수의 고유벡터(eigenvector)를 생성하는 단계 및 상기 복수의 고유벡터를 컨볼루션(convolution)하여 상기 장면 구조를 생성하고, 상기 장면 구조를 상기 베이스라인 네트워크로 출력하는 단계를 포함하는 것을 특징으로 한다.