본 발명의 이미지 향상장치에는, 적어도 두 개의 입력이미지에서 공통특징정보를 학습하는 제 1 단계학습부; 적어도 두 개의 입력이미지에서 편향특징정보를 학습하는 제 2 단계학습부; 및 상기 공통특징정보와 상기 편향특징정보를 이용하여 상기 적어도 두 개의 입력이미지가 모두 가지는 이미지정보를 구하는 제 3 단계학습부 중의 적어도 하나가 포함될 수 있다.