음성 향상 장치가 개시된다. 본 발명의 실시 예에 따른 음성 향상 장치는, 노이즈가 낀 스피치 신호를 수신하는 수신부, 상기 노이즈가 낀 스피치 신호를 이용하여 깨끗한 신호를 생성하는 제어부, 및, 상기 깨끗한 신호를 출력하는 출력부를 포함하고, 상기 제어부는, 인코더 및 디코더를 포함하는 딥 러닝부 및 상기 인코더 및 상기 디코더 사이에 연결되는 NMF부를 포함한다.