본 발명은 화자 분리 기술에 관한 것으로, 더욱 상세하게는 시간 구간 별로 화자를 구분하여 화자를 분리하는 보조 손실 기반의 잔류 접합부가 있는 변환기 학습을 통한 단대단 화자 분리 시스템 및 방법에 대한 것이다. 본 발명의 일 실시 예에 따르면, 보조 손실을 이용한 변환기 학습을 기반으로 다중 화자 환경에서 화자 음성이 중첩되어도 화자 별 레이블링으로 화자를 구분하여 분리할 수 있다.