멀티모달로 확장된 병목 트랜스포머와 동적 제한 적응 손실을 활용하여 신경망을 경량화 할 수 있는 멀티모달 퓨전 학습 장치에 관한 기술이 개시된다. 멀티모달 퓨전 학습 장치는, 복수의 모달 인코더부와, 분류 토큰 결정부와, 손실 결정부를 포함한다. 모달 인코더부는 각 모달리티의 시퀀스 데이터에 각각 어텐션 연산을 수행하여 각 모달리티의 특징 벡터를 출력한다. 분류 토큰 결정부는, 각 모달리티의 특징 벡터에 분류 토큰과 병목 토큰을 결합시켜 시퀀스 행렬을 생성하고, 시퀀스 행렬에 어텐션 연산을 수행하여 각 모달리티의 분류 토큰을 결정한다. 손실 결정부는, 각 모달리티별 출력과 퓨전 출력을 구하여 동적 제한 적응 손실을 결정한다. 분류 토큰 결정부에 병목 토큰의 각 원소를 복수개의 모달리티의 특징 벡터와 결합시키는는 확장된 병목 트랜스포머를 포함하여 경량화가 가능하고, 동적 제한 적응 손실을 사용하여 모달리티 편향을 해소할 수 있다.