팬더믹으로 인한 재택근무의 증가로 내부자 위협에 대한 우려가 증가하고 있다. 기업은 내부자 위협을 감소시키기 위해 다양한 보안솔루션을 구비하지만, 사람의 행동양식을 모두 잡아내기엔 한계가 있다. 이를 해결하고자 딥러닝을 이용한 내부자 위협행위 탐지에 대한 연구가 활발히 이뤄지고 있다. 그러나 내부자 위협행위의 특성상 공격데이터가 매우 희소한 점과, 시간과 행동을 동시에 학습시켜야 하는 점등은 여전히 과제로 남아있다. 본 연구에서는 위 두 가지 한계점을 극복하기 위해 트랜스포머의 양방향 인코더 표현(BERT)의 사전학습 방식인 마스크 언어 모델을 이용한 내부자 위협행위 탐지 모델을 제안한다. 학습에는 CERT 데이터 세트를 사용했으며 커스텀 토크나이저를 사용하여 데이터를 30분 간격으로 행동과 시간을 매핑했다. 이후 마스크 언어 모델에 정상 데이터만 입력하여 특징을 학습시킨 뒤 정상 데이터로부터 도출되는 손실 값의 합을 위협점수로 산정하고 그중 최댓값을 사용자별 탐지기준으로 설정한다. 이후 새로운 데이터를 모델에 넣었을 때 발생하는 위협점수가 탐지기준을 넘을 경우 비정상 행위로 탐지한다. 실험 결과 기존 딥러닝 모델들과 비교했을 때 평소에 발생하지 않던 시간에 행동이 발생한 경우 모델이 민감하게 반응했으며 위협행위의 준비 및 착수가 분리돼있는 시나리오의 경우 시나리오 특성을 고려한 적절한 탐지성능을 보였다. 이로써 기존의 내부자 위협행위 탐지의 한계점이었던 불균형한 데이터세트는 오히려 정상 데이터의 양이 많은 점을 장점으로 활용할 수 있었고 커스텀 토크나이저를 이용하면 기존 LSTM 파생 모델과는 달리 충분히 세밀한 시간데이터도 행동과 매핑하여 학습에 활용할 수 있음을 확인했다.