정부와 농민단체는 매년 쌀을 얼마나 생산할 수 있을지 예측하는 문제에 많은 관심을 기울이고 있다. 하지만 해마다 변하는 기상이변과 다양한 병충해와 같은 변동요인들로 인하여 벼의 수확량을 정확하게 예측하는 것을 어렵게 만든다. 본 연구에서는 무인항공기에 탑재된 다중 스펙트럼 센서를 통해 벼의 생육기간 동안 이미지를 여러 번 수집하고, 딥러닝 알고리즘을 이용하여 벼 수확량을 예측하였다. 다중 스펙트럼 이미지는 일정 간격을 두고 여러 번 촬영된 일종의 영상 데이터로 볼 수 있으며, 딥러닝 알고리즘 중에서 트랜스포머 구조를 영상 컴퓨터 비전에 적용한 Video Vision Transformer(ViViT) 모델을 사용하여 벼 수확량을 예측하였다. ViViT 모델은 입력 영상을 일정한 크기로 분할한 패치(patch)들을 생성하는데, 이 패치의 크기를 다르게 설정하여 모델을 학습한 결과 작은 패치 크기를 사용할수록 예측력이 좋아지는 것으로 나타났다. 또한 이미지 처리 분야에서 사용되어온 CNN(Convolutional Neural Network) 구조에서 영상을 입력으로 받는 3D CNN 모델과 예측 성능을 비교해본 결과 작은 패치 크기를 사용한 ViViT 모델의 성능이 더 우수한 것으로 나타났다. ViViT 모델의 학습된 가중치 행렬을 heat map으로 시각화한 결과 8월 중후반에 촬영된 이미지가 수확량 예측에 중요하게 나타나 벼를 수확하기 약 두 달 전에 수확량 예측이 가능할 것으로 보인다.