잡초는 농작물에 막대한 피해를 주는 주요한 개체이다. 잡초를 효과적으로 제거하기 위해서는 정확한 분류를 하고 제초제를 사용하여야 한다. 컴퓨팅 기술의 발전으로, 영상 기반의 기계학습 방법들이 이 분야에서 연구되고 있고, 특히 합성곱 신경망 기반의 모델들이 공공데이터에서 좋은 성능을 보이고 있다. 하지만 실제 응용단계에서는 많은 파라미터 수와 연산량 때문에 GPU와 같은 좋은 하드웨어 조건에서만 잘 작동된다. 본 논문은 계층적 구조 기반의 딥러닝 모델을 제안한다. 실험 결과, 제안된 모델은 적은 파라미터 수로 21개의 외래잡초 종을 최대 97.2612%의 정확도로 성공적으로 분류하였다. 이를 통해 적은 수의 파라미터를 사용하는 제안된 모델은 네트워크 기반의 분류 서비스에서 적용될 수 있을 것으로 기대된다.