본 논문에서는 비전 센서 기반 시스템의 차선 이탈과 신호등 오인식 등을 개선하기 위해 End to End 모델을활용한 자율주행 시스템을 제안한다. End to End 학습은 다양한 환경 조건에 대해 확장을 할 수 있다. 비전 센서 기반모형 자동차를 이용하여 주행 데이터를 수집한다. 수집한 데이터를 이용하여 기존의 데이터와 아웃레이어를 제거한 데이터로 구성한다. 입력 데이터인 카메라 이미지 데이터, 출력 데이터인 속도와 조향 데이터로 클래스를 구성하고 En d to End 모델을 활용하여 데이터 학습을 수행하였다. 학습된 모델의 신뢰성을 확인했다. 모형 자동차에 학습한 E nd to End 모델을 적용하여 이미지 데이터로 조향각을 예측한다. 모형 자동차의 학습 결과, 아웃레이어를 제거한 모델이기존 모델보다 향상된 것을 볼 수 있다.