Loading...
2023
LLM(Large Language Model) 속성과 성능 연관성 연구
A study on the Correlation Between LLM (Large Language Model) Properties and Performance
한국엔터프라이즈아키텍처학회
임철홍
논문정보
- Publisher
- 정보화연구
- Issue Date
- 2023-09-01
- Keywords
- -
- Citation
- -
- Source
- -
- Journal Title
- -
- Volume
- 20
- Number
- 3
- Start Page
- 257
- End Page
- 266
- ISSN
- 1738-382x
Abstract
OpenAI의 ChatGPT는 기존 기술보다 놀랍게 향상된 기능을 보여주었고 생성형 AI에 대한 활발한 연구개발과 활용이 시작되었다. 컴퓨터 성능의 비약적인 발전으로 거대한 크기의 인공지능 언어모델(LLM)을 활용하게 되었다. 본 연구는 LLM을 구축할 때 성능을 평가할 방법과 성능을 높이기 위해 LLM의 구축 모든 과정에 걸쳐 고려해야 할 요인을 제시한다. 원시 데이터로부터 학습하여 backbone 모델을 만드는 것부터 만들어진 모델에 fine-tuning을 통해서 최종 모델을 구축하는 과정을 포함한다. 학습 데이터의 양과 품질, 모델 및 파라미터크기, 학습횟수 및 fine-tuning에 관련된 방안을 제시한다. 영문모델은 크기를 줄이면서 성능을 높이는 성과가 있는 반면에 한국어 모델은 작고 성능이 우수하면서 연구개발과 서비스에 제한 없이 활용 가능한 오픈소스 모델의 구축과 보급이 필수적이다.
- 광주대학교
- KCI
- 정보화연구
저자 정보
| 이름 | 소속 | ||
|---|---|---|---|
| 등록된 데이터가 없습니다. | |||