Research Hub

대학 자원

대학 인프라와 자원을 공유해 공동 연구와 기술 활용을 지원합니다.

Loading...

논문 리스트

2023
LLM(Large Language Model) 속성과 성능 연관성 연구 A study on the Correlation Between LLM (Large Language Model) Properties and Performance
한국엔터프라이즈아키텍처학회
임철홍
논문정보
Publisher
정보화연구
Issue Date
2023-09-01
Keywords
-
Citation
-
Source
-
Journal Title
-
Volume
20
Number
3
Start Page
257
End Page
266
DOI
https://doi.org/10.22865/jita.2023.20.3.257
ISSN
1738-382x
Abstract
OpenAI의 ChatGPT는 기존 기술보다 놀랍게 향상된 기능을 보여주었고 생성형 AI에 대한 활발한 연구개발과 활용이 시작되었다. 컴퓨터 성능의 비약적인 발전으로 거대한 크기의 인공지능 언어모델(LLM)을 활용하게 되었다. 본 연구는 LLM을 구축할 때 성능을 평가할 방법과 성능을 높이기 위해 LLM의 구축 모든 과정에 걸쳐 고려해야 할 요인을 제시한다. 원시 데이터로부터 학습하여 backbone 모델을 만드는 것부터 만들어진 모델에 fine-tuning을 통해서 최종 모델을 구축하는 과정을 포함한다. 학습 데이터의 양과 품질, 모델 및 파라미터크기, 학습횟수 및 fine-tuning에 관련된 방안을 제시한다. 영문모델은 크기를 줄이면서 성능을 높이는 성과가 있는 반면에 한국어 모델은 작고 성능이 우수하면서 연구개발과 서비스에 제한 없이 활용 가능한 오픈소스 모델의 구축과 보급이 필수적이다.

저자 정보

이름 소속
등록된 데이터가 없습니다.