AI/LLM

LLM의 발전 & 오픈소스와 폐쇄형소스

dohem 2024. 3. 15. 16:44

출처

  • 위 강의를 기반으로 학습한 내용을 정리한 글입니다.

 

LLM의 발전 양상

  • 현재 NLP 모델은 대부분 Transformer 아키텍처 기반
  • 모델의 용도에 따라 Transformer의 Encoder/Decoder를 개별 또는 통합 사용하는 추세
  • Encoder : 말을 이해 하는 데 초점
  • Decoder : 말을 잘 하는 데 초점
  • 이러한 Decoder 중심의 빠른 발전이 이루어짐 

Closed Source vs Open Source

Closed Source 

개발사 OpenAI Google
개발모델 GPT-3
GPT-3.5
GPT-4 		PALM
LaMDA
Bard
장점 성능 우수, API 방식의 편리한 사용성
단점 보안 보장x, API 호출 비용 발생

 

Open Source 

개발사 LLama(meta사) 계열의 LLM 그 외
개발모델 LLaMA -> vicuna
LLaMA -> Alpaca
LLaMA2 -> upstage-llama2
파인튜닝 된 모델들이 등장		 MPT-7B
WizardLM
장점 Closed Source 못지 않은 성능, 높은 보안성, 저비용
단점 개발 난이도 높음, GPU 서버 필요