LLM의 발전 & 오픈소스와 폐쇄형소스

출처

• https://www.youtube.com/watch?v=XwlLeVhWCCc&list=PLQIgLu3Wf-q_Ne8vv-ZXuJ4mztHJaQb_v&index=2

• 위 강의를 기반으로 학습한 내용을 정리한 글입니다.

 

LLM의 발전 양상

• 현재 NLP 모델은 대부분 Transformer 아키텍처 기반
• 모델의 용도에 따라 Transformer의 Encoder/Decoder를 개별 또는 통합 사용하는 추세
• Encoder : 말을 이해 하는 데 초점
• Decoder : 말을 잘 하는 데 초점
• 이러한 Decoder 중심의 빠른 발전이 이루어짐 

Closed Source vs Open Source

Closed Source 

개발사	OpenAI	Google
개발모델	GPT-3 GPT-3.5 GPT-4	PALM LaMDA Bard
장점	성능 우수, API 방식의 편리한 사용성
단점	보안 보장x, API 호출 비용 발생

 

Open Source 

개발사	LLama(meta사) 계열의 LLM	그 외
개발모델	LLaMA -> vicuna LLaMA -> Alpaca LLaMA2 -> upstage-llama2 파인튜닝 된 모델들이 등장	MPT-7B WizardLM
장점	Closed Source 못지 않은 성능, 높은 보안성, 저비용
단점	개발 난이도 높음, GPU 서버 필요