RAG란

RAG

• LLM이 텍스트를 생성할 때 관련 정보를 찾아보고(retrieval), 그 정보를 활용하여 새로운 텍스트를 만드는(generation) 기술.
• DB나 인터넷 같은 정보의 원천에서 필요한 사실이나 데이터를 찾아, 그것을 기반으로 텍스트를 만드는 기술

 

RAG 구현 과정

정보 검색

질문 입력

• 사용자가 필요한 정보를 찾음

검색

• 검색 엔진이 해당 쿼리와 관련된 정보를 DB나 인터넷에서 search

유사도 검색

키워드 검색

• 사용자가 입력한 단어를 DB나 인터넷에서 직접 찾음
• 문맥을 파악x 단순히 키워드 존재 여부를 기준 → 관련 없는 결과를 보여주기도 함

시맨틱 검색

• 단어의 의미와 문맥을 이해하여 보다 관련성 높은 결과를 제공하는 기술
• 키워드 검색보다 훨씬 복잡
• 고도의 알고리즘과 자연어 처리 기술이 필요

랭킹처리

유사도 계산

• 유사도를 계산하여 가장 관련성 높은 정보를 선택(ex. 코사인유사도)

문맥과 의도 파악

• 모델이 쿼리의 문맥과 의도를 고려하여 검색된 문서와 관련성 판단

랭킹 산출

• 유사도, 문맥, 정보 품질 등 다양한 요소를 종합 → 최종 랭킹 매김

텍스트 생성

• 정보검색을 통해 수집된 정보를 LLM에 넘기면 LLM에서 텍스트를 생성

참고자료

랭체인으로 LLM 기반의 AI 서비스 개발하기(저자 서지영)