[SK TECH SUMMIT 2023] SKT LLM Enterprise 서비스 2편

SKT LLM Enterprise 서비스

👉 영상: https://www.youtube.com/watch?v=wzYT7kYIDwg

👉 강의 자료: https://sktechsummit.com/sessions/sessionsList.do

---

연사자

SKT MLOps Tech팀 김응창

---

강의 내용

1. RAG(Retrieval Augmented Generation)
2. HyDE(Hypothetical Document Embeddings)
3. Hyperparameter Search
4. Enterprise Service PoC UI

---

RAG(Retrieval Aumgneted Generation)

✅ 일반적인 LLM이 파라미터 지식 많이 가지고 있다면, 작은 LLM은 그렇지 못하기 때문에 sLLM에 적합

✅ 사용자(User)가 질의(Question)하면, A.X.LLM에서 query를 1번 바꿈

✅ Query에 기반해 아래 2가지 방법 진행

1️⃣ embedding 모델로 Vector DB에서 검색

2️⃣ BM25 같은 키워드 기반 서치로 Full-text index

✅ Re-rank 모델로 검색 결과 만듦

✅ 검색 결과 바탕으로 grouding 해서 최종 답변 생성

➡️ 전체적으로 생성형 모델이 2번 들어가게 됨

---

HyDE(Hypothetical Document Embeddings)

✅ 검색 성능 높일 수 있는 방법

✅ 허깅페이스에서 올라와 있는 오픈 데이터셋에서 있는 질문 중 하나

👉 [허깅페이스] NomaDamas/Ko-StrategyQA

• 시나리오: 질문에 적합한 위키 문서 검색하는지
• 데이터셋: 위키 문서들이 딕셔너리 형태로 들어가 있음
• GPT로 생성한 가상의 답변

✅ 질문을 가상의 답변 형태로 바꾸면 의미론적으로 유사해짐

✅ 실제 데이터셋 가지고 테스트했을 때, Top-3와 Top-10 차이 있었음

• 4~5% 정도. 비율로는 7~8% 나아지는 결과

 

---

💡 HyDE 기술 적용한다고, 반드시 성능 향상으로 이어지지는 않음

✅ query를 바꾸는 과정에서 '브라이언 워너'와 같이 중요 Keyword 누락되는 경우도 생김

✅ 검색하는 전단계에서 진행되기 때문에, 생성하는데 시간이 소요됨

✅ 특정 도메인 관련 벤치마크를 통해서 re-rank와 같이 적용해야 할 필요성

---

Hyperparameter Search(Hyperparameter Optimization)

✅ sLLM 최적화하는 과정에서 사용

✅ 파인 튜닝 과정에 있는 다양한 하이퍼파라미터 리스트

• LoRA: PEFT 기법 중 하나로, r 값(rank)이나 @ 같은 부분들 설정 가능. 실험적으로 최종 성능에 영향 적다는 의견도 있음
• Input sequence length: 입력 넣을 때, 모델 최대치 보다 반 사이즈 or 조금 더 작게 넣는다면 훨씬 적은 양의 GPU로 실행 가능. 성능의 경우, 최종 결과 벤치마크 통해서 확인해야 함
• Loss mask: 요약 task의 경우, 뒤에 오는 단어 예측하는 모델이다 보니, 전체 text(요약 원문 + 요약본)를 전부 학습하는지 아니면 앞부분(원문) 제외하고 뒷부분(요약본)만 학습할 것인지. 입력 부분 학습 여부
• Data ratio: 가장 중요할 수 있는 데이터 비율. pre-training때 사용한 비지도학습 방식과 유사. vertical 형의 원문 데이터 넣을 수도 있고, demonstration 하는 instruction과 그 output에 대해서 예시를 보여주는 데이터들 넣을 수도 있음
  • demonstration 데이터라고 해도, 그중 긍정/부정/알 수 없는 내용입니다 등의 비율 등 조절할 수 있음
  • 결국, '잘 모른다' 내용의 데이터 많이 들어가게 되면 모델들이 '잘 모른다'는 답변 더 많이 할 수 있게 됨

---

✅ Learning Rate 등의 값들 최적화 과정에 있어 여러 파라미터 조합으로 많이 실험

✅ 대표적인 방법들

• Grid: 순차적인 방법으로 다 조합해서 하는 방식
• Random: 위의 과정에서 보다 랜덤하게 진행하는 방
• Bayesian: 순차적으로 실행하며 최적값 탐색(우측 그래프 참고)
  • 1차원적에서 어느 파라미터 값에 대해서 가장 불확실한지
  • 가장 불확실한 지점에 대해 실험, 그 다음 불확실한 지점에 대해 실험
  • 합리적으로 다차원 공간 상에서 최적값 찾아가는 방법
  • 단점? 순차적으로 실행하기 때문에 시간이 매우 오래 걸림
• Population-based Training(PBT): 많이 사용하는 방법. multi-GPU 환경이라면 효율적

---

✅ 허깅페이스 4개 정도 라이브러리 통합해서 제공하고 있음

✅ 그중, weights&bias의 Sweeps 라이브러리 mapping

• 각 파라미터들이 최종 성능에 어떤 영향 끼치는지 표현해줌

👉[허깅페이스] Hyperparameter Search using Trainer API

 

 

---

Enterprise Service PoC UI

법령 질의응답

✅ 관련 법령들이 먼저 검색된 다음, 검색된 내용들을 grouding 해서 답변 생성