[SK TECH SUMMIT 2023] LLM의 미래 - KGPT(AI KMS)와 sLLM 소개

개요

👉 영상: [SK TECH SUMMIT 2023: LLM의 미래 - KGPT(AI KMS)와 sLLM 소개]

👉 강의 자료: https://sktechsummit.com/sessions/sessionsList.do

---

연사자

PersonalAI GenAI 리더 전성재님

 

---

강의 내용

1. 초거대 AI와 LLM

2. 페르소나AI 지식 생성 KGPT

3. 페르소나AI LLM Compression

---

1. 초거대 AI와 LLM

LLM의 미래

💡 AI 4대 천왕

✅ AI의 대부들(Godfathers of AI)? 제프리 에베레스트 힌튼. 얀 르쿤. 요슈아 벤지오. 2018년 컴퓨터 과학 분야 노벨상 격인 튜링상 공동 수상

✅ 앤드류 응? "모두를 위한 AI" 주창하며 Coursera 무료 교육 플랫폼 창업자. Deeplearning.AI 강의에서 최신 기술들 소개 & 실습 및 콜라보. AI 민주화 선구

제프리 에베레스트 힌튼	"LLM은 자연어 처리 분야에서 혁명적인 발전 이끌 것이다!"
얀 르쿤	"LLM은 언어 이해와 생성에 혁명적인 기회 제공할 것이다!"
요슈아 벤지오	"LLM은 인간과 기계간 지능적 작업에 혁명을 가져올 것이다!"
앤드류 응	"LLM은 전기와 같고, 무한한 가능성을 제공할 것이다!" ➡️ 범용성: 어떤 상황에서든 두루 쓰일 수 있는 성질

 

---

초거대 AI는 범용적이다

 

✅ 최근 모델들은 대부분 거대 모델로, 파라미터 수가 million(백만)을 넘어 billion(십억) scale로 넘어가고 있음

✅ 모델이 거대해지면서 범용성 확보하게 됨

✅ 그림 그리기, 글/개발 코드 작성 등 다양한 영역이 가능해짐

➡️ 막상 생성 AI를 자사, 고객사에 적용하려다 보니 굉장히 많은 문제점 직면

---

Anyone use it, but not available

모두가 사용할 수는 있지만, 모든 사람에게 유용한 도구는 아님

1️⃣ Knowledge cut-off(지식의 단절) ✅ 딥러닝 한계? 특정 시점 정보들로 학습 지속저으로 시켜야 됨 ✅ 매번 모델 학습해야 하는데, 모델은 매번 scale-up되고 있는 상황 ✅ 학습해야 할 데이터도 scale-up이 되어야 함 ✅ 모델 학습에 소요되는 duration 길어질 수 밖에 없음 ✅ 특정 시점, 지리적 문제, 문화적 특성 반영하지 못하는 한계점	2️⃣ Hallucination(전문성 부족) ✅ 한정된 데이터만 가지고 거대 모델 학습시킬 수 없음 ✅ 웹에 공개된 데이터 사용하게 되는데, 이런 데이터들은 bias 있을 수 있고, 잘못된 정보가 포함되어 있을 수도 있음 ✅ 이런 데이터 가지고 학습시키다보니 환각 현상 발생할 수 밖에 없음
3️⃣ 막대한 비용 ✅ GPU, 데이터 가공/저장/운영 비용, 메모리 비용, 시간도 많이 소용됨 ✅ 현재 대부분의 LLM 서비스는 cloud 기반으로 서비스	4️⃣ 지식재산 보호 ✅ 현재 대부분의 LLM 서비스는 cloud 기반으로 서비스 ✅ 비용 비싸고, 거대하니까 private으로 만들기 어려움 ✅ 네트워크 타서 돈을 내고 API 호출해서 사용해야 함 ✅ 보안 문제 발생할 수 밖에 없음

 

---

RAG with LLM

페르소나AI에서는 4가지 문제를 2가지 쟁점으로 압축해 해결

PersonaAI 기술

1️⃣ RAG(검색 증강 생성) ✅ 질문에 대해 density 높은, 밀접한 데이터 검색해서 찾는 기술 ✅ 기업용 KMS 만드는데 근간이 되는 architecture ✅ RAG 구현 위해 핵심 기술? similarity(유사성) 기반 검색 기술 유사성 검색하기 위해 어떻게 chunking 작업할 것인지 얼마나 큰 길이의 chunk 만들어서 어떻게 중첩시켜 만들 것인자 chunk들을 벡터화해서 어떻게 빠르게 검색할 수 있을지 ✅ 유사성 통해 검색된 필터링된 정보를 LLM 모델에 input 값으로 줘서, 그 결과를 요약/번역하는데 활용

💡 유사성 기반 탐색의 한계 ✅ similarity score? 질문에 얼마나 많은 유사한, 답변에 근간이 되는 정보들 찾는 방식으로 유사한 정보 개수(Top-K) 정해야 함 "GPT-4 뭐야?" 질문이 들어오면, similarity 방식은 gpt 토큰과 비슷한 정보 가지고 있는 정보 추출 하지만, 내가 알고 싶은건 gpt-4 모델 계보, 장점, execution 결과, 활용하는 데이터셋 등 광범위한 연관된 정보들  ➡️ 이런 내용들은 유사성 검색 기술로는 해결할 수 없음 2️⃣ Graph-base Ontology ✅ 벡터로 전환하기 전, 원본 데이터 요약한 정보를 graph-base Ontology로 만드는 기술 탑재 ✅ 질문과 연관된 토픽들 찾아, 토픽과 가장 유사한 정보 탐색 ✅ 단순히 한번 질문해서 답 받는게 아니라, 멀티옵스 방식의 question-answer가 가능한 RAG 아키텍처 구조

 

---

2. 페르소나AI 지식 생성 KGPT

페르소나 AI KGPT

💡 RAG with LLM 아키텍처 적용한 페르소나AI의 KGPT

✅ 자체적으로 자연어 처리 엔진, 검색 엔진뿐만 아니라 지식을 hierarchy 구조로 관리하는 ontology 기술

✅ 기존 KMS보다 훨씬 더 좋은 성능 보장

✅ 자연어처리 language model뿐 아니라 외부의 거대 모델들도 연동할 수 있음

---

KGPT 대화형 문서 검색

KGPT가 제공하는 *MRC(Machine Reading Comprehension) 기능

* AI가 사람처럼 문서 읽고 이해한 후, 질문에 정확히 답하는 기술

✅ 내부데이터 시스템에 업로드 -> 벡터 저장소에 저장 -> Q&A 진행

---

KGPT 특징

✅ Knowledge based 🟢, Similarity based ❌

• 지식기반이기 때문에 광범위한 정보 탐색할 수 있는 기능 제공

---

Powerful and Cheap, sLLM

✅ 초거대 AI의 흐름

• Large-scale Language Mode, Model Scale-up, Data Scale-up 등이 논의
• Llama-2 모델 같은 경우도 7B, 70B 모델 공개
• GPT-4 Vision도 billion이 아닌 trilion 개의 파라미터

✅ 하지만, 결국은 cloud-base로 돌 수밖에 없기에 sLLM 이야기할 때 'On-device'라는 명확한 목표 있었음

✅ announce power 있는 회사들 중에, sLLM 가장 많이 이야기한 회사가 아마 메타

• 2023년 상반기까지만 해도 sLLM 이야기할 때, 7B 모델 정도 이야기함
• 2023년 하반기, 퀄컴과 협조해 라마2 모델을 온디바이스 모델로 돌림

➡️ 결국은 데스크탑, 스마일폰, 키오스크 사용 가능한 경량화된 모델 필요

---

3. 페르소나AI LLM Compression

Deep Compression

✅ 모델 경량화에서 가장 유명한 메커니즘? 딥 컴프레션(Deep Compression)

✅ 딥 컴프레션 활용하면, 최대 50배 정도 경량화된 모델 만들 수 있음

• 라마 7B 70억 개 파라미터 -> 1억 4천여 개로 줄일 수 있음
• 라마 7B 모델을 잘 경량화하면 트랜스포머 BERT 모델처럼 사용할 수 있다(BERT Base 모델 기준 파라미터 1억 1천만 개)

---

Pruning Parameters

Deep Compression 1️⃣번째 단계 "가지 치기"

✅ 모델 훈련시키면, 그 안에 굉장히 많은 파라미터 생기며 각각의 파라미터들은 학습에 대한 weight 값 갖게 됨

• weight 역할? 입력 값에서 출력 값 추론하는데 사용되지만, 모든 weight 값들이 사용되지는 않음
• 출력 결과가 어느 정도의 threshold 보장한다면, 그 threshold를 보장하기 위해 사용되지 않는 weight 값들 굉장히 많음

✅ pruning? 가지치기. 사용하지 않는 weight 제거해 버리는 것

• 실제 60% 정도 sparse한 compression 경량화 작업 트랜스포머 모델에 적용했을 때, Base 모델 대비 99% 성능 

➡️ 굉장히 가벼운 네트워크 만들 수 있음

---

Quantization

Deep Compression 2️⃣번째 단계 "양자화"

✅ weight 값 표현할 수 있는 범위를 conversion. "weight conversion"

✅ weight 값을 floating point 16 or 32 ➡️ int 8 or 4로 변환

• 0 ~ 1 사이 실수 값으로 표현할 것을 정수로 표현하며 메모리 사용량 굉장히 많이 줌
• 다만, 굉장히 넓은 범위의 실수 값을 정수라는 한정된 값으로 바꿔버리기 때문에, loss 발생할 수밖에 없음
• 최근 나오는 language model, vision languagef model은 파라미터 수가 엄청나게 많기 때문에, 양자화 진행해도 accuracy 손실이 그렇게 많이 일어나지 않음

➡️ 결과적으로 가벼워지며 계산 속도 엄청나게 빨라지는 장점

---

Knowledge Distillation

✅ 사전에 잘 학습된 pretrained 된 범용화 된 모델을 downstream 모델 개발할 때 활용하는 기법

✅ rational generate라고 pretrained 된 모델이 downstream 모델에서 학습할 수 있는 데이터 생성해 주는 것

---

Inference on Device

✅ 온디바이스 목표로 sLLM 개발 진행하고 있음

✅ 크게 Language 모델과 Vision Language 모델을 텍스트, 이미지 생성하는 generation 모델 or document나 visual에 대한 Q&A 등 downstream 모델들을 경량화해서 만드는 작업 진행 중

✅ Distillation은 연구 중이고, Pruning과 Quantization 적용해 의미 있는 효과들 보고 있는 상태