개요 해당 글은 OpenAI Platform documentation에 있는 항목을 번역해오며 첨언한 글입니다. 👉 출처: Optimizing LLMs for accuracy LLM 활용시, 정확도 & 일관성 2마리 🐰 잡기 ✅ OpenAI에서 많은 스타트업 & 대기업 개발자와 작업해 본 결과, LLM 최적화는 다음과 같은 이유들로 어려움정확도 최적화 어떻게 시작해야 하는지언제, 어떤 최적화 방법 사용할 것인지배포에 적합한 정확도 수준은 어느 정도인지✅ 이 글에서는 LLM의 정확도와 동작 위한 최적화 방법에 대한 mental 모델 제공더보기Mental Model👉 참고: AI Design Guide #3. 멘탈모델 AI Design Guide #3. 멘탈모델인공지능 디자인하기 5단계 중 3단계 (멘탈모델..

개요               LLM 서비스를 운영하다보니, 고객사 측에서 GPU에 대해 물어보는 경우가 빈번합니다.우리 상황에 맞는 GPU 추천 좀 해주실 수 있나요? 질문이 들어올 때마다, 개발자분들에게 의지했지만, 기본적인 내용이라도 알아야할 것 같아 해외 레퍼런스를 찾던 중,잘 정리된 게시물이 있어 해당 게시물의 일부분을 가져와본다. 해당 게시물은 Tim Dettmrs가 2023년 1월 30일에 게시한 글입니다.👉 원문: Which GPU(s) to Get for Deep Learning: My Experience and Advice for Using GPUs in Deep Learning The Best GPUs for Deep Learning in 2023 — An In-depth Analy..

개요 해당 글은 2024년 8월 17일에 작성된 Medium의 "Mastering LLM(Large Language Model)"을 한국어로 번역하며 첨언한 글임을 밝힙니다.👉 원문: How Much GPU Memory is Needed to Serve a Large Language Model(LLM)? How Much GPU Memory is Needed to Serve a Large Language Model (LLM)?In nearly all LLM interviews, there’s one question that consistently comes up: “How much GPU memory is needed to serve a Large Language…masteringllm.medium.co..

이 게시물은 2024년 5월 16일에 Cobus Greyling가 Medium에 게재한 "Five Levels of AI Agents"에 대해 번역, 첨언한 내용임을 밝힙니다. 👉 원문: Five Levels of AI Agents개요✅ 5단계 Agent를 검색해 보니 해당 개념은 구글 딥마인드에서 제안한 개념(2023.11.04)👉 [Google DeepMind] Levels of AGI for Operationalizing Progress on the Path to AGI Levels of AGI for Operationalizing Progress on the Path to AGIWe propose a framework for classifying the capabilities and behav..

주제LLM 도메인 적용 방법 RAG VS PEFT PoC 강연자SK 브로드밴드 AI/DT Tech팀 김현석님발표 자료발표 자료는 SK TECH SUMMIT 2023에서 다운로드⭕️👉 [SK TECH SUMMIT 2023] AI Everywhere for a better future강의 내용1. LLM 배경2. 사내 적용 시 Challenge point3. PEFT vs RAG4. 결론1. LLM 배경LLM과 Foundation ModelFoundation Model(FM)✅ 다양한 task 도메인에서 방대한 양의 데이터로 Self-supervised Learning으로 학습된 모델✅ 특정 task 지정하지 않아도 범용적으로 일반화된 성능 보임Large Language Model(LLM)✅ 그중 LLM은..