전체 글(19)
-
LLM 정확도 최적화 위한 멘탈 모델(작성중)
개요 해당 글은 OpenAI Platform documentation에 있는 항목을 번역해오며 첨언한 글입니다. 👉 출처: Optimizing LLMs for accuracy LLM 활용시, 정확도 & 일관성 2마리 🐰 잡기 ✅ OpenAI에서 많은 스타트업 & 대기업 개발자와 작업해 본 결과, LLM 최적화는 다음과 같은 이유들로 어려움정확도 최적화 어떻게 시작해야 하는지언제, 어떤 최적화 방법 사용할 것인지배포에 적합한 정확도 수준은 어느 정도인지✅ 이 글에서는 LLM의 정확도와 동작 위한 최적화 방법에 대한 mental 모델 제공더보기Mental Model👉 참고: AI Design Guide #3. 멘탈모델 AI Design Guide #3. 멘탈모델인공지능 디자인하기 5단계 중 3단계 (멘탈모델..
2024.09.12 -
딥러닝 GPU 추천(작성중)
개요 LLM 서비스를 운영하다보니, 고객사 측에서 GPU에 대해 물어보는 경우가 빈번합니다.우리 상황에 맞는 GPU 추천 좀 해주실 수 있나요? 질문이 들어올 때마다, 개발자분들에게 의지했지만, 기본적인 내용이라도 알아야할 것 같아 해외 레퍼런스를 찾던 중,잘 정리된 게시물이 있어 해당 게시물의 일부분을 가져와본다. 해당 게시물은 Tim Dettmrs가 2023년 1월 30일에 게시한 글입니다.👉 원문: Which GPU(s) to Get for Deep Learning: My Experience and Advice for Using GPUs in Deep Learning The Best GPUs for Deep Learning in 2023 — An In-depth Analy..
2024.08.28 -
LLM 서비스하는데 필요한 GPU 메모리 계산하기
개요 해당 글은 2024년 8월 17일에 작성된 Medium의 "Mastering LLM(Large Language Model)"을 한국어로 번역하며 첨언한 글임을 밝힙니다.👉 원문: How Much GPU Memory is Needed to Serve a Large Language Model(LLM)? How Much GPU Memory is Needed to Serve a Large Language Model (LLM)?In nearly all LLM interviews, there’s one question that consistently comes up: “How much GPU memory is needed to serve a Large Language…masteringllm.medium.co..
2024.08.26 -
[인공지능] 구글 딥마인드에서 정의한 AGI 5단계(규칙 기반 에이전트 ~ 자율 에이전트)
이 게시물은 2024년 5월 16일에 Cobus Greyling가 Medium에 게재한 "Five Levels of AI Agents"에 대해 번역, 첨언한 내용임을 밝힙니다. 👉 원문: Five Levels of AI Agents개요✅ 5단계 Agent를 검색해 보니 해당 개념은 구글 딥마인드에서 제안한 개념(2023.11.04)👉 [Google DeepMind] Levels of AGI for Operationalizing Progress on the Path to AGI Levels of AGI for Operationalizing Progress on the Path to AGIWe propose a framework for classifying the capabilities and behav..
2024.07.11 -
[SK TECH SUMMIT 2023] SKT LLM Enterprise 서비스 2편
SKT LLM Enterprise 서비스👉 영상: https://www.youtube.com/watch?v=wzYT7kYIDwg👉 강의 자료: https://sktechsummit.com/sessions/sessionsList.do연사자SKT MLOps Tech팀 김응창강의 내용RAG(Retrieval Augmented Generation)HyDE(Hypothetical Document Embeddings)Hyperparameter SearchEnterprise Service PoC UIRAG(Retrieval Aumgneted Generation)✅ 일반적인 LLM이 파라미터 지식 많이 가지고 있다면, 작은 LLM은 그렇지 못하기 때문에 sLLM에 적합✅ 사용자(User)가 질의(Question)하..
2024.07.10 -
[SK TECH SUMMIT 2023] SKT LLM Enterprise 서비스 1편
개요👉 영상: https://www.youtube.com/watch?v=wzYT7kYIDwg👉 강의 자료: https://sktechsummit.com/sessions/sessionsList.do SK TECH SUMMIT 2023AI Everywhere for a better futuresktechsummit.com연사자SKT Adapter Team 김성원강의 내용내 업무에 딱 맞춘 가벼운 LLM을 만들고 싶다면?SKT의 LLM을 고객의 필요에 맞게 최적화하여 On-Premise 환경에서 제공하는 Enterprise 서비스를 소개합니다.문서 요약, 문서 검색, 질의&응답 등 다양한 업무를 비교적 작은 규모의 모델로 지원하기 위해 Fine-Tuning 뿐 아니라 Context 기반 Retrieving..
2024.07.10