행복한바보고양이😻

AI와 머신러닝(ML)에 조금이라도 관심이 있다면 한 번쯤 들어봤을 이름,허깅페이스(Hugging Face)를 소개합니다. 허깅페이스는 단순한 라이브러리를 넘어, 전 세계 AI 개발자와 연구자가 함께 성장하는 오픈소스 커뮤니티입니다. 오늘은 허깅페이스가 무엇인지, 어떤 핵심 컴포넌트로 구성되어 있는지, 그리고 실제 프로젝트에 어떻게 활용할 수 있는지 알아보겠습니다. 1. 허깅페이스란 무엇인가?오픈소스 AI 허브허깅페이스는 NLP(자연어 처리)를 비롯한 다양한 머신러닝 모델을 공유·배포하는 플랫폼입니다. GitHub에서 50만 개 이상의 스타를 받은 Transformers 라이브러리를 비롯해, 수천 개의 사전 학습(pre-trained) 모델과 데이터셋을 제공합니다.“AI는 모두를 위한 것”허깅페이스의 ..

1. 개요 Google DeepMind에서 개발한 Gemma-2-9B-IT 모델은 Instruction-Tuned (IT) 된 강력한 자연어 처리(NLP) 모델입니다.Gemma-2-9B-IT 모델의 주요 특징✅ Transformer 기반 모델✅ Instruction-Tuning & RLHF 적용✅ 9B (90억 개) 파라미터 보유✅ Hugging Face safetensors 포맷 지원✅ FP16 지원 (고속 처리 가능)✅ 대규모 데이터셋을 학습하여 강력한 성능 제공이 모델은 대화형 AI, 텍스트 생성, 요약, 번역, 코드 생성 등 다양한 작업에서 활용될 수 있습니다.하지만, 어떤 데이터를 학습했기에 이렇게 강력한 성능을 제공할 수 있을까요?이번 글에서는 Gemma-2-9B-IT 모델의 학습 데이터와 주..

📌 1. 개요Gemma 모델은 Google DeepMind에서 개발한 강력한 **LLM(대형 언어 모델)**입니다.이 모델을 Streamlit에서 활용하려면 Hugging Face의 transformers 라이브러리를 사용해야 합니다.📌 하지만, 왜 transformers를 사용해야 할까요? ✅ 모델을 쉽고 빠르게 로드✅ 보안성이 강화된 safetensors 활용✅ 대규모 모델을 효과적으로 샤딩(Sharding)하여 로드✅ Hugging Face의 AutoModel을 통한 자동화된 설정 이 블로그에서는 transformers를 활용하여 Gemma 모델을 로드하는 이유와 과정을차근차근 설명해드리겠습니다.  🔍 2. transformers 라이브러리를 사용하는 이유✅ 1) 모델을 쉽고 빠르게 로드 가능..