행복한바보고양이😻

1. 개요 Google DeepMind에서 개발한 Gemma-2-9B-IT 모델은 Instruction-Tuned (IT) 된 강력한 자연어 처리(NLP) 모델입니다.Gemma-2-9B-IT 모델의 주요 특징✅ Transformer 기반 모델✅ Instruction-Tuning & RLHF 적용✅ 9B (90억 개) 파라미터 보유✅ Hugging Face safetensors 포맷 지원✅ FP16 지원 (고속 처리 가능)✅ 대규모 데이터셋을 학습하여 강력한 성능 제공이 모델은 대화형 AI, 텍스트 생성, 요약, 번역, 코드 생성 등 다양한 작업에서 활용될 수 있습니다.하지만, 어떤 데이터를 학습했기에 이렇게 강력한 성능을 제공할 수 있을까요?이번 글에서는 Gemma-2-9B-IT 모델의 학습 데이터와 주..

📌 1. 개요Gemma 모델은 Google DeepMind에서 개발한 강력한 **LLM(대형 언어 모델)**입니다.이 모델을 Streamlit에서 활용하려면 Hugging Face의 transformers 라이브러리를 사용해야 합니다.📌 하지만, 왜 transformers를 사용해야 할까요? ✅ 모델을 쉽고 빠르게 로드✅ 보안성이 강화된 safetensors 활용✅ 대규모 모델을 효과적으로 샤딩(Sharding)하여 로드✅ Hugging Face의 AutoModel을 통한 자동화된 설정 이 블로그에서는 transformers를 활용하여 Gemma 모델을 로드하는 이유와 과정을차근차근 설명해드리겠습니다.  🔍 2. transformers 라이브러리를 사용하는 이유✅ 1) 모델을 쉽고 빠르게 로드 가능..

📌 1. 감성 분석(Sentiment Analysis) 모델 학습 # 다음은 주요 AutoModel 클래스들의 목록입니다:  # AutoModel: 기본 모델을 로드합니다.# AutoModelForPreTraining: 사전 학습(Pre-training)을 위한 모델을 로드합니다.# AutoModelForCausalLM: Causal Language Modeling을 위한 모델을 로드합니다.# AutoModelForMaskedLM: Masked Language Modeling을 위한 모델을 로드합니다.# AutoModelForSequenceClassification: 시퀀스 분류를 위한 모델을 로드합니다.# AutoModelForTokenClassification: 토큰 분류를 위한 모델을 로드합니다...

🎯 소개자연어 처리(NLP) 모델은 다양한 용도로 활용될 수 있으며, 특히 감성 분석(Sentiment Analysis) 분야에서 큰 성과를 보이고 있습니다. 본 글에서는 Hugging Face의 distilbert-base-uncased-finetuned-sst-2-english 모델을 활용하여 감성 분석 모델을 Fine-Tuning하고, 이를 Hugging Face Hub에 업로드하는 방법까지 자세히 다룹니다.또한, Stable Diffusion 모델을 사용하여 텍스트를 기반으로 이미지를 생성하는 방법도 소개합니다. 🚀📌 1. Fine-Tuning 개념 이해Fine-Tuning이란, 이미 학습된 모델(Pretrained Model)을 특정한 작업에 맞게 추가적으로 훈련하는 과정을 의미합니다.일반..

1. 계층적 군집 분석(Hierarchical Clustering) 개요계층적 군집 분석(Hierarchical Clustering)은 데이터를 계층적으로 군집화하는 비지도 학습(Unsupervised Learning) 알고리즘입니다. 군집의 개수를 미리 지정할 필요 없이 데이터를 점진적으로 병합 또는 분할하는 방식으로 작동합니다. 계층적 군집 분석의 주요 특징:군집 수(K)를 사전에 정하지 않아도 됨.군집 간의 계층적 관계를 시각적으로 표현할 수 있음.데이터 특성에 따라 병합(Agglomerative) 또는 분할(Divisive) 방법을 선택 가능.덴드로그램(Dendrogram)을 이용하여 군집 형성 과정을 시각화 가능.  2. 계층적 군집 분석의 작동 원리계층적 군집 분석은 크게 두 가지 방식으로 나..

🎯 1. 비지도 학습(Unsupervised Learning)이란?*비지도 학습(Unsupervised Learning)**은 라벨(정답) 없이 데이터의 패턴을 학습하는 머신러닝 방식입니다.목적: 데이터의 숨겨진 패턴과 구조를 발견하는 것특징: 사전에 정해진 정답(라벨)이 없으며, 데이터를 스스로 그룹화하거나 차원을 줄이는 방식으로 학습응용 분야: 고객 세분화, 이상 탐지, 이미지 압축, 데이터 시각화 등📌 비지도 학습은 주어진 데이터에서 패턴을 찾아 새로운 인사이트를 제공하는 강력한 도구입니다!  🎯 2. 비지도 학습의 주요 알고리즘 종류🔹 1) 군집화(Clustering) 알고리즘군집화 알고리즘은 유사한 특성을 가진 데이터를 자동으로 그룹화하는 기법입니다.✅ (1) K-Means Cluster..

🎯 1. K-Means Clustering이란?K-Means Clustering은 **비지도 학습(Unsupervised Learning)**의 대표적인 알고리즘 중 하나로, 데이터를 K개의 그룹(클러스터)으로 묶는 군집화(Clustering) 기법입니다.데이터를 유사한 특징을 가진 그룹으로 분류하는 알고리즘사전에 데이터의 레이블(정답)이 주어지지 않아, 데이터 자체의 구조를 분석하는 데 활용됨고객 세분화, 이미지 압축, 이상 탐지 등 다양한 분야에서 활용됨   🎯 2. K-Means Clustering의 작동 원리K-Means 알고리즘은 다음의 단계를 거쳐 수행됩니다.K개의 중심점(Centroid)을 임의로 선택각 데이터 포인트를 가장 가까운 중심점에 할당각 클러스터의 중심점을 해당 클러스터 내 모..

🎯 1. Decision Tree란?*Decision Tree(의사결정 나무)**는 데이터의 특성을 기반으로 분류(Classification) 또는 회귀(Regression) 문제를 해결하는 지도 학습(Supervised Learning) 알고리즘입니다.데이터의 속성을 기준으로 질문을 던지고, 답변에 따라 데이터를 분류하는 방식으로 작동합니다.사람이 의사 결정을 내리는 방식과 유사하기 때문에 직관적이고 이해하기 쉬운 모델입니다. 🎯 2. Decision Tree의 구조Root Node (루트 노드) : 트리의 시작점 (전체 데이터)Internal Node (내부 노드) : 데이터를 분기하는 기준Leaf Node (리프 노드) : 최종 분류된 결과✅ 예제 (트리 구조 예시)아래 예시는 날씨 정보를 기반..

🎯 1. 서포트 벡터 머신(SVM)이란?*SVM(Support Vector Machine)**은 지도 학습(Supervised Learning) 알고리즘 중 하나로, 분류(Classification)와 회귀(Regression) 문제를 해결하는 데 사용됩니다.분류 문제(Classification): 주어진 데이터를 두 개 이상의 그룹으로 나누는 문제회귀 문제(Regression): 연속적인 값을 예측하는 문제SVM의 핵심 개념은 **결정 경계(Decision Boundary)**를 찾아 데이터를 가장 잘 구분하는 초평면(Hyperplane)을 설정하는 것입니다.   🎯 2. 최적의 결정 경계(Decision Boundary)결정 경계란?데이터 포인트를 두 개의 그룹으로 나누는 선(또는 다차원 공간에서..

머신러닝에서 **회귀(Regression)**란 연속적인 값을 예측하는 알고리즘을 의미합니다. 특히, 회귀는 데이터 간의 관계를 찾고 미래 값을 예측하는 데 사용됩니다. 회귀는 크게 **선형 회귀(Linear Regression)**와 **비선형 회귀(Non-Linear Regression)**로 나뉩니다. 🎯 1. 선형 회귀(Linear Regression)란?선형 회귀는 X(독립 변수)와 Y(종속 변수) 사이의 관계가 직선 형태로 나타나는 회귀 분석 방법입니다. 즉, 데이터가 직선 형태로 정렬될 때, 선형 회귀를 사용하여 적절한 직선을 찾을 수 있습니다.🔹 선형 회귀의 수학적 표현선형 회귀의 기본 수식은 다음과 같습니다.Y=aX+bY = aX + bY=aX+bYYY : 예측값 (종속 변수)XXX ..