tokenizers 2

170. [AI] [LLM] Hugging Face: 구성 요소와 주요 기능

허깅페이스(Hugging Face)는 자연어 처리(NLP)와 머신러닝(ML) 분야에서 최신 기술을 누구나 쉽게 활용할 수 있도록 돕는 대표 플랫폼입니다. 방대한 오픈소스 모델과 데이터셋, 직관적인 라이브러리를 제공하며 AI 개발의 진입 장벽을 낮추는 데 크게 기여하고 있죠. 이번 글에서는 허깅페이스의 네 가지 핵심 구성 요소—Transformers, Model Hub, Tokenizers, Datasets—와 그 주요 기능을 살펴보겠습니다.1. Transformers 라이브러리허깅페이스의 Transformers는 사전 학습된(pre-trained) NLP 모델을 모아놓은 라이브러리입니다. 텍스트 분류, 언어 생성, 번역, 요약 등 다양한 태스크에 맞춘 수백여 개 모델을 손쉽게 불러와 쓸 수 있습니다.주요..

AI/이론 2025.03.10

169. [AI] [LLM] Hugging Face: AI 커뮤니티의 오픈소스

AI와 머신러닝(ML)에 조금이라도 관심이 있다면 한 번쯤 들어봤을 이름,허깅페이스(Hugging Face)를 소개합니다. 허깅페이스는 단순한 라이브러리를 넘어, 전 세계 AI 개발자와 연구자가 함께 성장하는 오픈소스 커뮤니티입니다. 오늘은 허깅페이스가 무엇인지, 어떤 핵심 컴포넌트로 구성되어 있는지, 그리고 실제 프로젝트에 어떻게 활용할 수 있는지 알아보겠습니다. 1. 허깅페이스란 무엇인가?오픈소스 AI 허브허깅페이스는 NLP(자연어 처리)를 비롯한 다양한 머신러닝 모델을 공유·배포하는 플랫폼입니다. GitHub에서 50만 개 이상의 스타를 받은 Transformers 라이브러리를 비롯해, 수천 개의 사전 학습(pre-trained) 모델과 데이터셋을 제공합니다.“AI는 모두를 위한 것”허깅페이스의 ..

AI/이론 2025.03.06
home top bottom
}