[AI] [Project] AI 미들웨어 & Edge AI 흐름 설계 실전 사례

 
 

 

 
 

현대 AI 상품 기획에서는 모델 개발을 넘어, 이를 실제 서비스나 디바이스에 통합할 수 있는 역량이 필수입니다. 특히 “AI 미들웨어, 임베디드/클라우드 구조 이해, Edge AI 흐름 설계”는 온디바이스 AI와 클라우드 AI를 연결해 실시간 반응형 제품을 만드는 데 핵심이 되죠.
 
아래에서는 Slimedy, AI 피트니스 코치, SmartSync CRM 세 가지 주요 프로젝트를 통해, 해당 역량이 어떻게 적용되었는지 기술적 흐름과 아키텍처 관점에서 상세히 정리했습니다.

---

1. Slimedy – AI 기반 비언어 진료 플랫폼

핵심 역량

• 클라이언트 ↔ 서버 ↔ LLM 통합 아키텍처 설계
• AI 미들웨어 역할을 하는 백엔드 흐름 정의
• 실시간 UX 최적화를 위한 Edge AI 설계 마인드

기술적 흐름

1. 모바일 입력
   • 사용자가 Android 앱에서 증상 선택 or 사진 업로드
2. 전처리 & API 호출
   • 입력 데이터를 JSON으로 변환 → Hugging Face Mistral API 호출
3. 모델 응답 & 후처리
   • LLM 응답(진단·조언) 수신 → 자막 및 UI 텍스트로 가공
4. 실시간 피드백
   • 터치 기반 인터랙션 → 다시 서버로 전송하여 반복 처리

아키텍처 관점

• AI 미들웨어:
• 백엔드가 “입력 ↔ 모델 호출 ↔ 응답 가공”을 책임지며, OS와 애플리케이션 사이에서 안정적 데이터 흐름을 보장
• Edge AI 설계:
• UX 지연을 최소화하기 위해 클라이언트에서 가능한 전처리 수행, 모델 호출 및 후처리를 분리하여 시스템 응답성 강화

---

2. AI 피트니스 코치 – Gemini Pro 기반 건강관리 플랫폼

핵심 역량

• 클라우드 LLM & 로컬 UI 간 데이터 연동 설계
• 경량 예측 모델을 포함한 하이브리드 AI 구조
• 보안 키 관리 및 API 인증 흐름 구성

기술적 흐름

1. Streamlit 인터페이스
   • 사용자 건강 정보 입력 (키, 체중, 운동 선호 등)
2. 로컬 전처리
   • 일부 간단 연산(기초 대사량 계산 등)은 클라이언트에서 처리
3. Gemini Pro API 호출
   • google/gemma-2-9b-it LLM에 식단·운동 추천 요청
4. 결과 통합 & 시각화
   • LLM 응답 + XGBClassifier 예측 결과 통합 → 차트, 점수로 시각화

보안 및 최적화

• secrets.toml 분리 관리로 API 키 안전 보관
• LLM 생성 응답과 전통 ML 결과를 결합해 MVP 수준의 경량화된 서빙 환경 구현

---

3. SmartSync CRM – LTV·차량 추천 예측 시스템

핵심 역량

• 로컬 경량 ML 모델 배치 & 운영 도구 통합
• 실시간 이벤트 기반 경고 시스템 설계
• CRM 콘솔과 외부 플랫폼(API) 간 연동

기술적 흐름

1. 데이터 수집 & 전처리
   • 고객 행동 로그, 구매 이력 등 다양한 소스 통합
2. 경량 ML 모델 서빙
   • XGBoost/LightGBM 기반 LTV·차량 추천 모델을 Streamlit 앱에 내장
3. 실시간 경고
   • 예측 결과 임계치 초과 시 Slack API → 알림 전송
4. ERP/딜러 시스템 연동
   • RESTful API로 주문·재고 흐름 자동화

아키텍처 관점

• Edge AI 요소:
• 로컬에서 직접 예측을 수행해 지연 없는 CRM 대시보드 제공
• 미들웨어 역할:
• Streamlit 서버가 AI 모델, 알림 서비스, 외부 ERP를 매개하여 데이터 파이프라인 전 구간 제어

---

결론: 실전에서 빛난 AI 통합 설계 경험

요구 역량 프로젝트 적용 사례

AI 미들웨어 이해	Slimedy 백엔드 “입력↔모델↔응답” 흐름 설계
임베디드/클라우드 구조 이해	AI 피트니스 코치의 로컬 전처리 + 클라우드 LLM 연동
Edge AI 흐름 설계	SmartSync CRM의 로컬 예측 & 실시간 알림 구조