[CI&CD][이론] 하이브리드 휴먼-인-더-루프(Human-in-the-Loop) 시스템

 

 

 

 

 

 

 

AI와 머신러닝의 발전으로 많은 산업에서 자동화가 가속화되고 있지만, 특히 의료 AI 서비스에서는 단순한 자동화 모델로는 해결하기 어려운 문제가 많습니다. 의료 분야는 정확성과 신뢰성이 매우 중요하기 때문에 단순한 AI 모델로 모든 상황을 처리하기에는 한계가 있습니다. 이를 해결하기 위해 많은 기업들이 하이브리드 휴먼-인-더-루프 (Human-in-the-Loop, HITL) 시스템을 도입하고 있습니다.

---

왜 하이브리드 시스템이 필요한가?

단순한 AI 모델에 의존할 때 발생하는 문제점은 다음과 같습니다:

1. 정확성 문제
   • 순수 AI 모델은 때때로 부정확하거나 위험한 결론을 내릴 수 있습니다.
   • 예를 들어, "두통"이 단순 피로로 인한 것인지, 뇌출혈 같은 중대한 문제인지 정확히 구분하기 어렵습니다.
2. 비용 문제
   • AI 모델을 자주 호출할수록 클라우드 비용이 급증할 수 있습니다.
   • 대규모 트래픽이 발생하는 서비스에서는 비용 최적화가 매우 중요합니다.
3. 실시간 대응성
   • 룰 기반 시스템은 사전 정의된 규칙에 따라 빠르게 반응할 수 있습니다.
   • 반면, AI 모델은 응답 시간이 더 길고, 신뢰도가 떨어질 수 있습니다.

 

---

 

하이브리드 시스템의 기본 구조

 

하이브리드 시스템은 주로 다음과 같은 다섯 단계로 구성됩니다:

 

1. 초기 룰 기반 처리 (Rule-based Processing)

• 자주 문의하는 일반 증상(두통, 발열, 복통 등)은 미리 정의된 룰로 즉시 대응합니다.
• 예를 들어, "두통"이라는 키워드는 이미 룰 테이블에 존재하는 경우 바로 응답할 수 있습니다.

2. LLM 기반 분류 및 제안 (LLM-based Analysis)

• 룰에 없는 새로운 증상은 LLM이 증상을 분석하여 적절한 과(내과/외과) 분류, 의심 질환, 자가 관리법, 응급 안내 등을 JSON 형태로 제안합니다.
• 예시:

{
  "suspected_conditions": ["위염", "위궤양"],
  "home_actions": ["부드러운 음식 섭취", "스트레스 관리"],
  "emergency_advice": "통증 심화 시 병원 방문",
  "video_consult": true,
  "consult_url": "/consult/video/book?..."
}

 

 

3. 자기 점검 (Self-Verification) 및 자동 등록

• LLM은 스스로 제안한 결과에 대한 신뢰도(confidence)를 평가합니다.
• 고신뢰도의 결과는 룰 테이블에 자동 등록되며, 신뢰도가 낮은 결과는 운영자의 간단한 승인 절차를 거칩니다.

4. 운영자 UI를 통한 간편한 관리

• 운영자는 새롭게 AI가 제안한 룰을 주기적으로 혹은 실시간으로 확인하고, 승인하거나 수정하여 즉시 서비스에 반영할 수 있습니다.
• 예시 (보류된 항목):

{
  "pending_id": "123e4567-e89b-12d3-a456-426614174000",
  "keywords": ["쑤시는", "찌르는"],
  "proposal": {
    "suspected_conditions": ["위염", "위궤양"],
    "home_actions": ["부드러운 음식 섭취", "스트레스 관리"],
    "emergency_advice": "통증 심화 시 병원 방문",
    "video_consult": true,
    "consult_url": "/consult/video/book?..."
  },
  "confidence": 0.85,
  "created_at": "2023-05-01T10:15:30Z",
  "status": "pending"
}

 

5. 실시간 서비스 제공

• 모든 요청마다 룰 테이블을 조회해 즉시 대응하며, 이는 LLM 호출을 최소화하여 빠른 응답을 보장합니다.

---

운영자 검수가 필요한 경우

보류 테이블(pending_rules)에 항목이 등록되는 상황:

• 신규 증상: 기존의 symptom_rules 테이블에 매칭되는 키워드가 없는 경우.
• 신뢰도 부족: LLM의 제안이 충분히 높은 신뢰도를 확보하지 못한 경우 (예: confidence < 0.9).

---

실제 현업 적용 사례

기업/제품 시스템 유형 비고

Google Duplex	룰 + ML 하이브리드	주요 대화는 룰, 변칙 사례는 ML로 처리
Zendesk Answer Bot	휴먼-in-the-loop	AI의 응답을 상담사가 최종 검토 후 고객에게 제공
Salesforce Einstein	자동 룰 + LLM	고신뢰 결과는 자동 적용, 저신뢰 결과는 관리자 승인

---

하이브리드 시스템 외의 다른 시스템 유형

1. 완전 룰 기반 시스템
   • 모든 처리를 미리 정의된 규칙에 의존.
   • 장점: 높은 정확도
   • 단점: 새로운 증상 처리에 어려움
2. 완전 AI(LLM) 기반 시스템
   • 모든 처리를 AI 모델에 위임.
   • 장점: 높은 유연성
   • 단점: 부정확한 정보(오탐) 가능성, 높은 비용

---

결론: 하이브리드 시스템의 중요성

• 안정성: 룰 기반 시스템의 높은 신뢰도
• 확장성: AI를 통한 새로운 증상 처리
• 비용 효율성: AI 호출 빈도를 줄여 비용 절감

결론적으로, 하이브리드 휴먼-인-더-루프 시스템은 안정성과 확장성, 비용 효율성을 모두 갖춘 가장 현실적인 의료 AI 아키텍처입니다. 이러한 시스템은 민감한 의료 데이터를 처리할 때 특히 효과적이며, 향후 의료 AI의 핵심 모델로 자리 잡을 가능성이 큽니다.