LangGraph 도입 검토 및 데이터셋 설계

`LangGraph` 도입하는 게 맞을까?

LangGraph를 비용 최적화 를 위해 도입하는 게 좋을 거 같음.

현재 version은 ChatGPT 4o 모델을 활용해 사용자 자연어 처리를 함.
- 현재 얼마의 비용이 청구되는 지에 대한 정확한 판단이 필요함. 문제 설정 필요
- 하지만 사용자 명령이 만약 안녕, ㅎ2, ㅎㅎ 라면? 굳이 모든 명령들을 전부 4o 모델로 처리할 필요가 있을까??
- 사용자의 명령을 중요도 낮음, 약간 중요, 매우 중요 등으로 나눠서, 이에 맞는 수준의 모델로 라우팅해주는 게 좋을 거 같음. 나중에 구현할 기능

Version 01.

flowchart TD START([사용자 입력
prompt + pending 플래그]) --> R{의도 라우터
gpt-4o-mini} R -->|잡담 / 인사 / ㅎㅎ| S[단순 응답
gpt-4o-mini
tool 없음] S --> END1([END
채팅 응답만]) R -->|알림 규칙 관련| P{pending?} P -->|false| E[규칙 추출
gpt-4o
extract_notification_rule] P -->|true| C[재질문 후속 분류
gpt-4o-mini] C -->|supplement
보충| M[이전 명령 + 보충
합친 prompt] C -->|new_command
새 명령| N[이번 prompt만] M --> E N --> E E -->|tool 성공| OK[confirm 문장
gpt-4o] E -->|정보 부족| ASK[재질문 메시지
ok=false] OK --> END2([END
규칙 저장]) ASK --> END3([END
앱이 pending 유지])

Version 02.

flowchart TD START([사용자 입력
prompt + pending + pendingOriginal]) --> ENTRY{pending=true
AND pendingOriginal 있음?} ENTRY -->|Yes| RP[resolve_pending] ENTRY -->|No| R[의도 라우터
gpt-4o-mini
route_intent] R -->|chitchat
잡담/인사/ㅎㅎ| S[단순 응답
gpt-4o-mini
tool 없음] S --> END1([END
ok=false
failReason=chitchat
needsSupplement=false]) R -->|extract
알림 규칙 관련| RP RP --> C{pending 분류?
gpt-4o-mini} C -->|pending 아님| N[이번 prompt만] C -->|supplement
보충| M[이전 명령 + 보충
합친 prompt] C -->|new_command
새 명령| N M --> E[규칙 추출
gpt-4o
function calling] N --> E E -->|성공| OK[confirm 문장
gpt-4o] E -->|정보 부족| ASK[재질문
ok=false
needsSupplement=true] E -->|충돌/앱 미해결 등| FAIL[실패
ok=false
needsSupplement=false] OK --> END2([END
규칙 저장]) ASK --> END3([END
앱이 pending 유지]) FAIL --> END4([END
pending 해제])

LangGraph 도입 시 (`Routing 버전`을 추가), 확인 사항

A버전에 비해 B버전에서, 정확도가 많이 떨어지지 않는지
비용 및 속도가 얼마나 줄어드는지

Evaluation Dataset 구성 기준

Evaluation Dataset이 특정 유형에 편중되지 않도록, 주요 평가 축을 intent, time, target으로 나누고 각 카테고리 별 최소 케이스 수를 정의했습니다.

전체 Dataset: 85 cases
주요 카테고리 별 최소 5 cases 이상 확보
ok=true 케이스에서는 time, target 세부 유형이 모두 포함되도록 구성

Coverage 확인

모든 주요 카테고리에서 최소 5개 이상의 평가 케이스를 확보하여, 특정 입력 유형이 Dataset에서 완전히 누락되는 것을 방지했습니다.

축	값	개수	기준	상태
A. intent	`mute`	44	≥5	OK
A. intent	`allow`	14	≥5	OK
A. intent	`reject`	27	≥5	OK
B. time (ok=true 58건)	`duration`	38	≥5	OK
B. time	`until_absolute`	5	≥5	OK
B. time	`relative_delay`	5	≥5	OK
B. time	`daily`	5	≥5	OK
B. time	`weekly`	5	≥5	OK
C. target (ok=true 58건)	`all`	11	≥5	OK
C. target	`single_app`	29	≥5	OK
C. target	`multi_app`	5	≥5	OK
C. target	`content`	6	≥5	OK
C. target	`app_and_content`	7	≥5	OK

References

LangGraph 도입해야 한다면 내 프로젝트 서비스를 최적화시켜줄 수 있는 최적의 참조 논문은..?

ReAct

Reasoning과 Action을 번갈아 수행하면서 외부 환경 / 도구와 상호작용하는 구조

Self-Refine

같은 LLM이 Generator, Feedback Provider, Refiner 역할을 수행하면서 반복적으로 결과 개선
별도의 Supervised Training이나 RL 없이도 여러 task에서 one-shot generation보다 성능 개선 보고