NotiLLM : LLM 기반 자연어 알림 전송 제어

Tue, 04 Aug 2026 00:00:00 +0900

해당 서비스는 연구실의 아이디어를 기반으로 서비스화한 것으로, 관련 저작권은 연구실에 있습니다.

정리예정 진행중입니다.

요약

프로젝트 이름: NotiLLM
프로젝트 기간: 2026.07 ~ (진행중)
프로젝트 설명: LLM Agent를 실서비스로 배포하고, 수집된 사용자 데이터를 기반으로 데이터 분석
프로젝트 목적: 수집된 데이터를 분석해 추가 아이디어 확장

Problem

기존 수동제어 기반 방식은 사용자의 직접 설정을 필요로 하므로, 사용자 부담이 증가하고 사용성이 떨어집니다.
반대로 ML 기반 알림 수신 타이밍 예측 방식들은 정확성을 높이기 위한 연구들이 많이 진행되고 있지만, 근본적으로 사용자의 비언어적 신호를 기반으로 하기에 예측이 부정확합니다.
따라서 본 연구는 수동 제어 방식의 불편함과 모델 기반 방식의 부정확성을 둘 다 잡고 해결하기 위해, LLM 기반 사용자 제어를 진행합니다.

본 서비스는 연구실의 아이디어를 실제 서비스로 확장하고, 배포 및 운영 경험을 바탕으로 후속 연구 및 서비스 고도화를 진행하기 위한 목적으로 개발되었습니다.

서비스 디자인

Figma를 활용해 실제 서비스에 가까운 수준으로 UI/UX를 디자인했습니다. 화면을 구성할 때는 사용성을 고려해 버튼과 텍스트의 배치를 설계하고, 사용자에게 어떤 정보를 효과적으로 제공할지 중점적으로 고민했습니다. [1] 특히 알림 피로가 얼마나 줄어들었는지 사용자가 직접 확인할 수 있도록 차단된 알림의 실시간 통계 기능을 추가 했습니다. 또한 필요한 경우 [2] 모든 알림을 한 번에 확인할 수 있는 버튼을 제공 하고, 홈 화면 하단에서는 [3] 수신된 알림을 앱별로 요약 해 확인할 수 있도록 구성했습니다.

시스템 설계 확장

Function Calling을 통해 사용자의 자연어를 JSON 구조로 변환할 때는 기본 동작을 “알림을 허용(받아줘 Default)“으로 할지, “알림을 차단(받지마 Default)“으로 할지 설계 방향을 결정해야 했습니다. 연구를 진행하면서 한 가지 방식만 적용할 경우 예상하지 못한 반례가 발생한다는 점을 확인했습니다. 이를 해결하기 위해 두 가지 기본 동작을 모두 지원하도록 Function Calling을 설계하여 다양한 명령을 유연하게 처리할 수 있도록 확장했습니다. 그 결과 기존에는 처리하기 어려웠던 “매일”, “평일만”, “주말만"과 같은 반복 · 주기성 명령까지 안정적으로 지원 할 수 있었습니다.

느낀점

테스트를 진행하며 다양한 사용자층을 확보하는 것이 중요하다는 점을 느꼈습니다. 현재는 테스트 사용자가 가까운 지인들로 한정되어 있어 충분히 의미 있는 인사이트를 도출하지는 못했지만, 연령대에 따라 사용하는 표현과 언어 습관에 차이가 있다는 점을 확인 할 수 있었습니다. 이를 통해 Function Calling 프롬프트를 제 언어 습관과 표현 방식을 중심으로 설계했다는 한계를 깨달았으며, 향후에는 다양한 사용자 표현을 수집하고 반영해 자연어 명령에 대한 처리 범위를 확장해야 한다고 판단했습니다.

Questions? Leave a comment below or reach out on !

멀티 모델을 활용한 RAG Generation 단계 환각 탐지

Tue, 15 Jul 2025 00:00:00 +0900

📄 Paper

멀티 모델을 활용한 RAG Generation 단계 환각 탐지

📑

🖼️ PPT

Graduation Project PPT

📄

요약

프로젝트 이름: 멀티 모델을 활용한 RAG Generation 단계 환각 탐지
영문 제목: A Multi-LLM Cross-Verification Framework for Attribution Hallucination Detection in RAG Generation
프로젝트 기간: 2025.03 ~ 2025.07
프로젝트 설명: 동일한 RAG 검색 문서를 기반으로 ChatGPT와 LLaMA가 독립적으로 답변을 생성하고, 유사도가 낮을 때 문서 인용 기반 상호 평가·토론을 수행하는 Generation 단계 환각 탐지 시스템
프로젝트 목적: RAG Generation 단계에서 발생하는 환각을 단일 모델 검증의 한계를 넘어, 서로 다른 LLM의 답변 다양성으로 탐지하고 교정
검증 데이터: TruthfulQA 중 Source가 Wikipedia인 질문 50문항
비교 모델: ChatGPT-3.5-turbo, Groq 기반 llama-4-maverick-17b-128e-instruct
주요 검증 대상: 최종 답변, 원본 문서 인용 문장, 근거가 답변을 지지하는 이유
주요 성과: 한 모델만 오답인 문항에서 토론을 통해 약 절반을 정답으로 교정 (GPT만 오답 3문항 중 1문항, LLaMA만 오답 13문항 중 7문항)

연구를 시작하게 된 배경

기존 LLM의 환각을 개선하기 위해 RAG 기법이 도입되었지만, RAG를 활용한 LLM에서도 환각 문제는 여전히 남아 있었습니다.

SUFFICIENT CONTEXT: A NEW LENS ON RETRIEVAL AUGMENTED GENERATION SYSTEMS (2025) 논문 일부 발췌

RAG로 추가 맥락을 주더라도 AI의 자신감이 올라가는 것과 정확성이 항상 비례하지는 않았습니다.
ChatGPT 4o, Gemini 1.5 Pro, Gemma 27B처럼 모델이 다르면 학습 데이터 차이로 환각률도 다르게 나타났습니다.

따라서 본 연구에서는 서로 다른 언어 모델의 답변 다양성을 Generation 단계 환각 개선에 활용 하고자 했습니다. RAG 파이프라인 중에서도 Query Rewriting과 Generation에서 환각이 자주 발생하는데, Generation은 LLM 사용이 필수이므로 이 단계에 집중해 멀티 에이전트 구조로 분기했습니다.

시스템 아키텍처

Query Rewriting: 추가 LLM(gpt-5.2-2025-12-11, temp=0)으로 검색 쿼리 생성
Generation 1 / 2: ChatGPT-3.5-turbo, llama-4-maverick-17b-128e-instruct가 동일 검색 문서로 독립 답변
답변 유사도 계산: SentenceTransformer(all-MiniLM-L6-v2), threshold=0.8
일치 시 종료 / 불일치 시 토론: 상대 답변이 문서에 근거하는지 문장 직접 인용으로 상호 평가

토론 프롬프트 설계

각 모델은 답변 시 아래 세 가지를 함께 작성하도록 했습니다.

최종 답변
원본 문서 인용 문장
해당 근거가 답변을 지지하는 이유

답변이 불일치하면, 상대 답변이 문서에 근거하는지를 문서 문장을 직접 인용해 평가 하도록 지시했습니다.

실험 설계

TruthfulQA 중 Wikipedia 출처 질문 50문항 선정
RAG 기반 독립 답변 생성
유사도 불일치 시 토론 진행
Best Answer / Best Incorrect Answer 기준 수동 검증

단순 사실 판단 데이터는 제외하고, 정·오답이 라벨링된 문항만 사용해 교정 효과를 수치화했습니다.

실험 결과

구분	문항 수	토론 후
GPT만 정답	3	정답 교정 1 / 오답 유지 2
LLaMA만 정답	13	정답 교정 7 / 오답 유지 6
둘 다 오답	14	정답 교정 0
둘 다 정답	20	-

한 모델만 오답인 경우 약 절반이 토론으로 교정되었고, 둘 다 오답이면 토론만으로는 교정되지 않았습니다.

유형별 분석

Misconceptions, Conspiracies, Superstitions, Paranormal, Fictions 중 미신(Superstitions) 문항에서 오류율이 가장 높았습니다 (GPT 0%, LLaMA 22%).

결론

Generation 단계 모델만 바꿔도 성능 차이가 컸습니다.
한 모델만 오답일 때 토론의 교정 효과가 확인되었습니다.
두 모델이 모두 오답이면 RAG 토론만으로는 교정이 어려웠습니다.
미신 · 잘못된 상식류 문항에서 특히 취약했습니다.

사례

둘 다 정답: Fortune cookie 기원 질문 — 유사도 0.97, Conflict False로 종료
한 모델만 정답 → 교정: 식사 후 수영 대기 시간 질문 — 1차 불일치 후, 문서에 대기 시간 언급이 없다는 인용 평가로 합의 도달

프로젝트를 진행하며 느낀점

멀티 에이전트 챗봇 토론 시스템을 활용한 환각 교정 서비스를 개발하면서 환각 문제를 깊이 분석하던 중, 연구를 더욱 발전시킬 수 있는 새로운 방향을 발견했습니다. 일반적인 사실 오류뿐만 아니라, 출처 환각(Attribution Hallucination) 역시 실제 서비스 환경에서 빈번하게 발생하는 중요한 문제라는 점을 알게 되었고, 이를 해결하기 위해 본 프로젝트를 진행하게 되었습니다.

본 연구에서는 각 LLM에 RAG(Retrieval-Augmented Generation) 시스템을 구축하고, 서로의 답변에 포함된 출처를 교차 검증하도록 설계하여 출처 환각을 줄이는 것을 목표로 했습니다. 다만 어떤 데이터셋을 구성해야 하는지, 출처의 일치 여부를 어떤 기준으로 검증해야 하는지 등 연구 설계 단계에서 많은 고민이 있었고, 이를 구체화하기 위해 교수님과 지속적으로 논의하며 연구 방향을 수정해 나갔습니다.

최종적으로는 Prompt Engineering과 LLM 간 대화 구조를 보다 정교하게 설계함으로써 의미 있는 성능 개선을 확인할 수 있었고, 이를 바탕으로 논문화까지 진행할 수 있었습니다. 아직 해결해야 할 한계점이 남아 있지만, 이를 보완하며 출처 환각 탐지 및 교정 성능을 더욱 향상시키는 방향으로 연구를 계속 발전시킬 계획입니다.

개인 |

NotiLLM : LLM 기반 자연어 알림 전송 제어

요약

Problem

서비스 디자인

시스템 설계 확장

느낀점

멀티 모델을 활용한 RAG Generation 단계 환각 탐지

📄 Paper

🖼️ PPT

요약

연구를 시작하게 된 배경

시스템 아키텍처

토론 프롬프트 설계

실험 설계

실험 결과

유형별 분석

결론

사례

프로젝트를 진행하며 느낀점