학회 |

LLM을 활용한 자연어 기반 알림 전송 제어 시스템 개발

Tue, 15 Jul 2025 00:00:00 +0900

📄 Paper

KSC 2025 Paper Accept

📑

🖼️ Poster

KCC 2025 Conference Poster

📄

요약

프로젝트 이름: LLM을 활용한 자연어 기반 알림 전송 제어 시스템 개발
프로젝트 기간: 2025.07 ~ 2025.11
프로젝트 설명: 사용자의 자연어 명령에서 알림 수신 조건과 대상을 추출하고, 조건에 맞는 알림만 선별적으로 전송하는 LLM 기반 모바일 알림 제어 시스템
프로젝트 목적: 복잡한 수동 설정 과정과 머신러닝 기반 자동 예측의 부정확성을 개선하여 사용자가 자연어만으로 원하는 알림 수신 조건을 설정할 수 있도록 지원
데이터 출처: 사용자 7명으로부터 수집한 자연어 명령 시나리오 24개
주요 설계 대상: 시간·장소·활동을 나타내는 조건 필드와 앱·키워드를 나타내는 대상 필드
프로젝트 성과: KSC 2025 논문 발표 및 Paper Accept

연구 시작 배경

“알림을 일일히 수동으로 설정하기 어렵다.”
“현재 알림 시스템은 시간/앱/내용/패턴 등의 컨텍스트를 충분히 고려하지 못한다.”

이로 인해, 사용자가 에이전트에게 알림 커스터마이징을 요청했을 때, 자동으로 커스터마이징 해주는 기능을 핵심 아이디어로 도출함.

구현 가능성 기술 조사

Google Assistant, Bixby, Gemini 의 기존 음성 에이전트로 구현 가능성 조사
- 단순 앱 실행이 아니라 앱 내부의 특정 알림 제어 기능까지 자연어로 실행할 수 있는지 조사함.
- Google Assistant의 App Actions, Shortcut / Bixby Capsule / Gemini 연동 가능성을 각각 확인함.

하지만 Google Assistant 는 App Actions, Shortcut 중심으로 미리 정의된 액션에 매핑해야 하는 제약이 있고, 테스트 도구도 Google Console에 너무 의존하고 있었음. Gemini는 앱을 열어주는 수준이 아니라 앱 내부 알림 데이터를 자유롭게 제어하는 수준이 불가능했음. 마지막으로 Bixby Capsule은 그나마 가능성이 있어시 실제 프로토타입까지 만들어 보았지만, 사용자의 자유로운 명령에 대응하기 위한 goal, intent, training 등 사전 정의 작업이 필요했음.

결국 위 세가지 방식들은 전부 기각하고, LLM Function Calling 기술을 기반으로 직접 구현하기로 결정.

LLM Function Calling

포폴에 작성된 내용

사용자 수집 데이터 기반 자료구조 설계 (JSON Schema)
시스템 구조 설계 (알림 관리자, 조건 추출자)
개발

포폴 이후 NotiLLM 개인 프로젝트 발전 진행중

목표: LLM 시스템 Evaluation, LangChain 및 LangGraph를 활용해 Version 개선, 부하 테스트, 배포, 사용자 피드백 진행해 연구를 개선하는 것.

자료구조 시나리오 설계 과정

사용자의 자연어를 Function Calling 기능을 활용해 JSON 구조로 변환해야겠다고 결정했을 때, 두 가지 조건을 결정해야 했습니다. 따라서 “알림을 언제 보내줘야 하지?” , “어떤 유형의 알림을 보내줘야 하지?” 와 같은 결정을 내리기 위해서, 저는 8명의 참여자들로부터 총 24개의 질문 시나리오를 받고, 이를 바탕으로 가능한 JSON 구조를 설계했습니다.

JSON Schema 설계

참여자들의 자연어 명령을 분석한 결과, 알림 제어에 필요한 정보는 크게 알림 대상(Notification Target) 과 알림 조건(Notification Condition) 으로 구분할 수 있었습니다.

Category	Field	Description
Notification Target	`name`	앱 이름을 기반으로 알림을 필터링
	`content`	알림 제목 및 본문의 키워드를 기반으로 알림을 필터링
Notification Condition	`time.relative`	현재 시점을 기준으로 한 상대 시간 (예: 5분 후)
	`time.absolute`	특정 절대 시간 (예: 오후 3시)
	`activity`	사용자의 현재 활동
	`location`	사용자의 현재 위치

이를 바탕으로 다음과 같은 JSON 구조를 설계했습니다.

{
 "extract_notification_target": {
 "name": [],
 "content": []
 },
 "extract_notification_condition": {
 "time": {
 "relative": "",
 "absolute": ""
 },
 "activity": "",
 "location": ""
 }
}

작동 시스템 설계

이후 사용자의 자연어 명령을 위와 같이 JSON 자료구조로 변환하는 NotificationParser 와 데이터베이스에 저장된 알림 내용들과 조건 목록들을 모니터링하는 ContextManager 를 두 핵심 기능으로 삼아 개발을 진행했습니다.

트러블슈팅 과정

해당 기능을 구현한 뒤 실제 환경에서 테스트하는 과정에서 예상치 못한 문제가 발생했습니다. 2025년 4월 One UI 7 업데이트 이후 알림에 표시되는 앱 아이콘이 시스템에 의해 임의로 변경되었으며, 삼성의 내부 프레임워크가 공개되어 있지 않아 코드 수정만으로는 기존과 동일한 smallIcon을 가져올 수 없었습니다.

약 2개월간 다양한 해결 방법을 검토했지만, 최종적으로 애플리케이션 코드 수준에서는 해결하기 어렵다는 결론에 도달했습니다. 이에 시스템 설정에서 알림 표시 방식을 이전 버전과 유사하게 변경하는 방법을 사용자에게 안내하는 방식으로 우회책을 마련 했습니다. 이를 통해 개발 과정에서는 코드 개선뿐만 아니라 플랫폼의 제약을 파악하고, 제한된 환경 안에서 사용자 경험을 보완할 수 있는 현실적인 대안을 찾는 것 역시 중요하다는 점을 배웠습니다.

프로젝트를 진행하며 느낀점

알림 관련 문제 상황을 제가 제일 관심이 많이 있는 LLM 모델과 결합하다가 나온 연구 주제입니다. 선배분의 아이디어 기획 능력으로 초반 아이디어 구체화 부분은 수월하게 진행되었지만, 이후 자료구조 설계와 사용자 조사, 그리고 개발 및 논문 작성까지 주도적으로 작성하게 되어서 힘들었지만 많이 배우고 성장할 수 있는 뜻깊은 시간이었습니다. 문제 분석 - 기획 - 해결 아이디어 탐색 - 개발 - 논문 작성 까지의 일련의 흐름을 거치니, 논문과 프로젝트의 퀄리티를 좌지우지하는 중요한 과정은 개발이 아닌 문제 분석과 기획 임을 다시 한 번 느꼈습니다. 또한 개발을 진행하는 과정에서 Android 버전이 바뀌어 아이콘이 깨지는 문제를 한동안 해결하느라 고생했던 것 같습니다. 이러한 예상치 못했던 문제에 대한 트러블슈팅 과정 역시 저를 더 성장하게 해준 계기가 되었던 것 같습니다.

다중 언어 모델 기반 멀티 에이전트 챗봇 토론 프레임워크를 통한 환각 탐지 및 교정

Tue, 15 Jul 2025 00:00:00 +0900

📄 Paper

다중 언어 모델 기반 멀티 에이전트 챗봇 토론 프레임워크를 통한 환각 탐지 및 교정

📑

🖼️ Poster

KCC 2025 Conference Poster

📄

🏆 Award

KCC 2025 Best Poster Award (최우수상)

🏅

요약

프로젝트 이름 : 다중 언어 모델 기반 멀티 에이전트 챗봇 토론 프레임워크를 통한 환각 탐지 및 교정
프로젝트 기간 : 2025.03 ~ 2025.07
프로젝트 설명 : 서로 다른 LLM이 독립적으로 생성한 답변을 비교하고, 답변이 일치하지 않을 경우 토론을 통해 상호 검증하는 멀티 에이전트 프레임워크
프로젝트 목적 : 단일 모델의 학습 데이터 편향과 자체 검증 기능 부족으로 발생하는 환각 문제를 완화하고 답변의 정확성과 논리적 일관성을 향상
검증 데이터 : 2025학년도 대학수학능력시험 전 문항
주요 분석 대상 : 모델 간 답변이 달랐던 수능 66문항
프로젝트 성과 : KCC 2025 논문 발표 및 Best Poster Award 수상

LLM API를 활용

해당 연구는 LLM의 내부 구조나 핵심 처리 로직을 직접 수정하는 방식으로 진행한 연구는 아닙니다. 연구의 핵심 가설은 서로 다른 학습 데이터와 추론 특성을 가진 LLM 간의 토론이 답변의 오류를 발견하고 교정하는 데 유의미할 것 이라는 점이었습니다.

이를 검증하기 위해 유사한 수준의 지식 및 추론 성능을 가진 ChatGPT와 Gemini 모델을 선정하고, 각 모델의 API를 활용해 멀티 에이전트 토론 시스템을 구축했습니다. 각 모델이 독립적으로 답변을 생성한 뒤, 상대 모델의 답변과 반박 내용을 다음 요청의 Context에 포함해 재추론하도록 설계함으로써 두 모델이 반복적으로 의견을 검토하고 답변을 수정할 수 있도록 구현했습니다.

구현 및 검증 과정

해당 연구에서 핵심으로 하고 있던 아이디어를 생각해봤을 때, 결론 역시 유의미할 것이라고 판단되어 프레임워크 개발을 우선적으로 진행 했습니다. 이후 환각 발생 여부를 정확히 판단하기 위해 수능문항을 데이터셋으로 선정하게 되었고 일주일에 걸쳐 검증 및 결과 분석을 진행했습니다.

연구를 진행하는 과정에서 연구 방법론에 대한 근본적인 의문 도 들었습니다. 이번 연구는 가설과 부합하는 유의미한 결과를 얻어 논문 게재와 학술대회 입상으로 이어졌지만, 만약 기대했던 결과가 나타나지 않았다면 연구 전체를 처음부터 다시 설계해야 하는지 고민하게 되었습니다.

해당 고민을 연구실 세미나에서 교수님께 질문하며 논의했지만, 예상과 다른 결과가 나오는 상황을 사전에 완전히 방지할 수 있는 명확한 해답은 찾지 못했습니다.

논문 합격 후 발표 포스터 제작

발표 포스터를 제작할 때는 KHUDA 프로젝트를 진행하며 접했던 다른 학우들의 다양한 포스터와 발표 자료가 큰 도움이 되었습니다. 여러 디자인 사례를 참고한 경험을 바탕으로 완성도 높은 포스터의 특징을 파악할 수 있었고, 핵심 내용을 한눈에 전달하기 위한 정보 배치와 시각적 구성 방식을 실제 제작 과정에 적용할 수 있었습니다.

프로젝트를 진행하며 느낀점

일상 속에서 문제를 발견하고 이를 해결하기 위한 실용적인 연구를 수행하는 과정은 매우 흥미로웠으며, 이는 제가 컴퓨터공학으로 전과한 근본적인 이유와도 맞닿아 있었습니다. 다만 막연한 문제의식을 구체적인 연구 문제로 발전시키고, 기존 연구와의 명확한 차별점을 만드는 과정은 생각보다 훨씬 어려웠습니다. 이로 인해 기획 단계에 많은 시간을 투자하며 연구 주제를 처음부터 다시 검토하고 수정하는 과정을 여러 차례 반복했습니다.

이 과정에서 XMind를 활용해 아이디어와 관련 문제를 구조화하고, 연구 주제를 더 깊이 탐색하는 훈련을 지속했습니다. 그 결과 문제를 구체화하고 연구 방향을 설계하는 역량을 키울 수 있었으며, 연구의 완성도를 결정하는 데 기획 단계가 얼마나 중요한지도 깊이 체감 했습니다.

첫 연구를 논문으로 발전시키고 최우수상이라는 값진 성과까지 얻을 수 있었지만, 이는 저 혼자만의 노력으로 만들어진 결과는 아니었습니다. 연구 방향을 지도해주신 교수님과 논문 작성 과정에서 도움을 주신 선배의 조언과 협력이 있었기에 가능했던 결과였으며, 이를 통해 좋은 연구는 개인의 역량뿐 아니라 팀원들 간의 지속적인 논의와 협업, 그리고 내가 틀림을 인정할 수 있는 능력을 통해 완성된다는 점도 배울 수 있었습니다.

딥러닝 해석을 위한 계층적 다중 뉴런 프레임워크 모델 개발

Tue, 15 Jul 2025 00:00:00 +0900

📄 Paper

딥러닝 해석을 위한 계층적 다중 뉴런 프레임워크 모델 개발

📑

🖼️ Poster

KCC 2025 Conference Poster

📄

🏆 Award

KCC 2025 Encouragement Award (장려상)

🏅

설명

프로젝트 이름: 딥러닝 해석을 위한 계층적 다중 뉴런 프레임워크 모델 개발
프로젝트 기간: 2025.03 ~ 2025.07
프로젝트 설명: 사전 라벨이 없는 이미지 데이터를 의미 단위로 계층화하고, 각 이미지 그룹에 공통으로 반응하는 다중 뉴런을 추출해 딥러닝 모델의 내부 의미 구조를 자연어로 설명하는 자동 해석 프레임워크
프로젝트 목적: 단일 뉴런 중심 해석 방식의 한계를 보완하고, 딥러닝 모델 내부에서 여러 뉴런이 함께 형성하는 복잡한 개념 구조를 계층적으로 분석
분석 모델: ResNet-18
데이터 출처: Unsplash Lite Dataset
분석 데이터: 약 25,000장의 무라벨 고해상도 자연 이미지
주요 분석 대상: 이미지 의미 계층, 공통 활성 뉴런 그룹, 상·하위 계층 간 차이 뉴런
프로젝트 성과: KCC 2025 논문 발표 및 Encouragement Award 수상

ResNet-18이 이미지를 볼 때 내부의 여러 뉴런들이 어떤 개념을 함께 표현하고 있는지를 자동으로 찾아서 자연어로 설명해보자. 즉, 기존에는 주로 뉴런 하나씩 해석했다면, 우리는 여러 뉴런을 그룹으로 묶고 그 관계를 계층적으로 해석하려고 함.

문제 정의

딥러닝의 블랙박스 문제

단일 뉴런 기반 XAI 기존 연구 :
하나의 개념 표현에 여러 뉴런이 협력하기 때문에, 단일 뉴런 분석으로는 이런 협동적 표현을 고려하기 어려움

따라서 뉴런 하나씩 해석하지 말고, 같은 개념에 함께 반응하는 뉴런 그룹을 찾아서 해석하자.

그런데 어떤 이미지로 뉴런의 의미를 알아내지?

기존 연구들은 사람이 정한 라벨이 있는 데이터셋을 이용하는 경우가 많음.
- 즉, 결국 사람이 미리 정한 개념 안에서만 모델을 분석하게 될 수 있는 문제가 있음.
- 이를 피하기 위해 아예 라벨이 없는 Unsplash 이미지 25000장을 사용함.

그럼 라벨이 없으면 비슷한 이미지를 어떻게 묶지?

BLIP : 이미지 25000장을 BLIP에 하나씩 넣어서 이미지 설명을 자동 생성함.

ex. 이미지 A. 폭포 + 바위
- BLIP: A waterfall located in a rocky environment.
- 이 BLIP 캡션을 이후 의미 기반 클러스터링의 입력으로 사용함.

비슷한 의미의 이미지들을 자동으로 묶음.

FINCH : 클러스터 개수를 사람이 미리 지정하지 않아도 되고, 반복적인 병합을 통해 계층적인 클러스터 구조 생성.

결과적으로 이미지들이 총 6개의 Level 계층 구조로 구성됨.

ChatGPT를 활용해 한 클러스터의 모들 설명에 대한 대표 캡션을 생성함.

ex. 클러스터 A.
- A waterfall in a forest
- A waterfall surrounded by rocks
- A waterfall in a natural environment
ChatGPT 기반 대표 캡션 생성
- A waterfall located in a rocky environment.

이미지들을 ResNet-18에 넣음.

Cluser A. : A waterfall located in a rocky environment.
- 이 클러스터 내 이미지 100장을 ResNet-18에 넣어서, 어떤 뉴런들이 강하게 활성화되는 지를 기록함.
- 활성화 값이 전체 뉴런 중 상위 10%에 들어가는 뉴런 추출 = 활성화 뉴런 정의

공통 활성 뉴런 그룹 찾음.

클러스터의 절반 이상의 이미지에서 공통적으로 활성화되는 뉴런을 해당 클러스터의 대표 뉴런 그룹으로 선정함.

계층적 뉴런 해석

ex. Level 1.
- 숲속 폭포 - [10, 32, 81, 100]
- 협곡 폭포 - [10, 32, 81, 150]
- 바위 폭포 - [10, 32, 81, 200]

공통 뉴런은 [10, 32, 81] 이므로, 이를 상위 Level의 뉴런 그룹으로 해석

차이 뉴런 정의

[100]: 숲속 의미.
[150]: 협곡 의미.
[200]: 바위 의미.

ResNet-18 내부의 뉴런들을 단일 뉴런이 아니라 여러 뉴런이 함께 표현하는 의미 + 상하위 의미 관계로 설명하는 프레임워크를 구현함.

프로젝트를 진행하며 느낀점

여러 프로젝트를 진행하며 직접 사용해보기 전에는 실제 문제를 발견하기 어렵다 는 생각을 갖게 되었습니다. 이에 뉴런 해석과 관련된 기존 논문의 GitHub 코드를 직접 설치하고 실행해보며, 기존 방법의 한계와 개선이 필요한 지점을 파악하고자 했습니다.

이전 프로젝트에서 연구 기획을 여러 차례 수정했던 경험을 바탕으로, 이번 프로젝트에서는 문제를 정의하고 새로운 연구 방향을 구체화하는 과정에 특히 많은 노력을 기울였습니다. 이후 딥러닝 프로젝트 담당 교수님과 주기적으로 회의를 진행하며 연구 방향을 지속적으로 점검하고 수정했고, 그 과정에서 새로운 접근을 설계하기 위한 인사이트를 얻을 수 있었습니다.

최종적으로 단일 뉴런을 중심으로 의미를 해석하는 기존 방식에서 벗어나, 여러 뉴런의 공통 활성화 패턴을 하나의 집합으로 구성해 해석에 활용하는 아이디어를 제안했습니다. 이를 바탕으로 연구를 성공적으로 마무리하고 KCC 2025 학술대회에 논문을 제출했으며, 감사하게도 장려상을 수상했습니다. 직접 문제를 발견하고 연구 방향을 설계하기 위해 기울였던 노력이 성과로 이어졌다는 점에서 큰 보람을 느낄 수 있었습니다.