https://inhyuk2000.github.io/tags/%EC%97%B0%EA%B5%AC/연구HugoBlox Kit (https://hugoblox.com)en-usTue, 15 Jul 2025 00:00:00 +0900https://inhyuk2000.github.io/media/icon_hu_eee4a95885829ab2.pnghttps://inhyuk2000.github.io/tags/%EC%97%B0%EA%B5%AC/https://inhyuk2000.github.io/projects/a-multi-agent-debate-framework-of-multiple-language-models-for-hallucination-detection-correction/Tue, 15 Jul 2025 00:00:00 +0900https://inhyuk2000.github.io/projects/a-multi-agent-debate-framework-of-multiple-language-models-for-hallucination-detection-correction/<h4 id="-paper">📄 Paper</h4> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>다중 언어 모델 기반 멀티 에이전트 챗봇 토론 프레임워크를 통한 환각 탐지 및 교정</strong></p> </blockquote> <p>📑 </p> <h4 id="-poster">🖼️ Poster</h4> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>KCC 2025 Conference Poster</strong></p> </blockquote> <p>📄 </p> <h4 id="-award">🏆 Award</h4> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>KCC 2025 Best Poster Award (최우수상)</strong></p> </blockquote> <p>🏅 </p> <br/> <h3 id="요약">요약</h3> <ul> <li><strong>프로젝트 이름</strong> : 다중 언어 모델 기반 멀티 에이전트 챗봇 토론 프레임워크를 통한 환각 탐지 및 교정</li> <li><strong>프로젝트 기간</strong> : 2025.03 ~ 2025.07</li> <li><strong>프로젝트 설명</strong> : 서로 다른 LLM이 독립적으로 생성한 답변을 비교하고, 답변이 일치하지 않을 경우 토론을 통해 상호 검증하는 멀티 에이전트 프레임워크</li> <li><strong>프로젝트 목적</strong> : 단일 모델의 학습 데이터 편향과 자체 검증 기능 부족으로 발생하는 환각 문제를 완화하고 답변의 정확성과 논리적 일관성을 향상</li> <li><strong>검증 데이터</strong> : 2025학년도 대학수학능력시험 전 문항</li> <li><strong>주요 분석 대상</strong> : 모델 간 답변이 달랐던 수능 66문항</li> <li><strong>프로젝트 성과</strong> : KCC 2025 논문 발표 및 Best Poster Award 수상</li> </ul> <br/> <h3 id="llm-api를-활용">LLM API를 활용</h3> <p>해당 연구는 LLM의 내부 구조나 핵심 처리 로직을 직접 수정하는 방식으로 진행한 연구는 아닙니다. 연구의 핵심 가설은 <span class="high-mark"><strong>서로 다른 학습 데이터와 추론 특성을 가진 LLM 간의 토론이 답변의 오류를 발견하고 교정하는 데 유의미할 것</strong></span> 이라는 점이었습니다.</p> <p>이를 검증하기 위해 유사한 수준의 지식 및 추론 성능을 가진 ChatGPT와 Gemini 모델을 선정하고, 각 모델의 API를 활용해 멀티 에이전트 토론 시스템을 구축했습니다. 각 모델이 독립적으로 답변을 생성한 뒤, 상대 모델의 답변과 반박 내용을 다음 요청의 Context에 포함해 재추론하도록 설계함으로써 두 모델이 반복적으로 의견을 검토하고 답변을 수정할 수 있도록 구현했습니다.</p> <h3 id="구현-및-검증-과정">구현 및 검증 과정</h3> <p>해당 연구에서 핵심으로 하고 있던 아이디어를 생각해봤을 때, <span class="high-mark"><strong>결론 역시 유의미할 것이라고 판단되어 프레임워크 개발을 우선적으로 진행</strong></span> 했습니다. 이후 환각 발생 여부를 정확히 판단하기 위해 수능문항을 데이터셋으로 선정하게 되었고 일주일에 걸쳐 검증 및 결과 분석을 진행했습니다.</p> <p>연구를 진행하는 과정에서 <span class="high-mark"><strong>연구 방법론에 대한 근본적인 의문</strong></span> 도 들었습니다. 이번 연구는 가설과 부합하는 유의미한 결과를 얻어 논문 게재와 학술대회 입상으로 이어졌지만, <strong>만약 기대했던 결과가 나타나지 않았다면 연구 전체를 처음부터 다시 설계해야 하는지 고민</strong>하게 되었습니다.</p> <p>해당 고민을 연구실 세미나에서 교수님께 질문하며 논의했지만, 예상과 다른 결과가 나오는 상황을 사전에 완전히 방지할 수 있는 명확한 해답은 찾지 못했습니다.</p> <h3 id="논문-합격-후-발표-포스터-제작">논문 합격 후 발표 포스터 제작</h3> <p>발표 포스터를 제작할 때는 KHUDA 프로젝트를 진행하며 접했던 다른 학우들의 다양한 포스터와 발표 자료가 큰 도움이 되었습니다. 여러 디자인 사례를 참고한 경험을 바탕으로 완성도 높은 포스터의 특징을 파악할 수 있었고, <strong>핵심 내용을 한눈에 전달하기 위한 정보 배치와 시각적 구성 방식을 실제 제작 과정에 적용</strong>할 수 있었습니다.</p> <h3 id="프로젝트를-진행하며-느낀점">프로젝트를 진행하며 느낀점</h3> <p>일상 속에서 문제를 발견하고 이를 해결하기 위한 실용적인 연구를 수행하는 과정은 매우 흥미로웠으며, 이는 제가 컴퓨터공학으로 전과한 근본적인 이유와도 맞닿아 있었습니다. 다만 막연한 문제의식을 구체적인 연구 문제로 발전시키고, 기존 연구와의 명확한 차별점을 만드는 과정은 생각보다 훨씬 어려웠습니다. 이로 인해 기획 단계에 많은 시간을 투자하며 연구 주제를 처음부터 다시 검토하고 수정하는 과정을 여러 차례 반복했습니다.</p> <p>이 과정에서 <strong>XMind를 활용해 아이디어와 관련 문제를 구조화하고, 연구 주제를 더 깊이 탐색하는 훈련을 지속</strong>했습니다. 그 결과 <span class="high-mark"><strong>문제를 구체화하고 연구 방향을 설계하는 역량을 키울 수 있었으며, 연구의 완성도를 결정하는 데 기획 단계가 얼마나 중요한지도 깊이 체감</strong></span> 했습니다.</p> <p>첫 연구를 논문으로 발전시키고 <strong>최우수상</strong>이라는 값진 성과까지 얻을 수 있었지만, 이는 저 혼자만의 노력으로 만들어진 결과는 아니었습니다. 연구 방향을 지도해주신 교수님과 논문 작성 과정에서 도움을 주신 선배의 조언과 협력이 있었기에 가능했던 결과였으며, 이를 통해 좋은 연구는 개인의 역량뿐 아니라 팀원들 간의 지속적인 논의와 협업, 그리고 내가 틀림을 인정할 수 있는 능력을 통해 완성된다는 점도 배울 수 있었습니다.</p>https://inhyuk2000.github.io/projects/a-hierarchical-interpretation-framework-based-on-multi-neuron-activation-patterns/Tue, 15 Jul 2025 00:00:00 +0900https://inhyuk2000.github.io/projects/a-hierarchical-interpretation-framework-based-on-multi-neuron-activation-patterns/<h4 id="-paper">📄 Paper</h4> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>딥러닝 해석을 위한 계층적 다중 뉴런 프레임워크 모델 개발</strong></p> </blockquote> <p>📑 </p> <h4 id="-poster">🖼️ Poster</h4> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>KCC 2025 Conference Poster</strong></p> </blockquote> <p>📄 </p> <h4 id="-award">🏆 Award</h4> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>KCC 2025 Encouragement Award (장려상)</strong></p> </blockquote> <p>🏅 </p> <br/> <h3 id="설명">설명</h3> <ul> <li><strong>프로젝트 이름</strong>: 딥러닝 해석을 위한 계층적 다중 뉴런 프레임워크 모델 개발</li> <li><strong>프로젝트 기간</strong>: 2025.03 ~ 2025.07</li> <li><strong>프로젝트 설명</strong>: 사전 라벨이 없는 이미지 데이터를 의미 단위로 계층화하고, 각 이미지 그룹에 공통으로 반응하는 다중 뉴런을 추출해 딥러닝 모델의 내부 의미 구조를 자연어로 설명하는 자동 해석 프레임워크</li> <li><strong>프로젝트 목적</strong>: 단일 뉴런 중심 해석 방식의 한계를 보완하고, 딥러닝 모델 내부에서 여러 뉴런이 함께 형성하는 복잡한 개념 구조를 계층적으로 분석</li> <li><strong>분석 모델</strong>: ResNet-18</li> <li><strong>데이터 출처</strong>: Unsplash Lite Dataset</li> <li><strong>분석 데이터</strong>: 약 25,000장의 무라벨 고해상도 자연 이미지</li> <li><strong>주요 분석 대상</strong>: 이미지 의미 계층, 공통 활성 뉴런 그룹, 상·하위 계층 간 차이 뉴런</li> <li><strong>프로젝트 성과</strong>: KCC 2025 논문 발표 및 Encouragement Award 수상</li> </ul> <hr> <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-yellow-100 dark:bg-yellow-900 border-yellow-500" data-callout="question" data-callout-metadata=""> <span class="callout-icon pr-3 pt-1 text-yellow-700 dark:text-yellow-300"> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="M9.879 7.519c1.172-1.025 3.071-1.025 4.243 0c1.171 1.025 1.171 2.687 0 3.712q-.308.268-.67.442c-.746.361-1.452.999-1.452 1.827v.75M21 12a9 9 0 1 1-18 0a9 9 0 0 1 18 0m-9 5.25h.008v.008H12z"/></svg> </span> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1"><code>ResNet-18</code>이 이미지를 볼 때 내부의 여러 뉴런들이 어떤 개념을 함께 표현하고 있는지를 자동으로 찾아서 자연어로 설명해보자. 즉, 기존에는 주로 뉴런 하나씩 해석했다면, 우리는 <strong>여러 뉴런을 그룹으로 묶고 그 관계를 계층적으로 해석</strong>하려고 함.</div> <div class="callout-body"></div> </div> </div> <h2 id="문제-정의">문제 정의</h2> <p><u>딥러닝의 블랙박스 문제</u></p> <ul> <li><strong>단일 뉴런 기반</strong> <code>XAI</code> 기존 연구 : </li> <li>하나의 개념 표현에 여러 뉴런이 협력하기 때문에, 단일 뉴런 분석으로는 이런 <strong>협동적 표현</strong>을 고려하기 어려움</li> </ul> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>따라서 뉴런 하나씩 해석하지 말고, 같은 개념에 함께 반응하는 뉴런 그룹을 찾아서 해석하자.</p> </blockquote> <h3 id="그런데-어떤-이미지로-뉴런의-의미를-알아내지">그런데 어떤 이미지로 뉴런의 의미를 알아내지?</h3> <ul> <li>기존 연구들은 사람이 정한 라벨이 있는 데이터셋을 이용하는 경우가 많음. <ul> <li>즉, <strong>결국 사람이 미리 정한 개념 안에서만 모델을 분석하게 될 수 있는 문제가 있음.</strong></li> <li>이를 피하기 위해 아예 라벨이 없는 <code>Unsplash</code> 이미지 <strong>25000장</strong>을 사용함.</li> </ul> </li> </ul> <h3 id="그럼-라벨이-없으면-비슷한-이미지를-어떻게-묶지">그럼 라벨이 없으면 비슷한 이미지를 어떻게 묶지?</h3> <p><code>BLIP</code> : 이미지 <strong>25000장</strong>을 <code>BLIP</code>에 하나씩 넣어서 이미지 설명을 자동 생성함.</p> <ul> <li>ex. <em>이미지 A. 폭포 + 바위</em> <ul> <li><code>BLIP</code>: <em>A waterfall located in a rocky environment.</em></li> <li>이 <code>BLIP</code> 캡션을 이후 <code>의미 기반 클러스터링</code>의 <strong>입력</strong>으로 사용함.</li> </ul> </li> </ul> <h3 id="비슷한-의미의-이미지들을-자동으로-묶음">비슷한 의미의 이미지들을 자동으로 묶음.</h3> <p><code>FINCH</code> : 클러스터 개수를 사람이 미리 지정하지 않아도 되고, 반복적인 병합을 통해 계층적인 클러스터 구조 생성.</p> <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <span class="callout-icon pr-3 pt-1 text-blue-600 dark:text-blue-300"> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> </span> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">결과적으로 이미지들이 총 6개의 Level 계층 구조로 구성됨.</div> <div class="callout-body"></div> </div> </div> <h3 id="chatgpt를-활용해-한-클러스터의-모들-설명에-대한-대표-캡션을-생성함">ChatGPT를 활용해 한 클러스터의 모들 설명에 대한 대표 캡션을 생성함.</h3> <ul> <li> <p>ex. <strong>클러스터 A.</strong></p> <ul> <li><code>A waterfall in a forest</code></li> <li><code>A waterfall surrounded by rocks</code></li> <li><code>A waterfall in a natural environment</code></li> </ul> </li> <li> <p><code>ChatGPT</code> 기반 <strong>대표 캡션</strong> 생성</p> <ul> <li><code>A waterfall located in a rocky environment.</code></li> </ul> </li> </ul> <h3 id="이미지들을-resnet-18에-넣음">이미지들을 ResNet-18에 넣음.</h3> <ul> <li><code>Cluser A.</code> : <code>A waterfall located in a rocky environment.</code> <ul> <li>이 클러스터 내 이미지 100장을 <code>ResNet-18</code>에 넣어서, 어떤 뉴런들이 <strong>강하게 활성화</strong>되는 지를 기록함.</li> <li>활성화 값이 전체 뉴런 중 <code>상위 10%</code>에 들어가는 뉴런 추출 = <code>활성화 뉴런</code> 정의</li> </ul> </li> </ul> <p><span class="high-mark"><strong>공통 활성 뉴런 그룹 찾음.</strong></span></p> <ul> <li>클러스터의 <strong>절반 이상의 이미지에서 공통적으로 활성화되는 뉴런</strong>을 해당 클러스터의 <strong>대표 뉴런 그룹으로 선정</strong>함.</li> </ul> <h3 id="계층적-뉴런-해석">계층적 뉴런 해석</h3> <ul> <li>ex. <code>Level 1.</code> <ul> <li><code>숲속 폭포</code> - <code>[10, 32, 81, 100]</code></li> <li><code>협곡 폭포</code> - <code>[10, 32, 81, 150]</code></li> <li><code>바위 폭포</code> - <code>[10, 32, 81, 200]</code></li> </ul> </li> </ul> <p>공통 뉴런은 <code>[10, 32, 81]</code> 이므로, 이를 <strong>상위 Level의 뉴런 그룹</strong>으로 해석</p> <p><span class="high-mark"><strong>차이 뉴런 정의</strong></span></p> <ul> <li><code>[100]</code>: <code>숲속</code> 의미.</li> <li><code>[150]</code>: <code>협곡</code> 의미.</li> <li><code>[200]</code>: <code>바위</code> 의미.</li> </ul> <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <span class="callout-icon pr-3 pt-1 text-blue-600 dark:text-blue-300"> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> </span> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1"><code>ResNet-18</code> 내부의 뉴런들을 단일 뉴런이 아니라 <code>여러 뉴런이 함께 표현하는 의미</code> + <code>상하위 의미 관계</code>로 설명하는 프레임워크를 구현함.</div> <div class="callout-body"></div> </div> </div> <hr> <h3 id="프로젝트를-진행하며-느낀점">프로젝트를 진행하며 느낀점</h3> <p>여러 프로젝트를 진행하며 <span class="high-mark"><strong>직접 사용해보기 전에는 실제 문제를 발견하기 어렵다</strong></span> 는 생각을 갖게 되었습니다. 이에 뉴런 해석과 관련된 기존 논문의 GitHub 코드를 직접 설치하고 실행해보며, 기존 방법의 한계와 개선이 필요한 지점을 파악하고자 했습니다.</p> <p>이전 프로젝트에서 연구 기획을 여러 차례 수정했던 경험을 바탕으로, 이번 프로젝트에서는 문제를 정의하고 새로운 연구 방향을 구체화하는 과정에 특히 많은 노력을 기울였습니다. 이후 딥러닝 프로젝트 담당 교수님과 주기적으로 회의를 진행하며 연구 방향을 지속적으로 점검하고 수정했고, 그 과정에서 새로운 접근을 설계하기 위한 인사이트를 얻을 수 있었습니다.</p> <p><strong>최종적으로 단일 뉴런을 중심으로 의미를 해석하는 기존 방식에서 벗어나, 여러 뉴런의 공통 활성화 패턴을 하나의 집합으로 구성해 해석에 활용하는 아이디어를 제안</strong>했습니다. 이를 바탕으로 연구를 성공적으로 마무리하고 KCC 2025 학술대회에 논문을 제출했으며, 감사하게도 장려상을 수상했습니다. 직접 문제를 발견하고 연구 방향을 설계하기 위해 기울였던 노력이 성과로 이어졌다는 점에서 큰 보람을 느낄 수 있었습니다.</p>