https://inhyuk2000.github.io/tags/kcc/KCCHugoBlox Kit (https://hugoblox.com)en-usTue, 15 Jul 2025 00:00:00 +0900https://inhyuk2000.github.io/media/icon_hu_eee4a95885829ab2.pnghttps://inhyuk2000.github.io/tags/kcc/https://inhyuk2000.github.io/projects/a-hierarchical-interpretation-framework-based-on-multi-neuron-activation-patterns/Tue, 15 Jul 2025 00:00:00 +0900https://inhyuk2000.github.io/projects/a-hierarchical-interpretation-framework-based-on-multi-neuron-activation-patterns/<h4 id="-paper">📄 Paper</h4> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>딥러닝 해석을 위한 계층적 다중 뉴런 프레임워크 모델 개발</strong></p> </blockquote> <p>📑 </p> <h4 id="-poster">🖼️ Poster</h4> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>KCC 2025 Conference Poster</strong></p> </blockquote> <p>📄 </p> <h4 id="-award">🏆 Award</h4> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>KCC 2025 Encouragement Award (장려상)</strong></p> </blockquote> <p>🏅 </p> <br/> <h3 id="설명">설명</h3> <ul> <li><strong>프로젝트 이름</strong>: 딥러닝 해석을 위한 계층적 다중 뉴런 프레임워크 모델 개발</li> <li><strong>프로젝트 기간</strong>: 2025.03 ~ 2025.07</li> <li><strong>프로젝트 설명</strong>: 사전 라벨이 없는 이미지 데이터를 의미 단위로 계층화하고, 각 이미지 그룹에 공통으로 반응하는 다중 뉴런을 추출해 딥러닝 모델의 내부 의미 구조를 자연어로 설명하는 자동 해석 프레임워크</li> <li><strong>프로젝트 목적</strong>: 단일 뉴런 중심 해석 방식의 한계를 보완하고, 딥러닝 모델 내부에서 여러 뉴런이 함께 형성하는 복잡한 개념 구조를 계층적으로 분석</li> <li><strong>분석 모델</strong>: ResNet-18</li> <li><strong>데이터 출처</strong>: Unsplash Lite Dataset</li> <li><strong>분석 데이터</strong>: 약 25,000장의 무라벨 고해상도 자연 이미지</li> <li><strong>주요 분석 대상</strong>: 이미지 의미 계층, 공통 활성 뉴런 그룹, 상·하위 계층 간 차이 뉴런</li> <li><strong>프로젝트 성과</strong>: KCC 2025 논문 발표 및 Encouragement Award 수상</li> </ul> <hr> <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-yellow-100 dark:bg-yellow-900 border-yellow-500" data-callout="question" data-callout-metadata=""> <span class="callout-icon pr-3 pt-1 text-yellow-700 dark:text-yellow-300"> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="M9.879 7.519c1.172-1.025 3.071-1.025 4.243 0c1.171 1.025 1.171 2.687 0 3.712q-.308.268-.67.442c-.746.361-1.452.999-1.452 1.827v.75M21 12a9 9 0 1 1-18 0a9 9 0 0 1 18 0m-9 5.25h.008v.008H12z"/></svg> </span> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1"><code>ResNet-18</code>이 이미지를 볼 때 내부의 여러 뉴런들이 어떤 개념을 함께 표현하고 있는지를 자동으로 찾아서 자연어로 설명해보자. 즉, 기존에는 주로 뉴런 하나씩 해석했다면, 우리는 <strong>여러 뉴런을 그룹으로 묶고 그 관계를 계층적으로 해석</strong>하려고 함.</div> <div class="callout-body"></div> </div> </div> <h2 id="문제-정의">문제 정의</h2> <p><u>딥러닝의 블랙박스 문제</u></p> <ul> <li><strong>단일 뉴런 기반</strong> <code>XAI</code> 기존 연구 : </li> <li>하나의 개념 표현에 여러 뉴런이 협력하기 때문에, 단일 뉴런 분석으로는 이런 <strong>협동적 표현</strong>을 고려하기 어려움</li> </ul> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p>따라서 뉴런 하나씩 해석하지 말고, 같은 개념에 함께 반응하는 뉴런 그룹을 찾아서 해석하자.</p> </blockquote> <h3 id="그런데-어떤-이미지로-뉴런의-의미를-알아내지">그런데 어떤 이미지로 뉴런의 의미를 알아내지?</h3> <ul> <li>기존 연구들은 사람이 정한 라벨이 있는 데이터셋을 이용하는 경우가 많음. <ul> <li>즉, <strong>결국 사람이 미리 정한 개념 안에서만 모델을 분석하게 될 수 있는 문제가 있음.</strong></li> <li>이를 피하기 위해 아예 라벨이 없는 <code>Unsplash</code> 이미지 <strong>25000장</strong>을 사용함.</li> </ul> </li> </ul> <h3 id="그럼-라벨이-없으면-비슷한-이미지를-어떻게-묶지">그럼 라벨이 없으면 비슷한 이미지를 어떻게 묶지?</h3> <p><code>BLIP</code> : 이미지 <strong>25000장</strong>을 <code>BLIP</code>에 하나씩 넣어서 이미지 설명을 자동 생성함.</p> <ul> <li>ex. <em>이미지 A. 폭포 + 바위</em> <ul> <li><code>BLIP</code>: <em>A waterfall located in a rocky environment.</em></li> <li>이 <code>BLIP</code> 캡션을 이후 <code>의미 기반 클러스터링</code>의 <strong>입력</strong>으로 사용함.</li> </ul> </li> </ul> <h3 id="비슷한-의미의-이미지들을-자동으로-묶음">비슷한 의미의 이미지들을 자동으로 묶음.</h3> <p><code>FINCH</code> : 클러스터 개수를 사람이 미리 지정하지 않아도 되고, 반복적인 병합을 통해 계층적인 클러스터 구조 생성.</p> <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <span class="callout-icon pr-3 pt-1 text-blue-600 dark:text-blue-300"> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> </span> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">결과적으로 이미지들이 총 6개의 Level 계층 구조로 구성됨.</div> <div class="callout-body"></div> </div> </div> <h3 id="chatgpt를-활용해-한-클러스터의-모들-설명에-대한-대표-캡션을-생성함">ChatGPT를 활용해 한 클러스터의 모들 설명에 대한 대표 캡션을 생성함.</h3> <ul> <li> <p>ex. <strong>클러스터 A.</strong></p> <ul> <li><code>A waterfall in a forest</code></li> <li><code>A waterfall surrounded by rocks</code></li> <li><code>A waterfall in a natural environment</code></li> </ul> </li> <li> <p><code>ChatGPT</code> 기반 <strong>대표 캡션</strong> 생성</p> <ul> <li><code>A waterfall located in a rocky environment.</code></li> </ul> </li> </ul> <h3 id="이미지들을-resnet-18에-넣음">이미지들을 ResNet-18에 넣음.</h3> <ul> <li><code>Cluser A.</code> : <code>A waterfall located in a rocky environment.</code> <ul> <li>이 클러스터 내 이미지 100장을 <code>ResNet-18</code>에 넣어서, 어떤 뉴런들이 <strong>강하게 활성화</strong>되는 지를 기록함.</li> <li>활성화 값이 전체 뉴런 중 <code>상위 10%</code>에 들어가는 뉴런 추출 = <code>활성화 뉴런</code> 정의</li> </ul> </li> </ul> <p><span class="high-mark"><strong>공통 활성 뉴런 그룹 찾음.</strong></span></p> <ul> <li>클러스터의 <strong>절반 이상의 이미지에서 공통적으로 활성화되는 뉴런</strong>을 해당 클러스터의 <strong>대표 뉴런 그룹으로 선정</strong>함.</li> </ul> <h3 id="계층적-뉴런-해석">계층적 뉴런 해석</h3> <ul> <li>ex. <code>Level 1.</code> <ul> <li><code>숲속 폭포</code> - <code>[10, 32, 81, 100]</code></li> <li><code>협곡 폭포</code> - <code>[10, 32, 81, 150]</code></li> <li><code>바위 폭포</code> - <code>[10, 32, 81, 200]</code></li> </ul> </li> </ul> <p>공통 뉴런은 <code>[10, 32, 81]</code> 이므로, 이를 <strong>상위 Level의 뉴런 그룹</strong>으로 해석</p> <p><span class="high-mark"><strong>차이 뉴런 정의</strong></span></p> <ul> <li><code>[100]</code>: <code>숲속</code> 의미.</li> <li><code>[150]</code>: <code>협곡</code> 의미.</li> <li><code>[200]</code>: <code>바위</code> 의미.</li> </ul> <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <span class="callout-icon pr-3 pt-1 text-blue-600 dark:text-blue-300"> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> </span> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1"><code>ResNet-18</code> 내부의 뉴런들을 단일 뉴런이 아니라 <code>여러 뉴런이 함께 표현하는 의미</code> + <code>상하위 의미 관계</code>로 설명하는 프레임워크를 구현함.</div> <div class="callout-body"></div> </div> </div> <hr> <h3 id="프로젝트를-진행하며-느낀점">프로젝트를 진행하며 느낀점</h3> <p>여러 프로젝트를 진행하며 <span class="high-mark"><strong>직접 사용해보기 전에는 실제 문제를 발견하기 어렵다</strong></span> 는 생각을 갖게 되었습니다. 이에 뉴런 해석과 관련된 기존 논문의 GitHub 코드를 직접 설치하고 실행해보며, 기존 방법의 한계와 개선이 필요한 지점을 파악하고자 했습니다.</p> <p>이전 프로젝트에서 연구 기획을 여러 차례 수정했던 경험을 바탕으로, 이번 프로젝트에서는 문제를 정의하고 새로운 연구 방향을 구체화하는 과정에 특히 많은 노력을 기울였습니다. 이후 딥러닝 프로젝트 담당 교수님과 주기적으로 회의를 진행하며 연구 방향을 지속적으로 점검하고 수정했고, 그 과정에서 새로운 접근을 설계하기 위한 인사이트를 얻을 수 있었습니다.</p> <p><strong>최종적으로 단일 뉴런을 중심으로 의미를 해석하는 기존 방식에서 벗어나, 여러 뉴런의 공통 활성화 패턴을 하나의 집합으로 구성해 해석에 활용하는 아이디어를 제안</strong>했습니다. 이를 바탕으로 연구를 성공적으로 마무리하고 KCC 2025 학술대회에 논문을 제출했으며, 감사하게도 장려상을 수상했습니다. 직접 문제를 발견하고 연구 방향을 설계하기 위해 기울였던 노력이 성과로 이어졌다는 점에서 큰 보람을 느낄 수 있었습니다.</p>