1. 프로젝트 개요

최근 AI 모델의 성능은 단일 모델의 구조적 완성도를 넘어, 내부 모듈을 어떻게 구성하고 조합하느냐에 따라 결정되고 있다. 특히 멀티모달 모델에서는 서로 다른 모달리티 간의 표현을 동일한 공간에서 정렬하고 결합하는 방식이 성능을 좌우하는 핵심 요소로 작용한다.

본 프로젝트는 모델 간의 단순 성능 비교를 넘어, 구조적 설계와 임베딩 방식의 차이가 모델의 이해 능력에 어떤 영향을 미칠 수 있는지를 분석하는 것을 목표로 한다. 이를 위해 이미지와 텍스트를 통합된 임베딩 공간에서 처리하는 One-tower VLM 구조에 주목하였다.

One-tower 구조는 두 모달리티를 동일한 표현 공간 내에서 학습시켜 이미지–텍스트 간의 직접적인 관계성을 포착할 수 있으며, 파라미터 공유를 통해 연산 효율성과 모델 경량화 측면에서도 장점을 가진다. 본 프로젝트에서는 이러한 특성을 지닌 CLIPPO 모델을 기반으로, 통합 임베딩 구조는 유지한 채 이미지 인코더의 구성 요소를 변경함으로써, 하위 모듈의 구조적 차이가 모델의 표현 특성과 성능 경향에 어떤 영향을 미칠 수 있는지를 이론적으로 분석하고 가설을 설정하였다.

2. 연구 접근 및 설계

1) ViT와 ConvNeXt의 구조적 차이

ViT와 ConvNeXt는 모두 이미지를 패치 단위로 처리한다는 공통점을 가지지만, 패치 임베딩 방식과 네트워크 구조에서 본질적인 차이를 보인다. 이러한 차이는 이미지 정보를 해석하고 표현하는 방식에 영향을 미치며, 멀티모달 모델에서 이미지–텍스트 정렬 특성에도 서로 다른 경향을 만들 수 있다.

ViT (Vision Transformer)

• ViT는 이미지를 일정 크기의 패치로 분할한 뒤, 각 패치를 선형 투영을 통해 고차원 벡터로 변환하고 위치 인코딩을 추가한다. 이를 통해 트랜스포머 구조가 패치 간의 상대적 위치 정보를 인식할 수 있도록 한다.
• 이후 트랜스포머 블록을 활용하여 패치 간의 전역적인 관계를 학습하며, 셀프 어텐션 메커니즘을 통해 이미지 전체의 구조적 맥락을 포착한다.

ConvNeXt

• ConvNeXt는 전통적인 CNN 기반 구조를 따르며, 합성곱 연산을 통해 이미지의 국소적 패턴과 질감 정보를 점진적으로 추출한다.
• ViT의 설계 철학을 일부 반영하여 기존 CNN 구조를 단순화하였으며, 깊은 네트워크를 통해 고수준 특징을 안정적으로 학습할 수 있도록 설계되었다.