Audio adapter와 사전학습 기법의 발전으로, 언어 모델은 음성, 음악, 환경음을 이해하고 다양한 오디오 기반 태스크를 수행할 수 있게 되었습니다. 다만 대규모 Audio LLM은 메모리 사용량과 추론 지연 시간으로 인해 On-device 환경 적용에 제약이 존재했습니다.
프로젝트는 SALMONN 기반 Audio LLM을 대상으로, 베이스라인 성능을 유지하면서 Memory와 Latency를 낮추는 경량화 레서피를 실험적으로 탐구하였습니다. 모바일 GPU 환경을 가정하여 ASR≈0.05, Memory≤6GB, TTFT≤1s, TPOT≤0.1s를 목표 지표로 설정하였습니다.
문제 정의: Nota에서 제공한 SALMONN 모델의 베이스 라인 성능을 유지하면서 Memory usage를 줄이고 Latency를 줄이는 것을 해커톤의 목표로 설정했습니다.
우리는 모델을 직접 경량화하기보다, **구성 요소 단위(LLM / Audio Encoder / Prompt / Q-Former / LoRA)**로 교체, 수정 실험을 분리하여 수행하였습니다. 각 실험은 성능(AAC, ASR)과 효율(Memory, Latency, TTFT, TPOT)의 변화를 동일 기준에서 비교하고, 목표 조건을 만족하는 조합을 최종 구성으로 선택하였습니다.
On-device가 가능한 모바일 GPU의 대략적인 기준인 ASR ~0.05, Memory ~6GB, TTFT ~1 sec, TPOT ~0.1 sec을 목표를 설정