[복소값 신경망 양자화 기반 초경량 AI 프레임워크 제시]

 [노준석 교수]

 

아무리 뛰어난 AI라도 무거우면 쓰기 어렵다. 고성능 AI는 연산량이 방대해 대형 서버에서만 구동되는 경우가 많았는데, POSTECH 연구팀이 성능은 유지하면서 연산량을 99% 이상 줄이는 획기적인 기술을 개발, 고성능 AI를 스마트폰에서도 실행할 수 있는 수준으로 만들었다.

POSTECH 기계공학과·화학공학과·전자전기공학과·융합대학원 노준석 교수 연구팀이 중국 칭화대 선전 국제대학원, 하얼빈공대, 홍콩시티대 연구팀과 수행한 이번 연구는 ‘네이처 커뮤니케이션즈(Nature Communications)에 최근 게재됐다.

 스마트폰으로 영화를 보고, 내비게이션으로 길을 찾는다. 이 모든 과정에는 ‘신호 처리’가 필요하다. 그런데 이 신호는 단순히 세기뿐 아니라 '언제 도달하는가'라는 타이밍 정보, 즉 '위상'을 함께 갖고 있다. 이를 표현하기 위해 ‘실수’와 ‘허수’로 이루어진 ‘복소수’라는 수학적 개념이 사용되며, 이를 활용한 ‘복소값 신경망’이 홀로그램, 무선 통신, 레이더 영상 분석 등 첨단 분야에서 주목받고 있다. 위상 정보까지 정밀하게 처리할 수 있어 훨씬 더 풍부한 표현이 가능하기 때문이다.

 하지만 복소값 신경망은 계산량이 매우 많아 스마트폰 같은 소형 기기에서는 사용하는 데 한계가 있었다. AI 모델을 가볍게 만드는 ‘양자화’ 기술이 있지만, 기존 방식은 실수 기반 신경망을 기준으로 설계되어 복소값 신경망에 적용하면 위상 정보가 흐트러지는 등 성능이 떨어졌다. 특히, 홀로그램처럼 위상에 민감한 기술에서는 아주 작은 오차도 화질 저하로 이어졌다.

 

 

연구팀은 복소수를 이루는 ‘실수부’와 ‘허수부’를 따로 처리하지 않고 동시에 고려하는 '공동 양자화(real-imaginary joint quantization)' 기법을 고안했다. 기존에는 복소수를 두 개의 숫자로 나눠 각각 압축하는 과정에서 두 값 사이의 관계가 깨지며 위상 정보가 틀어졌는데, 연구팀은 두 요소를 하나로 묶어 처리해 이러한 문제를 줄였다. 여기에 중요한 부분에는 높은 정밀도를 유지하고 덜 중요한 부분은 과감히 줄이는 '적응형 혼합 정밀도 학습' 전략도 더했다. 사진을 저장할 때 주인공 얼굴은 고화질로, 배경은 저화질로 압축하는 것과 비슷하다.

홀로그램 실험 결과, 기존 최첨단 모델(HoloNet) 대비 연산량은 99.1%, 메모리 사용량은 99.8% 줄었다. AI가 해야 할 계산이 약 100분의 1로 줄고, 저장공간은 500분의 1 수준으로 줄었다는 뜻이다. 그럼에도 영상의 화질을 나타내는 지표(PSNR¹⁾)는 약 4dB(데시벨) 향상됐다. 음성·무선 신호 분류, 레이더 표적 인식 등 분야에서도 연산량을 약 85% 이상 줄이면서 정확도는 유지했다. 스마트폰에서 실행했을 때는 기존보다 최대 389배 빠른 속도를 기록하기도 했다.

노준석 교수는 “거대한 서버에서만 돌아가던 고성능 물리 연산 AI가 스마트폰이나 소형 기기 안으로 들어올 수 있다는 가능성을 처음으로 열었다”라며, “경량 AR·VR 홀로그램, 자율주행 차량 레이더, 차세대 통신망, 휴대형 의료기기까지 다양한 분야에 활용될 것”이라고 전했다. 또한, “전자기학, 열역학, 양자물리 등 계산 부담이 큰 분야 전반에서 경량 AI 활용 기반이 될 것”이라고 덧붙였다.

 한편, 이번 연구는 과학기술정보통신부·한국연구재단 중견연구자지원사업 지원으로 진행됐다.

 

▶️ DOI: https://doi.org/10.1038/s41467-026-70319-0

1. PSNR(Peak Signal-to-Noise Ratio): ‘최대 신호 대 잡음비’로 이미지가 얼마나 깨끗하게 복원됐는지 보여주는 화질 점수다.