[목 근육의 미세한 움직임으로 음성 복원하는 기술 개발]

 

 

소리 없이 말해도 들린다. 목 근육의 미세한 움직임을 빛으로 읽고, AI를 이용해 실제 목소리로 되살리는 기술이 발표됐다.

 POSTECH IT융합공학과·기계공학과·전자전기공학과·융합대학원 박성민 교수, 기계공학과 홍성욱 박사 연구팀이 수행한 이번 연구는 현지 기준 지난 3월 23일 사이언스(Science) 파트너 저널 의공학 분야 학술지인 ‘사이보그 및 바이오닉 시스템(Cyborg and Bionic Systems)’ 온라인판에 소개됐다. 

 연구의 출발점은 사람이 말할 때 목 주변에서 일어나는 작은 변화에 있다. 소리를 만드는 건 성대만이 아니다. 발화할 때마다 목 주변 근육과 피부도 함께 움직이며, 그로 인해 피부 위에는 눈에 보이지 않는 '움직임 지도'가 그려진다. 연구팀은 바로 이 미세한 움직임 속에 사람이 말하려는 정보가 담겨 있다는 점에 주목했다.

 이 정보를 읽어내기 위해 연구팀은 ‘다축 변형 매핑(Multiaxial strain mapping)¹⁾ 센서’를 개발했다. 부드러운 실리콘 소재 위에 기준이 되는 작은 점들(marker)과 소형 카메라를 결합한 이 센서는 목에 간편하게 착용할 수 있고, 피부의 아주 미세한 움직임까지 정밀하게 포착한다. 착용 위치와 조임 정도를 개인에 맞게 조절할 수 있고, 재착용 시 발생할 수 있는 오차를 자동으로 보정하는 알고리즘을 적용하여 일상 환경에서도 안정적으로 작동한다.

 센서가 수집한 움직임 패턴은 AI가 분석한다. 사용자가 말하려는 단어나 문장을 추정하고, 개인의 음성 특징을 학습한 음성 합성 기술과 결합해 실제 목소리로 재생한다. 소리를 내지 않아도 '말'을 읽고 음성으로 되돌려주는 것이다.

 기존의 음성 복원 기술은 ‘근전도’나 ‘뇌파’ 등 생체신호를 활용했지만, 장비가 복잡하고 착용이 불편해 일상생활에서 쓰이기 어렵다는 한계가 있었다. 연구팀은 웨어러블(wearable) 형태의 센서로 이 문제를 해결했으며, 주변 소음이 심한 공장과 같은 환경에서도 높은 정확도로 음성을 재구성할 수 있음을 실험을 통해 확인했다.

 

 

 활용 범위도 넓다. 성대 질환이나 후두 수술로 목소리를 잃은 환자의 의사소통 보조는 물론, 마이크나 무전기 없이 소통이 가능한 산업 현장용 기술, 더 나아가 도서관이나 회의실에서 소리 없이 대화하는 '조용한 커뮤니케이션'까지 다양한 분야로의 응용이 기대된다.

 연구를 이끈 POSTECH 박성민 교수는 "이 기술로 발성 장애 환자들이 자신의 목소리를 되찾는 날을 앞당길 수 있기를 바란다"라며, "발성 장애 환자는 물론, 주변 소음이 심한 공장이나 산업 현장, 나아가 소리 없는 대화까지 응용 범위가 넓다는 점에서 주목할 만한 기술"이라고 전했다.

 한편, 이 연구는 교육부 박사과정연구장려금사업, 중견연구사업, 과학기술정보통신부 바이오의료기술개발사업, 미래유망융합기술파이오니어사업 지원으로 수행됐다.

 

▶️ DOI: https://spj.science.org/doi/10.34133/cbsystems.0536

1. 다축 변형 매핑(Multiaxial strain mapping): 기존 변형률 센서가 1개 축의 움직임만 감지할 수 있었던 한계를 넘어, 2축 이상의 다각도 변형을 동시에 측정해 표면의 변화를 입체적인 '맵(Map)' 형태로 구현하는 기술입니다.