[아이뉴스24 정종오 기자] 입 모양만으로 상대의 말을 알아들을 수 있는 기술이 나왔다. 한국과학기술원(KAIST) 연구팀이 확실한 단어부터 읽고 헷갈리는 부분은 앞뒤 문맥으로 풀어내는 인공지능(AI) 기술을 내놓았다. 시끄러운 소리에 묻힌 말을 문자로 전달하거나 청각장애인·난청인의 대화를 돕는다. 소리에 의존하지 않는 소통 기술로 활용될 수 있다.
웨어러블 기기나 로봇에서 인터넷 연결 없이 실시간으로 작동하도록 후속 연구를 진행하고 있다.
KAIST(총장 배충식) 전기및전자공학부 노용만 교수 연구팀이 입술 움직임을 보고 말을 문자로 바꾸는 ‘시각적 음성 인식(Visual Speech Recognition, VSR)’ 정확도를 높이는 기술을 개발했다. 연구팀은 문장의 빈칸을 반복해서 채워나가는 ‘확산 대형 언어 모델(Diffusion Large Language Model, DLLM)’을 활용해 입 모양이 모호한 부분을 앞뒤 문맥으로 해독했다.
입 모양만으로 말을 알아듣기는 쉽지 않다. 서로 다른 소리도 입술 움직임이 비슷해 구별하기 어렵다. 기존에 널리 쓰이던 AI는 문장을 첫 단어부터 순서대로 만들어 앞부분에서 잘못된 단어를 선택하면 그 오류가 뒤따르는 문장에도 영향을 줄 수 있었다.
연구팀은 ‘처음부터 순서대로 읽기’를 ‘확실한 부분부터 읽기’로 바꿨다. 입술 움직임이 분명한 단어를 먼저 알아내고 그 단어들을 단서로 남은 부분을 해독했다. 퍼즐에서 모양이 분명한 조각부터 맞추고 주변 조각을 채우는 것과 비슷하다. 문장의 앞뒤 정보를 함께 살피며 모호한 부분을 점차 풀어낸다.
학습 방식도 달리했다. 영상 속 입술 움직임과 글자 내용을 연결하도록 가르친 뒤 문장의 길이를 학습하도록 두 단계를 나눴다. 실제 말을 해독할 때는 영상 길이를 바탕으로 가능한 문장 길이를 여러 개 추정했다. 그 결과를 비교해 더 신뢰할 만한 문장을 선택하도록 했다.
연구팀은 433시간 분량의 입 모양 영상 데이터셋 ‘LRS3’를 정답이 제공되는 학습 데이터로 활용해 단어 오류율 19.4%를 기록했다. 단어 오류율은 정답 문장과 비교해 단어를 잘못 인식하거나 빠뜨리거나 추가한 정도를 나타낸다. 낮을수록 성능이 좋다. 이번 결과는 LRS3만 정답이 붙은 학습 데이터로 사용한 기존 방법들 가운데 가장 낮은 오류율이다.
이번 기술은 소리가 잘 들리지 않는 환경에서 입 모양을 문자로 전달하는 의사소통 보조 기술에 활용될 수 있다. 기계 소음이 큰 산업 현장에서 작업자의 말을 파악하거나 청각장애인·난청인의 대화를 돕는 기기로 발전시킬 수 있다. 청각장애인과 난청인의 정보 접근성을 높이는 무음성 의사소통 기기 상용화에 핵심 역할을 할 것으로 기대된다.
연구팀은 앞으로 AI 모델의 크기와 연산량을 줄여 다양한 기기에 적용하는 연구를 이어갈 계획이다. 웨어러블 기기나 로봇에서 인터넷 연결 없이 실시간으로 작동하도록 하는 것이 다음 연구 과제이다.
노용만 교수는 “이번 연구는 인공지능이 단어를 생성하는 순서를 유연하게 제어하는 것만으로도 시각적 모호성을 지닌 음성 인식의 근본적 한계를 극복할 수 있음을 입증했다는 데 의미가 있다”며 “실제 생활과 산업 현장의 다양한 기기에서 신뢰하고 사용할 수 있는 물리적 인공지능(Physical AI)의 기반을 마련할 것”이라고 말했다.
이번 연구에는 KAIST 전기및전자공학부 여정훈 박사후연구원이 제1저자로, 김채원·라형섭 박사과정 연구원이 공저자로, 노용만 교수가 교신저자로 참여했다. 논문(논문명: Diffusion Large Language Models for Visual Speech Recognition)은 자연어 처리 분야의 주요 국제학술대회인 ‘EMNLP 2026’에서 우수논문상(Outstanding Paper Award)을 받았다.
/정종오 기자(ikokid@inews24.com)