네이버 검색, 세계적 자연어처리 학회서 논문 4편 발표

[아이뉴스24 정유림 기자] 네이버는 세계 최고 권위 자연어처리(NLP) 학회인 자연어처리방법론학회(EMNLP) 2024에서 검색 기술 관련 정규 논문이 채택되는 성과를 거뒀다고 18일 밝혔다.

올해로 28회차를 맞은 EMNLP는 북미컴퓨터언어학학회(NAACL), 전산언어학학회(ACL)와 함께 자연어처리 분야에서 전 세계 최고 인공지능(AI) 학회로 꼽힌다. AI 번역, 챗봇, 기계 독해 등 언어 데이터 기반 자연어처리 접근법에 대한 다양한 연구를 다룬다.

올해 EMNLP는 오는 11월 12일부터 16일까지 미국 플로리다에서 진행된다. 네이버는 이 자리에서 검색 기술 관련 연구를 포함해 채택된 논문 4편을 발표할 예정이다.

생성형 AI 검색 서비스인 '큐(CUE:)'에 적용된 알고리즘에 대한 연구 논문의 경우, 소규모 언어 모델(SLM)을 사용하는 모듈식 접근법을 통해 유해 질의를 탐지하고 적절한 답변을 제공할 수 있는 학습 메커니즘을 연구했다.

네이버는 연구 성과를 지난해 11월 서비스에 적용해 활용하고 있다. 예를 들어 범죄·유해 등 불법 정보나 저작권법, 사생활 침해, 개인정보 유출, 욕설·비속어 등과 관련한 질의를 판별해 무분별한 답변이 제공되지 않도록 한다.

네이버는 향후 이 기술을 활용해 질의와 검색 결과의 적합성 판단력을 높여 고품질 콘텐츠 노출을 확대하고 신뢰도 높은 출처의 답변을 상단에 노출해 검색 서비스 품질을 강화할 방침이다.

통합검색 결과 상단에 검색어와 연관된 주요 정보를 요약해 제공하는 '지식스니펫' 서비스에서 정보를 추출할 때 글(텍스트)을 비롯해 리스트, 테이블 등 복잡한 형태의 정보(스니펫)까지 AI가 효과적으로 처리하는 기술에 관한 논문도 발표한다.

이 기술은 내년 상반기 적용을 목표로 한다. 이로써 길고 복잡한 검색어에도 정확히 답변하는 비율을 높여 이용자가 원하는 정보를 빠르게 확인할 수 있도록 할 방침이다.

초거대 언어 모델(LLM)의 문서 랭킹(순위) 능력을 sLLM(초거대 언어 모델 중 상대적으로 작은 규모의 모델)에 이식해 검색 서비스에 적용하는 방법에 관한 논문도 채택됐다. 이용자가 원하는 결과를 실시간으로 제공해야 하는 검색 서비스에서 속도 저하 없이 품질을 낼 수 있는 기술을 고안해 제안한 것이다.

네이버는 논문에서 소개된 모델을 지난 6월 통합검색 서비스에 적용해 길고 복잡한 질의의 맥락에 더 적합한 문서를 결과로 제공할 수 있게 됐다. 기술 적용 후 문서 클릭률(CTR)이 4.3%, 체류 시간이 3% 증가하는 등의 효과를 거둔 것으로 나타났다.

김광현 네이버 검색·데이터 플랫폼 부문장은 "이번 연구를 통해 국내 검색 시장을 선도해 온 네이버의 검색 기술을 세계 무대에서도 인정받은 것"이라며 "앞으로도 개선된 검색 정확도와 생성형 AI 실험을 바탕으로 경쟁력 있는 검색 서비스를 선보일 것"이라고 밝혔다.