공룡 발소리도 AI가 '쿵쿵'10초 만에 '뚝딱'

뉴스투데이이교선

Your browser doesn't support HTML5 video.

◀ 앵커 ▶

영상 특성을 분석해서, 자동으로 효과음을 만들어주는 AI 기술을, 국내 연구진이 개발했습니다.

어떤 원리인지 이교선 기자가 취재했습니다.

◀ 리포트 ▶

뼈 부러지는 건 셀러리로, 긴박한 말발굽 소리는 코코넛으로 냅니다.

영화 한 편에 들어가는 효과음만 5천여 개.

그동안은 소리로 화면에 생명을 불어넣는 효과음 전문가, 폴리아티스트의 몫이었습니다.

이제 실감 효과음도 AI가 만듭니다.

KAIST와 포스텍, 소니 AI 공동 연구진은 영상 속 물체의 무게와 속도를 AI가 추론해 효과음을 만드는 ′파바스′를 개발했습니다.

1세대 AI 효과음이 화면 속 사물의 형태나 움직임 정도만 반영했다면, 물체의 무게와 속도 등을 종합 추론해 소리의 크기와 질감까지 다르게 표현합니다.

[오현빈/포스텍 통합과정 연구원]
″추정된 물리량을 음향 생성 모델에 집어넣음으로써 좀 더 이제 물리적으로 그럴듯한 소리를 영상으로부터 생성하는…″

AI가 먼저 영상 속 물체를 분석해 질량과 속도 정보를 추론한 뒤 10초 만에 효과음을 만드는 겁니다.

실제 몸집이 작아 날쌘 공룡 ′랩터′와 달리, 거대한 초식공룡 브라키오사우루스의 발소리는 느리면서도 묵직함을 구현합니다.

같은 버스 충돌 장면도 속도에 따라 충돌 파장을 다르게 전달합니다.

[오태현/KAIST 전산학부 교수]
″노동력으로 소리 효과를 만들어내는 그런 작업들을 굉장히 많이 하시는데 그분들 일의 품질을 올려드리고 그다음에 보조도구로서의 큰 역할을…″

연구팀은 이번 기술이 영화 등의 후반 작업과 가상현실 속 몰입형 콘텐츠는 물론, 딥페이크 영상 등 조작된 콘텐츠를 판별하는 기술로도 확장될 수 있을 것으로 기대했습니다.

MBC뉴스 이교선입니다.

공룡 발소리도 AI가 '쿵쿵'‥10초 만에 '뚝딱'