회의 녹음 1시간, AI가 ‘누가 무슨 말 했는지’까지 받아 적는다? 엔비디아 무료 공개 ‘네모트론 3.5 트랜스크라이브’로 본 받아쓰기 AI의 원리와 한국어로 되는 것·안 되는 것, 녹음 맡기기 전 4가지 매너를 초보도 쉽게

회의가 끝나고 녹음 파일을 다시 들으며 회의록을 정리해 본 적 있으신가요? 1시간짜리 녹음이면 받아 적는 데만 두세 시간이 훌쩍 가고, 여러 명이 동시에 말한 부분은 “이건 누가 한 말이더라?” 하며 몇 번이고 되감게 되죠. 강의 녹음, 인터뷰, 유튜브 영상 자막도 마찬가지예요.

엔비디아가 10월 28일(미국 현지 시각, 한국 시각 29일) 바로 이 일을 겨냥한 AI를 누구나 무료로 내려받을 수 있게 공개했어요. 이름은 ‘네모트론 3.5 트랜스크라이브(Nemotron 3.5 Transcribe)’. 녹음을 글로 받아 적는 것은 물론, 누가 말했는지 구분하고, 영어로(또는 영어에서) 번역하고, 녹음 내용에 대한 질문에 답하는 일까지 모델 하나로 해요. 국내에서는 AI타임스가 29일 “오픈 모델 최고 정확도”라는 제목으로 이 소식을 전했고요.

반가운 건 한국어가 가장 잘하는 ‘최상위(Leading)’ 등급에 들어 있다는 점이에요. 오늘은 ① 무엇이 나왔는지, ② ‘받아쓰기 AI’가 어떻게 작동하는지, ③ 한국어로는 어디까지 되는지, ④ 일반인은 어떻게 써 볼 수 있는지, ⑤ 녹음을 AI에 맡길 때 지킬 매너까지 초보 눈높이로 차근차근 정리해 볼게요.

무슨 일이 있었나요? 한눈에 보기

‘받아쓰기 AI’, 예전 것과 뭐가 다를까요?

예전의 음성 인식은 대체로 ‘들리는 대로 적는 기계’였어요. 회사가 처음에 정해 둔 규칙대로만 적었죠. 예를 들어 “이만 오천 원”을 “25,000원”으로 적을지 “이만 오천 원”으로 적을지는 이용자가 고를 수 없었어요. 또 누가 말했는지 가려내려면 ‘화자 분리’라는 별도 프로그램을 한 번 더 돌려야 했고요.

네모트론 3.5 트랜스크라이브는 여기에 챗GPT 같은 ‘언어 두뇌(대형 언어 모델)’를 붙였어요. 그래서 말로 지시할 수 있어요. 같은 회의 녹음이라도 이렇게 부탁하는 문장에 따라 결과가 달라지는 거죠.

엔비디아 설명에 따르면 실제로 의료 녹음 실험에서 지시문을 더 정확하게 쓰는 것만으로 단어 오류율이 30.8%에서 23.8%로 줄었고, 그 분야 녹음으로 추가 학습(파인튜닝)을 하자 새로운 화자 기준으로 오류가 45.8% 더 줄었다고 해요. ‘어떻게 부탁하느냐’가 결과를 바꾸는, 요즘 AI다운 특징이에요.

어떻게 작동하나요? 귀·목소리 구별·두뇌, 3단 구조

구조를 아주 쉽게 풀면 세 부품이 한 몸으로 묶여 있다고 보시면 돼요.

특히 화자 정보가 ‘두뇌’에 처음부터 함께 들어가서, 글을 쓰는 도중에 “여기서부터는 화자2”라고 바로 표시할 수 있어요. 예전처럼 받아 적기를 다 끝낸 뒤 나중에 화자를 덧붙이는 방식보다, 여러 명이 겹쳐 말하는 부분에 강하다는 게 엔비디아의 설명이에요.

‘340억 개인데 43억 개만 쓴다’는 말의 뜻

이 모델의 전체 매개변수(AI의 ‘뇌세포’ 같은 숫자)는 약 340억 개인데, 실제로 한 번에 움직이는 건 약 43억 개뿐이에요. ‘전문가 혼합(MoE)’이라는 방식인데요, 큰 병원에 의사가 많아도 환자 한 명을 볼 때는 그 분야 전문의 몇 명만 들어오는 것과 비슷해요. 덕분에 덩치에 비해 빠르고 전기도 덜 써요. 엔비디아는 서버용 GPU 한 장으로 100시간 분량 녹음을 3분 안에 처리했다고 밝혔어요(앞으로 나올 경량 버전 기준).

성적은 어느 정도인가요?

음성 인식 실력은 보통 ‘단어 오류율(WER)’로 매겨요. 100단어를 받아 적었을 때 몇 단어를 틀렸는지를 뜻해서, 숫자가 낮을수록 잘하는 거예요. 한국어처럼 띄어쓰기 단위가 애매한 언어는 글자 기준인 ‘글자 오류율(CER)’을 써요.

한국어로는 어디까지 되나요?

엔비디아가 공개한 ‘언어별 지원표’를 보면 한국어는 영어·프랑스어·독일어 등과 함께 가장 높은 ‘최상위(Leading)’ 등급이에요. 별도 추가 학습 없이도 최고 수준에 가깝다는 뜻이죠. 같은 표에서 일본어는 한 단계 아래 ‘실사용 가능(Production-ready)’, 중국어(만다린)는 ‘지원(Supported)’ 등급이었어요.

참고로 실시간 받아쓰기가 필요한 개발자를 위해 엔비디아는 별도의 작은 실시간용 모델(네모트론 3.5 ASR 스트리밍, 약 6억 개 매개변수)도 허깅페이스에 올려 두었어요. 이 모델 역시 한국어를 바로 쓸 수 있는 언어로 분류해 두었어요. 다만 오늘 소개하는 트랜스크라이브와는 다른, 더 단순한 모델이에요.

그럼 나는 어떻게 써 볼 수 있나요?

솔직히 말씀드리면, 이 모델을 집 컴퓨터에서 직접 돌리기는 아직 어려워요. 엔비디아가 기준으로 든 장비가 데이터센터용 GPU(H100 80GB) 한 장이거든요. 지원 목록에 일반 소비자용으로는 최고급 그래픽카드(RTX 5090)가 올라 있고, 노트북·소형 PC에서 돌릴 수 있는 가벼운 버전은 “곧 나온다”고 했어요. 그래서 지금 일반인이 만날 수 있는 길은 크게 세 가지예요.

③번이 특히 의미가 커요. 병원 진료 녹음이나 법률 상담처럼 밖으로 내보내기 곤란한 녹음도, 공개 모델이면 회사 안 컴퓨터에서만 처리할 수 있거든요. 엔비디아도 “오디오를 어디서 처리할지 개발자가 고를 수 있다”는 점을 장점으로 내세웠어요.

다른 받아쓰기 방법과 비교하면?

정리하면, 지금 당장 개인이 쓰기에는 이미 쓰고 계신 녹음 앱이나 회의록 서비스가 여전히 편해요. 이번 발표의 진짜 의미는 “최고 수준의 다국어 받아쓰기 AI가 무료로 풀렸다”는 데 있어요. 앞으로 국내외 앱들이 이 모델을 가져다 쓰면서 받아쓰기 품질은 올라가고 가격은 내려갈 가능성이 커진 거죠.

왜 하필 지금, 엔비디아가 무료로 풀었을까요?

테크크런치는 이번 공개를 두고 “음성 AI가 대세(Voice AI in vogue)”라고 표현했어요. 회의 기록과 의료 받아쓰기는 기업이 AI를 가장 먼저, 가장 많이 쓰는 분야 중 하나예요. 엔비디아 입장에서는 모델을 무료로 풀어 많이 쓰이게 할수록 그 모델을 돌리는 자사 GPU가 더 팔리는 구조예요. 모델 설명서에도 “엔비디아 GPU에서 가장 잘 돌도록 최적화했다”고 적혀 있어요.

녹음을 AI에 맡기기 전, 꼭 지킬 4가지

자주 묻는 질문

마무리: ‘받아 적는 시간’이 줄어드는 시대

네모트론 3.5 트랜스크라이브는 당장 내 스마트폰에 깔리는 앱은 아니에요. 하지만 한국어를 최상위 수준으로 받아 적고, 누가 말했는지까지 가려내는 AI가 무료로 공개됐다는 건 우리가 매일 쓰는 회의록·자막·강의 노트 서비스가 조만간 더 좋아질 거라는 신호예요. 그때를 위해 오늘 기억해 두실 건 딱 두 가지예요. 녹음 전에는 알리고, 결과는 원본과 대조하기. 이 두 습관만 있으면 받아쓰기 AI를 훨씬 안심하고 쓰실 수 있을 거예요.