AI가 말하다 웃고 “응응” 맞장구까지? 글자 없이 사람 목소리만 듣고 배운 블록 ‘데사(Dessa)’로 본 ‘듣는 동시에 말하는’ 음성 AI의 원리와 기존 음성 비서와 다른 점, 진짜 같은 AI 목소리 시대 우리 가족 보이스피싱 대비법을 초보도 쉽게

몇 년 된 거실 TV를 켜면 이런 일이 생기죠. 리모컨 버튼을 눌러도 한 박자 늦게 반응하고, 넷플릭스 하나 열려고 해도 ‘추천 콘텐츠’와 광고 줄이 먼저 화면을 꽉 채워요. 돈 주고 산 TV인데 왜 광고를 봐야 하나 싶기도 하고요.

요즘 해외에서는 이 문제를 AI에게 맡겨 해결하는 사람들이 늘고 있어요. 개발자 안섭 칸(Ansub Khan)은 AI 코딩 도구 ‘클로드 코드(Claude Code)’로 느려진 안드로이드 TV를 정리하고, 누구나 따라 할 수 있게 ‘TV 디톡스(TV Detox)’ 프로젝트를 공개했어요. 비슷한 시기에 또 다른 개발자 가틴(Gathin)은 부모님의 샤오미 TV에서 넷플릭스보다 광고가 먼저 뜨자 클로드 코드에 정리를 맡겼고, 이걸 ‘클린유어TV(CleanYourTV)’로 공개했죠. 더버지·안드로이드 어소리티에 이어 국내에서도 AI타임스가 10월 22일 소개했어요.

AI 음성 비서와 이야기해 본 적 있으시죠? “오늘 날씨 알려 줘”라고 말하면 잠깐 조용하다가 또박또박 대답해요. 그런데 내가 말하는 도중에 “아, 잠깐만” 하고 끼어들면 AI가 멈칫하거나 내 말을 끝까지 다 들은 뒤에야 엉뚱한 답을 하죠. 아무리 똑똑해도 ‘사람과 수다 떠는 느낌’과는 거리가 있었어요.

이번 주 미국 핀테크 회사 블록(Block)이 이 벽을 크게 넘었다는 AI를 공개했어요. 이름은 ‘데사(Dessa)’예요. 트위터 창업자로 유명한 잭 도시(Jack Dorsey)가 이끄는 회사로, 카드 단말기 ‘스퀘어’와 송금 앱 ‘캐시앱’을 만드는 곳이에요. 데사가 특별한 이유는 딱 두 가지예요. 글자(텍스트)를 한 줄도 보지 않고 사람의 대화 소리만 듣고 말을 배웠다는 것, 그리고 듣는 동시에 말할 수 있다는 것이에요. 공개된 녹음에서 데사는 말하다가 웃음을 터뜨리고, “응응”, “아하” 하고 맞장구를 치고, 상대가 영화 제목을 까먹자 대신 문장을 끝내 주기도 해요.

반응은 두 갈래로 갈렸어요. “공상과학 같다”는 감탄과 함께 “이제 보이스피싱이 감당 안 될 수준이 되겠다”는 걱정도 쏟아졌죠. 오늘은 데사가 뭔지, 기존 음성 AI와 무엇이 다른지, 그리고 진짜 사람 같은 AI 목소리가 흔해지는 시대에 우리 가족이 준비할 것까지 초보 눈높이로 차근차근 풀어 볼게요.

한눈에 보는 요약

데사는 누가, 왜 만들었을까?

데사를 만든 곳은 블록 안의 아주 작은 AI 연구실이에요. 이 연구실은 캐나다 토론토의 딥러닝 스타트업 ‘데사(Dessa)’ 출신들이 세웠어요. 스퀘어(지금의 블록)가 2020년에 인수한 회사죠. 2012년부터 딥러닝 모델을, 8년 넘게 음성 생성 모델을 만들어 온 팀이라고 소개해요. 옛 데사는 2019년 유명 팟캐스트 진행자 조 로건의 목소리를 흉내 낸 AI로 화제가 된 적도 있어요. 즉, 이번 모델 이름은 팀의 뿌리에서 따온 거예요. 연구 책임자 라가반 투라이라트남(Ragavan Thurairatnam)은 데사를 두고 “음성 분야의 GPT-3 순간”이라고 표현했어요. 챗GPT의 전신인 GPT-3가 글 AI의 가능성을 처음 크게 보여 줬듯, 음성 AI도 그런 전환점에 왔다는 뜻이에요.

블록이 밝힌 개발 이유는 세 가지예요.

기존 음성 AI와 뭐가 다를까? ‘통역 세 번’ vs ‘바로 대화’

지금 우리가 쓰는 음성 비서는 대개 세 단계를 거쳐요. ① 내 목소리를 글자로 받아 적고(음성 인식), ② 그 글자를 AI가 읽고 글자로 답을 쓴 뒤(언어 모델), ③ 그 글자를 다시 목소리로 읽어 줘요(음성 합성). 비유하면 통역사를 세 번 거쳐 대화하는 셈이에요. 시간이 걸리는 건 물론이고, 받아 적는 순간 웃음, 한숨, 떨리는 목소리, 비꼬는 말투 같은 정보가 대부분 사라져요.

데사는 소리를 듣고 바로 소리로 답하는 ‘음성-대-음성(speech-to-speech)’ 모델이에요. 블록 설명대로라면 데사가 아는 모든 것은 사람 목소리에서 왔어요. 그래서 같은 문장이라도 어느 단어에 힘을 주느냐에 따라 뜻이 달라지는 것까지 그대로 듣고 반응할 수 있다는 거예요. 예를 들어 “내가 케이크 먹었다고 안 했어”와 “내가 케이크 먹었다고 안 했어”는 글자로는 똑같지만 말로 하면 전혀 다른 뜻이죠.

‘듣는 동시에 말하기’는 왜 그렇게 어려울까?

대화 방식은 무전기와 전화로 비유하면 쉬워요. 무전기는 한 사람이 버튼을 누르고 말하는 동안 상대는 듣기만 해야 해요. 이걸 반이중(half-duplex)이라고 해요. 전화는 둘이 동시에 말하고 들을 수 있죠. 이게 전이중(full-duplex)이에요. 우리가 친구와 수다를 떨 때 “응”, “헐”, “진짜?” 하고 끼어드는 건 전화 방식이라 가능한 거예요.

데사는 실제 사람들의 대화를 들으며 언제 끼어들고 언제 “응, 그렇구나” 하고 맞장구(백채널)를 칠지까지 배웠다고 해요. 공개된 녹음에는 이런 장면들이 있어요.

블록이 강조한 숫자도 있어요. 말 한 단어를 소리로 저장하면 같은 단어를 글자로 저장할 때보다 수천 배 많은 데이터가 필요해요. 게다가 같은 문장을 두 번 말해도 소리 데이터는 매번 달라요. 그런데도 데사는 거대 언어 모델(LLM)보다 수백 배 적은 단어 양으로 말을 배웠고, 학습도 엔비디아 GB200 NVL72 랙 한 대로 해냈다고 해요. 블록은 “LLM은 C++ 같은 프로그래밍 언어까지 배워야 하니까 공정한 비교는 아니다”라는 농담도 덧붙였어요.

내 노트북에서 돌아간다는 건 어떤 의미일까?

블록은 데사가 맥북 프로 M4 맥스 또는 그 이상에서 돌아간다고 밝혔어요. 수백만 원대 고성능 노트북이긴 하지만, 거대한 데이터센터가 아니라 개인 컴퓨터 한 대로 실시간 대화가 된다는 건 꽤 큰 의미예요. 장점과 단점이 같이 있어요.

지금 써 볼 수 있을까? 현재 상태 정리

여기서 하나 기억해 두면 좋은 습관이 있어요. 회사가 직접 고른 시연은 대개 가장 잘된 장면이에요. 실제 성능은 외부 연구자들이 써 보고, 일반에 공개된 뒤에야 제대로 알 수 있어요. 더버지가 지적한 ‘호날두 착각’처럼 어색한 순간도 분명 있고요. 감탄은 하되, “아직 검증 전”이라는 꼬리표를 붙여 두는 게 좋아요.

사람들은 어떻게 반응했을까? 감탄과 걱정

진짜 같은 AI 목소리 시대, 우리 가족이 준비할 것

데사 자체는 아직 공개되지 않았지만, 목소리를 흉내 내는 AI 기술은 이미 여기저기 퍼져 있어요. 짧은 영상 속 목소리 몇 초만으로 비슷한 목소리를 만드는 도구도 있죠. 데사 같은 기술이 보여 주는 건, 앞으로는 목소리가 진짜 같을 뿐 아니라 대화까지 자연스러워진다는 점이에요. 예전 보이스피싱은 말이 어색하거나 질문에 엉뚱하게 답해 눈치챌 수 있었는데, 앞으로는 울먹이며 맞장구치고 내 질문에 즉석으로 반응하는 사기 전화가 나올 수 있어요.

그래서 기술을 ‘알아보는’ 것보다 목소리만으로 믿지 않는 습관을 가족이 함께 만드는 게 중요해요.

앞으로 무엇이 달라질까? 기대와 숙제

특히 한국어 사용자에게 중요한 질문은 “한국어도 이렇게 될까?”예요. 데사는 사람 대화 녹음으로 배우기 때문에, 한국어를 잘하려면 대량의 한국어 대화 녹음이 필요해요. 블록도 “새 언어를 얼마나 효율적으로 배우는지”를 앞으로의 연구 질문으로 꼽았어요. 아직 답은 없지만, 글 대신 소리로 배우는 방식이 통한다면 글 자료가 적은 언어나 사투리에서 새로운 가능성이 열릴 수도 있어요.

자주 묻는 질문

마무리: 목소리는 더 사람다워지고, 확인은 더 꼼꼼해져야

데사를 한 줄로 줄이면 “아기처럼 듣기만 해서 말을 배운 AI가, 사람처럼 웃고 끼어들며 대화하기 시작했다”예요. 언젠가 외로운 어르신의 말벗이나 아이의 영어 선생님이 될 수도 있는 반가운 기술이에요. 동시에 ‘목소리 = 그 사람’이라는 오래된 믿음이 흔들리는 순간이기도 해요. 오늘 저녁 가족 단톡방에 “우리 가족 확인 암호 하나 정하자”고 한 줄 남겨 보는 건 어떨까요? 🎙️