말 한마디에 비가 내리고 등장인물이 대답하는 가상 세계? 구글 ‘지니 4’로 본 ‘월드 모델’의 원리와 영상 AI·게임과의 차이, 제미나이가 ‘감독’ 맡는 방식과 2분 한계·써 보는 시기를 초보도 쉽게

게임 속을 걸어 다니다가 “비 오게 해 줘”라고 입력하면, 몇 초 뒤 정말 하늘이 흐려지고 빗소리가 들린다면 어떨까요? 거기에 길 가던 사람이 내 행동에 맞춰 말을 걸어온다면요? 구글 딥마인드가 미국 시간 10월 27일(한국 시간 28일 새벽) 공개한 ‘지니 4(Genie 4)’가 바로 이런 걸 보여 주는 AI예요. AI타임스도 28일 아침 이 소식을 전했어요.

지니 4는 영상 AI도, 게임도 아닌 ‘월드 모델(World Model)’이라는 조금 낯선 종류의 AI예요. 오늘은 ① 월드 모델이 뭔지, ② 지니 4에서 무엇이 새로워졌는지, ③ 제미나이가 ‘감독’을 맡는다는 게 무슨 뜻인지, ④ 아직 못 하는 것과 언제 써 볼 수 있는지를 초보 눈높이로 차근차근 풀어 볼게요.

무슨 일이 있었나요? 한눈에 보기

먼저 기초: ‘월드 모델’이 뭐예요?

월드 모델은 세상이 어떻게 움직이는지 배운 AI예요. 공을 던지면 떨어지고, 바람이 불면 풀이 눕고, 사람이 다가오면 옆 사람이 돌아보는 식의 ‘세상의 규칙’을 많은 영상으로 익힌 다음, 내가 움직일 때마다 “그다음 장면”을 예측해서 새로 그려 내요.

여기서 중요한 차이가 있어요. 게임은 개발자가 미리 만들어 둔 지도와 건물 안을 돌아다니는 거고, 영상 AI는 완성된 영상을 한 편 뽑아 주는 거예요. 반면 월드 모델은 미리 만들어 둔 공간이 없어요. 내가 왼쪽으로 돌면 그 순간 왼쪽 풍경을 새로 그려 내는 거죠.

지니 4, 무엇이 새로워졌나요?

구글은 지니 4의 변화를 크게 네 가지로 정리했어요. 하나씩 예시와 함께 볼게요.

① 말로 장면을 실시간으로 바꾸기

키보드로 이동하고 카메라 시점을 돌리면서, 중간에 글로 “날씨를 바꿔 줘”, “카메라를 옮겨 줘”, “새 사람(사물)을 등장시켜 줘” 같은 명령을 넣을 수 있어요. 그러면 제미나이가 이 명령을 지금 장면의 상황에 맞게 다듬어서 자연스럽게 이어지도록 해 줘요. 명령을 넣지 않는 사이에도 제미나이가 장면을 지켜보며 세계가 어색하지 않게 흘러가도록 관리한대요.

② 더 진짜 같은 물리와 사람

바람에 날리는 움직임(공기역학)이나 물체끼리 부딪히는 장면 등을 더 그럴듯하게 표현해요. 구글이 가장 크게 좋아졌다고 강조한 부분은 사람이에요. 등장인물이 자연스럽게 걷고, 주변 상황에 반응하고, 실시간으로 방향을 바꿔 움직이도록 조종할 수도 있다고 해요. 공개된 예시에는 단풍나무 씨앗이 풀밭에 떨어지는 접사 장면, 1980년대 일본 시골 기차역에 승객이 북적이는 장면 등이 있었어요.

③ 소리와 대화까지 함께 생성

지니 4는 구글의 실시간 월드 모델 중 처음으로 소리를 직접 만들어 내요. 숲에서는 나뭇잎 사이 바람 소리, 해변에서는 파도 소리, 그리고 배경 음악까지요. 구글이 ‘진짜 도전’이라고 표현한 건 사람 말소리예요. 등장인물이 내 행동이나 세계 속 사건에 맞춰 대화하고 반응한대요. 따로 녹음해서 덧붙이는 게 아니라, 화면과 동시에 생성된다는 점이 핵심이에요.

④ 제미나이와 손잡고 ‘여러 단계 사건’ 시뮬레이션

이 부분은 바로 아래에서 자세히 풀어 볼게요. 간단히 말하면, 제미나이가 감독, 지니 4가 화가 역할을 나눠 맡아요.

제미나이가 ‘감독’을 맡는다는 게 무슨 뜻이에요?

월드 모델의 오래된 약점은 ‘앞뒤가 안 맞는 것’이에요. 장면 하나하나는 그럴듯해도, 여러 단계로 이어지는 일(예: 컵을 집어 → 물을 따르고 → 내려놓기)을 차례대로, 원인과 결과가 맞게 보여 주기는 어렵죠.

그래서 구글은 제미나이 3.8 플래시를 ‘안내 에이전트’로 붙였어요. 지니 4가 영상과 소리를 실시간으로 만드는 동안, 제미나이는 계속 장면을 지켜보면서 목표를 여러 단계로 나누고, 새로 나온 화면을 보며 각 단계가 제대로 됐는지 확인해요. 이용자가 끼어들거나 상황이 바뀌면 그 자리에서 계획을 고쳐요. 겉모습과 행동을 진짜 세상처럼 잡아 주는 데는 제미나이 옴니의 능력이 쓰였다고 해요.

로봇 실험이 특히 흥미로워요. 구글은 제미나이 4 아르곤이 앱트로닉의 휴머노이드 로봇 ‘아폴로’가 체커 게임을 두는 일을 단계로 나누고, 지니 4가 그 단계를 가상 세계에서 실시간으로 그려 내는 장면을 공개했어요. 진짜 로봇을 움직이기 전에, 여러 상황을 가상으로 먼저 시험해 볼 수 있는 길을 보여 준 거예요.

지니 3와 비교하면 얼마나 달라졌나요?

참고로 구글은 올해 1월 지니 3를 바탕으로 한 체험 도구 ‘프로젝트 지니’를 내놨는데, AI타임스에 따르면 당시 게임 엔진 회사 유니티 주가가 20% 안팎, 게임 플랫폼 로블록스 주가가 10% 넘게 떨어지기도 했어요. “글만으로 게임 공간을 만드는 시대가 오면 기존 게임 개발 방식이 바뀔 것”이라는 전망 때문이었죠.

이걸 어디에 쓸 수 있을까요?

구글은 영화·언론·교육·게임·공학 분야 시험 이용자들과 함께 써 봤다며, 이런 활용 사례를 소개했어요.

테크크런치에 따르면 구글 연구진은 브리핑에서 아이디어를 빨리 쏟아내야 하는 기획·스토리보드 단계에서 ‘실시간’이라는 점이 가장 쓸모 있다고 설명했어요. 다만 최종적인 제품 형태가 어떻게 될지는 아직 정해지지 않았다고 강조했대요.

아직 못 하는 것: 구글이 직접 밝힌 한계

구글은 지니 4를 ‘아직 초기의, 발전 중인 연구’라고 분명히 했어요. 직접 밝힌 한계는 이래요.

가짜 영상 걱정은 없나요?

진짜 같은 화면과 목소리가 실시간으로 나온다니, 걱정되는 게 당연해요. 구글은 두 가지 안전장치를 밝혔어요.

워터마크가 있어도, SNS에서 보는 영상이 진짜인지 매번 확인하기는 어려워요. 앞으로 ‘너무 실감 나는 영상’일수록 출처부터 확인하는 습관이 더 중요해질 거예요.

월드 모델 경쟁, 구글만 하는 게 아니에요

즉, 소리를 내거나 실시간으로 조작하는 것 자체는 지니 4만의 기능은 아니에요. AI타임스 분석처럼, 구글의 차별점은 제미나이의 추론 능력을 월드 모델에 실시간으로 연결했다는 점과 로봇 연구까지 묶을 수 있다는 점이에요.

나는 언제, 어떻게 써 볼 수 있나요?

한국에서 언제 쓸 수 있는지는 이번 발표에 따로 나오지 않았어요. 당장 써 볼 수 없더라도, 구글 딥마인드 블로그의 공개 영상(소리를 켜고 보면 지니 4가 만든 소리까지 들을 수 있어요)을 보면 감을 잡기 좋아요.

초보를 위한 실전 체크리스트

자주 묻는 질문

Q. 지니 4로 게임을 만들어 팔 수 있나요?
A. 아직은 어려워요. 지금은 소수 시험 이용자용 연구 미리보기이고, 장면 유지 시간도 약 2분이에요. 게임 아이디어를 빠르게 시험하는 용도로 소개됐어요.

Q. 지니 4와 구글 ‘비오(Veo)’는 뭐가 달라요?
A. 비오는 글·그림·영상을 넣으면 소리까지 들어간 고화질 영상 클립을 만들어 주는 영상 생성 AI예요. 지니 4는 그 안을 직접 돌아다니고 실시간으로 바꿀 수 있는 ‘세계’를 만들어요. 보는 영상 vs 들어가는 세계라고 생각하면 쉬워요.

Q. 왜 구글은 이걸 ‘AGI(범용 인공지능)로 가는 중요한 단계’라고 하나요?
A. 세상을 이해하고 시뮬레이션하는 능력이 있어야, 로봇이나 AI 에이전트를 안전하게 훈련시킬 끝없이 다양한 연습장을 만들 수 있기 때문이라고 설명했어요.

Q. 화질은 얼마나 좋아요?
A. 구글은 이번에 해상도·프레임 수 같은 구체적인 수치를 공개하지 않았어요. ‘이전보다 훨씬 사실적’이라고만 밝혔어요.

자주 헷갈리는 말 정리

마무리: ‘보는 AI’에서 ‘들어가는 AI’로

지금까지 AI 영상은 ‘다 만들어진 걸 보는 것’이었다면, 지니 4는 그 안에 들어가서 움직이고, 말로 바꾸고, 소리를 듣는 경험을 보여 줬어요. 동시에 2분이라는 짧은 시간, 슬쩍 바뀌는 물건들, 읽히지 않는 글자처럼 아직 갈 길도 분명해요.

오늘 하나만 기억해 주세요. 월드 모델은 ‘즉석에서 세상을 그려 주는 빠른 화가’이고, 지니 4에서는 제미나이가 그 화가 옆의 감독이 됐다는 것. 실제로 써 볼 수 있게 되면 모릭월드에서 다시 쉽게 풀어 드릴게요.