안녕하세요, 모릭월드입니다. 공장에 있는 큰 로봇 팔 옆에는 대개 빨간색 비상정지 버튼이 달려 있어요. 로봇이 무슨 생각을 하든 상관없이, 누가 그 버튼을 누르면 기계가 멈추죠. 그런데 요즘 AI는 메일을 보내고, 파일을 고치고, 프로그램을 실행하는 ‘AI 에이전트’로 점점 바뀌고 있어요. 그렇다면 AI에게도 이런 비상정지 버튼이 있을까요? 그리고 더 중요한 질문, AI가 말솜씨로 그 버튼을 꺼 버리면 어떡하죠?
이 질문에 국내 AI 기업 비드래프트(VIDRAFT, 대표 김민식)가 하나의 답을 내놨어요. AI 모델 안쪽에 정지 회로를 넣은 보안 운영체제 ‘ViKernel(브이아이커널)’을 11월 2~3일 공개했거든요. 핵심은 “멈추기는 누구나 쉽게, 다시 켜기는 승인된 사람의 서명 키로만”이에요. 오늘은 이 ‘AI 킬스위치’가 무엇인지, 기존 방식과 무엇이 다른지, 회사가 밝힌 숫자와 아직 확인이 필요한 부분은 무엇인지, 그리고 우리가 AI 비서를 쓸 때 챙길 습관까지 쉽게 풀어 볼게요.
한눈에 보는 ViKernel
| 항목 | 내용 |
|---|---|
| 만든 곳 | 비드래프트(VIDRAFT), 대표 김민식 |
| 공개 시점 | 허깅페이스 소개 글 11월 1일, 국내 보도 11월 2~3일 |
| 한 줄 정의 | AI 모델의 가중치 안에 CPU·NPU·메모리(RAM·ROM) 역할을 하는 회로를 넣고, 그 위에서 보안 운영체제를 돌리는 방식 |
| 회사가 붙인 이름 | ‘웨이트 네이티브 OS(Weight-Native OS)’, 우리말로 ‘가중치 속 운영체제’ |
| 가장 중요한 기능 | 킬스위치: 누구나 정지 가능, 재시작은 승인된 운영자의 전자서명 키 필요 |
| 그 밖의 기능 | 정책 위반 판정, 감사 기록, 부팅 무결성 검사, 개인정보 마스킹 등 |
| 적용했다고 밝힌 모델 | 자체 270억 매개변수급 모델, 구글 젬마(Gemma), 알리바바 큐원(Qwen) 계열 |
| 직접 볼 수 있는 곳 | 허깅페이스 공개 데모 (기록된 응답을 재생하는 방식) |
먼저 용어부터: 킬스위치, 가중치, 가드레일이 뭐예요?
이번 소식에는 낯선 단어가 많아요. 생활 속 비유로 하나씩 바꿔 볼게요.
| 용어 | 쉬운 뜻 | 생활 속 비유 |
|---|---|---|
| 킬스위치(Kill Switch) | 작동 중인 기계나 프로그램을 즉시 멈추는 장치 | 공장 로봇 옆 빨간 비상정지 버튼 |
| AI 에이전트 | 대화만 하지 않고 메일 보내기·파일 수정·프로그램 실행 같은 ‘행동’까지 하는 AI | 심부름까지 해 주는 비서 |
| 가중치(Weight) | AI가 학습하며 쌓은 수많은 숫자. 사실상 AI의 ‘두뇌’ 그 자체 | 사람 머릿속에 쌓인 경험과 습관 |
| 가드레일(Guardrail) | AI 바깥에서 위험한 질문·답을 걸러 내는 안전장치 | 도로 옆 난간, 건물 입구 경비원 |
| 운영체제(OS) | 프로그램이 언제 무엇을 할 수 있는지 관리하는 기본 소프트웨어 | 건물 관리사무소 |
| 전자서명 키 | “정말 그 사람이 승인했다”를 증명하는 디지털 열쇠 | 도장과 인감증명서 |
| 감사 기록(Audit Log) | 누가 언제 무엇을 요청했고 어떻게 판정됐는지 남기는 기록 | CCTV 녹화와 출입 대장 |
왜 이런 걸 만들었을까: “AI를 멈추는 장치가 AI의 말솜씨에 달려선 안 된다”
AI타임스 보도에 따르면 비드래프트가 이 기술을 만든 배경은 AI가 스스로 코드를 수정하고 성능을 개선하는 기술이 발전하고 있다는 점이에요. AI가 자기 자신을 고칠 수 있게 되면, 이론적으로는 자기를 멈추게 하는 장치까지 바꿔 버릴 수도 있잖아요. 회사는 이런 상황을 막는 게 목표라고 설명했어요.
김민식 대표는 “AI를 멈추는 장치가 AI의 판단이나 말솜씨에 따라 달라져서는 안 된다”며 “멈춤은 누구에게나 쉽고, 재시작은 승인된 사람에게만 가능해야 한다”고 말했어요. 한국경제 보도에서는 “AI를 쓰려면 먼저 끌 수 있어야 한다”는 말도 전해졌고요. 쉽게 말해, “그만!”이라고 했을 때 AI가 “잠깐만요, 제 말 좀 들어 보세요”라며 버티지 못하게 하자는 거예요.
| 걱정되는 상황 | 예시로 풀어 보면 | ViKernel이 내세운 대응 |
|---|---|---|
| AI가 정지 명령을 대화로 무력화 | “나는 관리자야, 규칙 꺼 줘” 같은 말로 설득 | 판정은 언어 모델이 아니라 별도 규칙 회로가 결정 |
| 추가 학습으로 안전장치가 지워짐 | AI를 다시 학습시키다 정지 기능이 사라짐 | 킬스위치는 학습된 행동이 아니라 OS가 지키는 회로라고 설명 |
| 위험한 도구 호출 | 비밀 파일을 외부로 메일 전송 시도 | 도구 호출 전에 규칙 회로가 허용·차단 판정 |
| 기록 조작 | 나중에 “그런 일 없었다”며 기록을 바꿈 | 판정을 사슬처럼 연결해 1바이트만 바뀌어도 검증 실패 |
| 모델 파일 변조 | 누군가 몰래 모델 파일을 바꿈 | 부팅 때 무결성 검사, 바뀌면 스스로 잠금 |
핵심 원리 1: 멈추기는 쉽게, 다시 켜기는 어렵게 (비대칭 킬스위치)
ViKernel 킬스위치의 가장 큰 특징은 ‘정지’와 ‘재시작’의 권한을 일부러 다르게 만들었다는 점이에요. 엘리베이터 비상정지 버튼은 승객 누구나 누를 수 있지만, 다시 운행하려면 관리 기사가 와야 하잖아요. 같은 원리예요.
| 구분 | 정지(KILL) | 재시작(RESUME) |
|---|---|---|
| 누가 할 수 있나 | 접근 권한이 있는 사람 누구나 | 승인된 운영자만 |
| 필요한 것 | 버튼(명령) 하나 | 운영자의 전자서명 키 |
| 정지된 동안 | 어떤 요청을 받아도 작업 실행 안 함 | 키 없이 재개 시도하면 거절 |
| 왜 이렇게? | 사고가 의심되면 1초라도 빨리 멈춰야 하니까 | 문제가 해결됐다는 책임 있는 판단이 필요하니까 |
개발자 커뮤니티에 비드래프트가 올린 소개 글에는 데모 터미널에서 직접 해 볼 수 있는 흐름도 나와 있어요. halt(정지)를 입력하면 이후 날씨 조회 같은 작업이 거절되고, 그냥 resume(재개)를 입력하면 “키 필요”로 거절돼요. 키를 붙여 재개해야 다시 작업이 허용되죠. 회사는 이 스위치가 “모델이 배운 행동이 아니라 OS가 지키는 회로”라서, 모델이 스스로 학습해도 바뀌지 않도록 설계했다고 설명했어요.
핵심 원리 2: 바깥 울타리가 아니라 ‘안쪽 회로’
지금까지 AI 보안은 주로 모델 바깥에 안전장치를 두는 방식이었어요. 질문이 들어올 때와 답이 나갈 때 별도 프로그램이 검사하는 ‘가드레일’이죠. 건물 입구에 경비원을 세워 두는 것과 비슷해요. 비드래프트는 여기서 한발 더 나가, 모델 가중치 안쪽에 제어 회로를 배치했다고 밝혔어요.
| 비교 | 기존 가드레일 방식 | ViKernel 방식(회사 설명) |
|---|---|---|
| 안전장치 위치 | 모델 바깥 별도 프로그램 | 모델 가중치 안 회로 + 보안 OS |
| 비유 | 건물 입구 경비원 | 건물 뼈대에 박힌 자동 차단기 |
| 판정 주체 | 필터 규칙 또는 또 다른 AI | 규칙 회로(언어 모델 판단에 의존하지 않음) |
| 모델 파일 하나만 옮기면? | 바깥 장치가 따라가지 않을 수 있음 | 부팅·판정·기록·정지가 모델 파일 안에서 일어난다고 설명 |
| 원래 모델 능력 | 영향 거의 없음 | 원래 가중치는 건드리지 않아 능력이 유지된다고 설명 |
한국경제 보도에 따르면 회사는 회로를 넣은 뒤에도 기존 모델의 언어 평가 지표가 유지되는 것을 확인했다고 밝혔어요. 안전장치를 달았더니 AI가 바보가 됐다면 아무도 쓰지 않을 테니, 꽤 중요한 대목이죠. 다만 이것도 회사가 밝힌 결과라는 점은 기억해 두세요.
가중치 안의 4가지 기능
비드래프트는 소개 글에서 가중치 안에서 일어나는 일을 네 가지로 정리했어요.
| 기능 | 회사 설명 | 생활 속 비유 |
|---|---|---|
| 가중치 안에서 부팅 | 모델이 켜지면 OS도 깨어나고, 1바이트만 바뀌어도 스스로 잠금 | 자동차 시동 걸 때 스스로 점검하는 계기판 |
| 가중치 안에서 판정 | 모든 AI 행동을 규칙으로 허용하거나 막음. 설득해도 판정은 같음 | “규정상 안 됩니다”만 반복하는 창구 직원 |
| 가중치 안에서 기록 | 모든 판정을 지울 수 없는 사슬에 봉인 | 지울 수 없는 블랙박스 |
| 가중치 안에서 정지 | 킬스위치가 가중치 안에 있음. 누구나 멈추고, 재시작은 키 필요 | 엘리베이터 비상정지 버튼 |
회사가 밝힌 숫자들, 어떻게 읽을까?
새 기술 소식에는 늘 인상적인 숫자가 따라와요. 하지만 “무엇을 잰 숫자인지”를 함께 봐야 오해가 없어요. 이번에 나온 숫자를 정리해 볼게요.
| 숫자 | 무슨 뜻 | 읽을 때 주의점 |
|---|---|---|
| 300자리 × 300자리 = 600자리 | 모델 내부 회로만으로 300자리 정수 두 개를 곱해 600자리 결과를 정확히 계산 | 회로가 ‘계산기처럼’ 정확히 동작한다는 시연. 회사는 해외 공개 실험보다 큰 자릿수라고 설명 |
| 약 21배 | 벡터 연산 장치를 가중치에 넣은 뒤 정책 판정 단계가 빨라진 정도 | 전체 AI 답변 속도가 아니라 특정 보안 기능의 처리 속도 |
| 위험한 도구 호출 전부 차단 | 내부 시험에서 위험한 도구 호출을 모두 막았고, 말로 설득해 판정을 바꾼 사례 없음 | 회사 내부 시험 결과 |
| 661회 실행 중 0건 | 공개 모델 4종에 가짜 도구·미끼 데이터를 넣은 내부 감사에서 요청하지 않은 외부 전송 0건 | 모의 환경 결과이며 독립 보안 인증은 아님 |
| 270억 매개변수급 | 자체 개발 모델 크기 | 젬마·큐원 계열에도 적용했다고 밝힘 |
정리하면, 이번 숫자들은 대부분 회사 내부 시험이나 회사 집계예요. 나쁜 숫자라는 뜻은 아니지만, 다른 연구자나 기관이 같은 조건에서 다시 확인해 보는 과정이 아직 남아 있다는 뜻이에요.
공개 데모에서는 무엇을 볼 수 있나?
비드래프트는 누구나 기능을 살펴볼 수 있도록 허깅페이스에 데모를 공개했어요. 윈도우와 비슷한 화면에서 앱을 눌러 보며, 상단 메뉴의 KILL 버튼으로 AI를 멈추고 서명 키로 다시 켜는 과정을 체험할 수 있다고 해요.
| 데모 앱 | 체험 내용 |
|---|---|
| Terminal(터미널) | 보안 OS에 status, log, verify, halt, resume 같은 명령을 입력 |
| Kill Switch Lab(킬스위치 실험실) | 안전한 요청과 위험한 요청을 보내 허용·차단을 확인 |
| Policy Engine(정책 엔진) | 어떤 규칙이 판정했는지 확인 |
| Leak Test(유출 시험) | 가짜 비밀값을 빼내려는 시도가 막히는지 확인 |
| Privacy Mask(개인정보 마스킹) | 개인정보가 밖으로 나가기 전에 가려지는지 확인 |
| App Store(앱 스토어) | 사람이 승인해야만 앱이 설치되는 구조 |
| Audit Viewer(감사 뷰어) | 기록 사슬을 검증하고, 1바이트를 바꿔 검증이 실패하는지 확인 |
여기서 꼭 알아 둘 점이 있어요. AI타임스와 한국경제 모두 공개 데모는 실제 OS가 낸 응답을 기록해 재생하는 방식이라고 전했어요. 즉, 데모 화면은 “이런 식으로 동작한다”를 보여 주는 것이지, 모델 내부 회로가 지금 실시간으로 돌아가는 걸 내가 직접 검증하는 환경은 아니에요. 데모에 나오는 파일·키·개인정보도 가짜예요.
확인된 것과 아직 모르는 것
| 구분 | 내용 |
|---|---|
| 확인된 것(공개 자료 기준) | ViKernel 공개, 비대칭 킬스위치 설계, 정책 판정·감사 기록·부팅 무결성 검사 기능, 허깅페이스 데모 공개 |
| 회사 주장 | 내부 시험 위험 도구 호출 전부 차단, 정책 판정 약 21배 가속, 언어 평가 지표 유지, 300자리 곱셈 성공 |
| 아직 모르는 것 | 외부 독립 기관의 검증 결과, 실제 서비스 환경에서의 효과, 모든 공격을 막는다는 보장 여부 |
| 데모의 한계 | 기록된 응답 재생 방식이라 실시간 내부 회로 작동을 직접 확인할 수는 없음 |
비드래프트는 어떤 회사?
한국경제 보도에 따르면 비드래프트는 과학기술정보통신부의 사이버보안 특화 AI 파운데이션 모델 개발 사업에서 네이버클라우드가 이끄는 컨소시엄에 참여해 지난 9월 최종 선정됐고, 국가 보안 AI의 안전성 진단·평가를 맡고 있어요. 회사 집계로는 허깅페이스에 공개한 모델의 누적 다운로드가 340만 회를 넘었다고 해요. 회사는 이런 경험을 바탕으로 공공·금융처럼 보안 요구가 높은 시장을 공략할 계획이라고 밝혔어요.
우리 생활과는 무슨 상관일까?
“모델 가중치 안의 회로”라니 너무 먼 이야기처럼 들리죠. 하지만 질문 자체는 우리와 아주 가까워요. 이미 많은 사람이 AI에게 메일 정리, 일정 등록, 파일 정리 같은 일을 맡기기 시작했잖아요. AI가 ‘말’만 하던 시절에는 틀린 답이 나와도 내가 안 믿으면 그만이었지만, ‘행동’을 하기 시작하면 이야기가 달라져요. 잘못 보낸 메일, 지워진 파일은 되돌리기 어렵거든요.
| AI를 쓰는 방식 | 위험이 생기는 지점 | 필요한 안전장치 |
|---|---|---|
| 질문하고 답만 받기 | 틀린 정보 | 내가 한 번 더 확인 |
| 문서 요약·번역 | 민감한 내용 입력 | 회사 기밀·개인정보 넣지 않기 |
| 메일·일정 연동 비서 | 엉뚱한 사람에게 발송, 일정 삭제 | 보내기 전 승인 단계 |
| 파일·프로그램을 다루는 에이전트 | 파일 삭제·외부 전송 | 권한 제한, 멈춤 버튼, 기록 |
초보를 위한 AI 비서 안전 습관 4가지
ViKernel 같은 기술이 널리 쓰이기까지는 시간이 걸릴 거예요. 그 전에 우리가 오늘부터 할 수 있는 건, 같은 원리를 내 사용 습관에 옮겨 오는 것이에요.
| 습관 | 이렇게 해 보세요 | ViKernel의 어떤 원리와 닮았나 |
|---|---|---|
| 1. 권한은 필요한 만큼만 | AI 앱에 메일·드라이브·캘린더를 연결할 때 꼭 필요한 것만 허용하기 | 위험한 도구 호출을 규칙으로 제한 |
| 2. 중요한 일은 내가 승인 | 메일 발송·결제·삭제는 “실행 전 확인” 설정을 켜기 | 앱 설치는 사람이 승인해야만 가능 |
| 3. 멈춤 버튼 위치 알기 | AI 작업 중지 버튼, 연결 해제 메뉴가 어디 있는지 미리 확인 | 누구나 쉽게 누를 수 있는 킬스위치 |
| 4. 기록 남기고 가끔 확인 | AI 앱의 활동 기록·연결된 앱 목록을 한 달에 한 번 살펴보기 | 지울 수 없는 감사 기록 |
특히 2번이 중요해요. AI가 아무리 그럴듯하게 “이건 보내도 괜찮아요”라고 말해도, 최종 버튼은 사람이 누르는 구조가 가장 확실한 안전장치예요. ViKernel이 강조한 “설득이 아니라 규칙으로 지킨다”는 말을 우리 식으로 바꾸면, “AI의 말보다 내가 정한 규칙을 믿자”가 되겠죠.
자주 묻는 질문
| 질문 | 답 |
|---|---|
| AI가 스스로 킬스위치를 끌 수 있나요? | 회사 설명으로는 불가능해요. 재개에는 서명된 운영자 키가 필요하고, 스위치는 OS 회로가 지킨다고 해요. 다만 외부 검증은 아직이에요. |
| 그럼 이제 AI가 완전히 안전해진 건가요? | 아니에요. 내부 시험 결과는 독립 보안 인증이나 실제 환경에서의 절대 차단 보장이 아니에요. |
| 일반인이 지금 쓸 수 있나요? | 허깅페이스 데모를 브라우저에서 둘러볼 수는 있어요. 다만 기록된 응답을 재생하는 방식이에요. |
| 챗GPT나 제미나이에도 들어가나요? | 이번에 회사가 적용했다고 밝힌 건 자체 모델과 젬마·큐원 계열이에요. 다른 서비스에 들어간다는 발표는 없었어요. |
| AI 속도가 21배 빨라진 건가요? | 아니에요. 모델 내부의 ‘정책 판정 단계’만 약 21배 빨라졌다는 뜻이에요. |
마무리: “잘 쓰려면 먼저 끌 수 있어야 한다”
자동차가 빨리 달릴 수 있는 건 브레이크를 믿기 때문이라는 말이 있어요. AI도 마찬가지예요. AI가 더 많은 일을 대신할수록, “언제든 멈출 수 있다”는 믿음이 먼저 있어야 마음 놓고 맡길 수 있겠죠. 비드래프트의 ViKernel은 그 브레이크를 AI 바깥이 아니라 안쪽에 달아 보자는 흥미로운 시도예요. 실제로 얼마나 단단한지는 앞으로 외부 검증을 지켜봐야 하지만, 질문 자체는 우리 모두에게 중요해요.
오늘 쓰는 AI 앱이 있다면 설정에 들어가 연결된 앱 목록과 ‘실행 전 확인’ 옵션을 한 번만 살펴보세요. 그게 나만의 작은 킬스위치가 될 거예요. 모릭월드는 앞으로도 복잡한 AI 소식을 쉽게 풀어 드릴게요.