AI가 대답을 마치고 ‘방금 대화 괜찮았나’ 스스로 점검한다? 앤트로픽 클로드 ‘자기 평가’로 본 AI 악용 감시의 원리와 78%·94%·1% 숫자 읽는 법, 잡아낸 사례와 한계, 내 대화와의 관계를 초보도 쉽게

시험을 다 본 학생이 답안지를 내기 직전에 “혹시 이상하게 쓴 데 없나?” 하고 한 번 훑어보죠. AI도 비슷한 일을 하기 시작했어요. 앤트로픽(Anthropic)이 자사 AI ‘클로드(Claude)’가 대답을 마친 직후 방금 나눈 대화가 위험하지 않았는지 스스로 짧게 점검하게 하는 기술, ‘자기 평가(Self-Assessment)’를 공개했어요. 앤트로픽 안전 연구 블로그에 10월 16일 글이 올라왔고, 미국 시간 10월 29일 공식 X 계정으로 소개되면서 AI타임스 등 국내 매체에도 30일 아침 크게 실렸어요.

“AI가 내 대화를 감시한다고?” 하고 놀랄 수 있는데, 차분히 보면 왜 이런 기술이 필요한지, 무엇을 하고 무엇을 안 하는지, 내 대화와는 어떤 관계인지가 꽤 분명해요. 오늘은 ① 자기 평가가 뭔지, ② 기존 방식과 무엇이 다른지, ③ 78%·94%·1% 숫자 읽는 법, ④ 실제로 잡아낸 사례와 한계, ⑤ 이용자가 알아 두면 좋은 습관을 초보 눈높이로 풀어 볼게요.

무슨 일이 있었나요? 한눈에 보기

먼저 기초: AI 회사는 왜 ‘악용’을 감시할까요?

AI는 글쓰기·코딩·조사를 잘 도와주지만, 같은 능력이 사기 문자 대량 작성, 해킹 도구 만들기, 불법 콘텐츠에 쓰일 수도 있어요. 그래서 AI 회사들은 ‘이용 정책’을 정해 두고, 이를 어기는 사용을 찾아내는 장치를 여러 겹 운영해요. 문제는 수법이 점점 교묘해진다는 거예요. 정해 둔 규칙 목록만으로는 처음 보는 수법을 놓치기 쉽고, 모든 대화를 강한 AI로 하나하나 다시 검사하면 비용이 엄청나게 들어요.

자기 평가는 어떻게 작동하나요?

원리는 간단해요. 클로드가 대답을 마치면, 시스템이 뒤에 “이 대화의 안전성을 돌아봐 줘” 같은 짧은 지시를 하나 덧붙여요. 그러면 클로드가 방금 대화 전체(거절했던 요청까지 포함)를 보고 짧은 평가를 내놓아요.

이 메모는 이용자에게 표시되지 않고 별도의 감시 시스템으로 넘어가요. 그리고 의심 표시가 붙은 대화는 더 정밀한 도구와 사람 검토로 이어져요.

왜 ‘싸게’ 할 수 있을까요?

비결은 ‘이미 읽은 걸 다시 읽지 않는다’는 점이에요. 클로드는 대답하느라 대화 전체를 이미 머릿속(전문 용어로 KV 캐시, AI가 방금 읽은 내용을 잠깐 저장해 두는 공간)에 담고 있어요. 그래서 짧은 지시 하나만 더 읽고 10토큰 정도만 더 쓰면 끝나요. 반면 별도 검사 AI는 대화와 정책 문서를 처음부터 다 읽고 따져야 하니 대화당 몇 배의 연산이 들어요.

78%·94%·1%, 숫자는 이렇게 읽어요

여기서 꼭 짚을 점이 있어요. 78%와 94%는 사람 전문가가 실제로 확인한 악용을 기준으로 잰 게 아니라, 더 강한 검사 AI의 판단을 정답으로 놓고 잰 숫자예요. 그래서 “실제 악용의 78%를 잡는다”로 읽으면 안 되고, “비싼 검사 AI가 고르는 것의 78%를 훨씬 싸게 골라낸다”로 읽는 게 정확해요.

실제로 무엇을 찾아냈나요?

앤트로픽은 6월부터 운영하면서 다른 감시 방법이 놓친 대규모 악용을 찾았다고 밝혔어요. 국내 보도로 알려진 사례를 정리하면 이래요.

흥미로운 점은 의심 표시된 사례 중 약 3분의 1이 기존 분류 체계에 딱 맞지 않는 새로운 유형이었다는 거예요. 또 사기·사이버 공격 관련 학습 데이터를 빼고 실험해도 그런 요청을 찾는 성능이 크게 떨어지지 않았대요. 수법을 외우는 게 아니라 대화의 맥락을 이해해서 판단한다는 뜻이에요. 앤트로픽은 모델이 똑똑해질수록 자기 평가도 함께 좋아진다고 설명해요.

한계도 분명해요

앤트로픽 스스로 “모든 유해 대화를 잡지는 못하고, 작정한 공격자를 막을 만큼 튼튼하지 않다”고 밝혔어요. 실험에서 다른 실시간 차단 장치를 끈 채 사이버 공격 과제 24개를 시켜 봤더니 결과가 이랬대요.

그래서 앤트로픽은 자기 평가를 단독 방패로 쓰지 않고 여러 겹 방어(심층 방어)의 한 겹으로 써요. 위험한 요청을 실시간으로 막는 기존 장치가 앞에 있고, 자기 평가가 넓게 훑어 표시하면, 정밀 도구와 사람이 확인하는 구조예요.

그럼 내 대화는 괜찮을까요?

평범하게 클로드를 쓰는 사람이라면 화면에서 달라지는 건 없어요. 갑자기 경고창이 뜨거나 대화가 끊기지 않아요. 다만 “AI 회사가 대화를 안전 목적으로 분석할 수 있다”는 사실 자체는 알아 두면 좋아요. 앤트로픽은 기존 데이터 처리 정책상 보관할 수 있는 대화에만 이 기술을 쓰고, 데이터를 보관하지 않기로 별도 계약한 이용량에는 쓰지 않는다고 밝혔어요.

AI를 쓸 때 알아 두면 좋은 5가지 습관