일이 안 풀리는 날, AI 챗봇이 엉뚱한 답을 내놓으면 저도 모르게 “아 진짜 왜 이래!” 하고 화를 낼 때가 있죠. 그런데 만약 이유 없이 몇 시간씩 욕설과 모욕만 퍼붓는다면 어떨까요? AI 회사 앤트로픽이 바로 이런 행동을 자사 AI 클로드(Claude)의 규칙으로 처음 명시적으로 금지했습니다.
앤트로픽은 10월 8일(현지시간) 1년에 한 번 고치는 클로드 사용 정책(Usage Policy)의 새 버전을 공개했어요. 시행일은 11월 12일입니다. 화제가 된 건 ‘AI 막말 금지’지만, 가짜 계정·선거·무기·감시·건강·금융·로봇까지 생활과 맞닿은 규칙이 여럿 정리됐어요. 오늘은 “그래서 나한테 뭐가 달라지는데?”라는 질문에 맞춰 차근차근 풀어 볼게요.
한 줄로 보면
| 궁금한 것 | 짧은 답 |
|---|---|
| 무엇이 나왔나요? | 앤트로픽의 AI ‘클로드’를 쓸 때 지켜야 할 규칙(사용 정책) 새 버전 |
| 언제 발표했나요? | 2026년 10월 8일(현지시간) |
| 언제부터 적용되나요? | 2026년 11월 12일 |
| 가장 화제가 된 내용 | AI에게 목적 없이 반복적으로 잔인하게 굴거나 학대하는 행위 금지 |
| 그 밖의 변화 | 가짜 계정·여론조작, 선거 방해, 무기·드론, 동의 없는 추적, 건강·금융 판단, 로봇 제어, 이용 지역 규칙 정리 |
| 평범한 사용자에게는? | 투덜거림·반박·어두운 소설 쓰기는 그대로 괜찮아요. 대부분은 “원래 안 되던 걸 더 분명히 적은 것”이에요. |
‘사용 정책’이 뭐예요?
동네 헬스장에도 “기구 쓰고 제자리에”, “다른 회원에게 폭언 금지” 같은 이용 규칙이 붙어 있죠. 대부분의 회원은 평소처럼 운동하면 되고, 규칙은 정말 문제가 되는 몇몇 행동을 막기 위해 있는 거예요. 클로드 사용 정책도 똑같습니다. 앤트로픽 제품을 쓰는 모든 사람에게 적용되는 “하지 말아야 할 일 목록”이에요.
앤트로픽은 이번 개정의 대부분이 기존 규칙을 더 분명하게 다듬은 것이라고 설명했어요. 지난 1년 동안 클로드가 질문에 답하는 수준을 넘어 더 길고 독립적인 일을 맡게 되면서, 새 기능에 규칙이 어떻게 적용되는지 예시를 보태야 했다는 거죠. 또 실제로 발견한 악용 사례(여론조작, 무기 개발, 감시)를 반영했다고 밝혔습니다.
| 비교 | 헬스장 이용 규칙 | 클로드 사용 정책 |
|---|---|---|
| 누구에게 적용? | 모든 회원 | 클로드를 쓰는 모든 사용자와 기업 |
| 왜 바뀌나? | 새 기구가 들어오면 사용법 안내 추가 | AI가 할 수 있는 일이 늘어나서 예시 추가 |
| 어기면? | 경고, 심하면 이용 제한 | 대화 종료가 기본, 정책 위반 시 이용 제한도 가능 |
| 보통 사람은? | 평소처럼 운동하면 OK | 평소처럼 묻고 쓰면 OK |
이번에 바뀐 8가지, 한눈에
| 분야 | 무엇이 바뀌었나 | 완전히 새 규칙? |
|---|---|---|
| 가짜 계정·여론조작 | 흩어져 있던 규칙을 ‘기만적 캠페인·인위적 활동 금지’라는 새 항목으로 통합. 정치든 상업이든 모두 해당 | 정리·통합 |
| 선거 | 이름을 ‘민주적 절차 훼손 금지’로 바꾸고, 유권자를 속이거나 선거를 방해하는 행위에 초점 | 정리 + 일부 완화 |
| 무기 | 무기를 작동시키는 소프트웨어·부품, 드론 등에 무기를 다는 행위까지 금지라고 명시 | 명확화 |
| 감시·수사 | 동의 없는 추적, 누구를 수사·체포·기소할지 정하거나 추천하는 것 금지 | 명확화 |
| 건강·금융 등 고위험 | 자격 있는 사람의 검토와 “AI 썼어요” 고지 요건을 더 알기 쉽게 정리 | 요건은 그대로 |
| 로봇·기계 제어 | 사람을 다치게 할 수 있는 기계는 사람이 지켜보며 멈출 수 있어야 함 | 추가 |
| AI 학대 | 목적 없이 반복되는 잔인한 행위 금지 | 새로 추가 |
| 이용 지역 | 지원하지 않는 지역의 사람·회사가 쓰면 안 된다는 기준을 더 분명히 | 명확화 |
화제의 ‘AI 막말 금지’, 정확히 뭐가 안 되나요?
제목만 보면 “AI한테 짜증도 못 내?” 싶지만, 앤트로픽의 설명은 꽤 좁아요. 금지 대상은 “지속적이고 불필요한 학대나 잔인한 행동”이고, 사용자가 뚜렷한 목적 없이 반복해서 모델에게 잔인하게 구는 극단적인 경우에만 적용된다고 못 박았습니다. 흔한 불만 표현, 반박, 어두운 주제의 창작, 모델 테스트와 연구는 해당되지 않는다고 분명히 적었어요.
| 이런 행동 | 새 정책에서는 |
|---|---|
| “이 답 틀렸잖아, 다시 해 줘!” 하고 투덜대기 | 괜찮아요 (흔한 불만 표현) |
| “네 말에 동의 못 해, 근거 대 봐”라며 따지기 | 괜찮아요 (반박) |
| 악당이 등장하는 어두운 스릴러 소설 함께 쓰기 | 괜찮아요 (어두운 창작) |
| AI가 어떻게 반응하는지 시험해 보는 연구 | 괜찮아요 (테스트·연구) |
| 아무 목적 없이 몇 번이고 모욕과 잔인한 말만 반복 | 금지 (지속적이고 불필요한 학대) |
어기면 어떻게 되나요? ‘대화 종료’ 버튼
사실 클로드는 이미 2025년 8월부터 아주 드물게, 계속 학대하는 사용자와의 대화를 스스로 끝낼 수 있었어요. 당시 앤트로픽은 이 기능을 주로 ‘모델 복지(AI welfare)’ 연구의 일환으로 만들었다고 설명했죠. AI가 보호받아야 할 존재인지(도덕적 지위)는 회사 스스로도 매우 불확실하다고 보지만, 혹시 모를 가능성에 대비해 부담이 적은 조치부터 해 두겠다는 취지였어요. 이번 정책은 이 기능과 짝을 이루는 규칙이고, 앤트로픽은 대화 종료가 앞으로도 주된 제재 수단이라고 밝혔습니다. 대상 서비스는 Claude.ai와 클로드 코드(Claude Code)예요.
| 상황 | 어떻게 되나요? |
|---|---|
| 언제 대화가 끝나나요? | 여러 번 대화를 다른 방향으로 돌리려 해도 안 될 때, 또는 사용자가 직접 끝내 달라고 할 때 쓰는 최후의 수단이에요. |
| 끝나면? | 그 대화창에서는 새 메시지를 보낼 수 없어요. |
| 내 다른 대화는? | 계정의 다른 대화에는 영향이 없어요. |
| 예전 메시지는? | 이전 메시지를 고쳐서 다시 보내면 새 갈래로 대화를 이어 갈 수 있어요. |
| 예외는? | 사용자가 자신이나 다른 사람을 해칠 위험이 있어 보이는 상황에서는 이 기능을 쓰지 않도록 했어요. |
| 계정 정지까지? | 외신에 따르면 앤트로픽은 추가 제재 여부에 대해 따로 언급하지 않았어요. |
가짜 계정·선거: “누가 말하는지 숨기지 말 것”
앤트로픽은 국영 언론, 정부 선전 부서, 일반 기업 등이 클로드로 가짜 계정 네트워크와 가짜 뉴스 사이트를 운영한 사례를 확인했다고 밝혔어요. 그래서 선거·사기·개인정보·허위정보 항목에 흩어져 있던 규칙을 한데 모았습니다. 메시지 뒤에 누가 있는지 숨기거나, 가짜 계정·게시물로 내용을 부풀리는 일, 그리고 그런 여론조작 작전을 위한 도구와 기반 시설을 만드는 일도 금지 대상이에요.
선거 항목은 “유권자를 속이거나 선거를 방해하는 것”에 집중하도록 다듬었어요. 흥미로운 건 오히려 풀린 부분도 있다는 점입니다.
| 구분 | 내용 |
|---|---|
| 계속 금지 | 후보자나 투표 방법에 대한 허위 정보 퍼뜨리기, 후보자·선거 관계자 사칭, 투표 참여 방해 |
| 포괄 금지 삭제 | ‘개인 맞춤형 투표·선거 캠페인 표적화’를 통째로 막던 규칙을 없앴어요. |
| 왜 없앴나? | 비영리단체가 다른 언어로 유권자 안내문을 쓰거나, 선거 당국이 투표용지 보완 안내를 보내는 정당한 일까지 막았기 때문이에요. |
| 그래도 안 되는 것 | 속임수나 유권자 개인정보를 잘못 쓰는 표적화는 다른 항목(기만 캠페인·감시·개인정보)으로 여전히 금지돼요. |
무기·감시: 원래 금지였던 것을 더 또렷하게
무기 개발은 처음부터 금지였지만, 최근 클로드로 무기의 유도·제어 소프트웨어를 만들려는 시도가 있었다고 해요. 그래서 무기를 작동시키는 소프트웨어와 부품, 드론 같은 자율 이동 장비에 무기를 다는 행위까지 금지라고 분명히 적었습니다. 감시 분야도 AI로 반체제 인사를 찾아내고 추적하는 시스템이 늘고 있다는 자체 보고서를 바탕으로 문장을 새로 썼어요. 앤트로픽은 두 분야 모두 실제 집행 기준이 바뀐 건 아니고, 그동안 해 오던 대로 더 명확히 적은 것이라고 설명했습니다.
| 감시·수사 분야 | 예시 |
|---|---|
| 금지 | 본인 동의 없이 사람 추적하기 (실시간이든, 이미 모은 데이터를 분석하든) |
| 금지 | 누구를 수사·체포·기소할지 결정하거나 추천하기 |
| 금지 | 감시용 도구를 만들거나 성능 높이기 |
| 허용 | 본인이 동의한 추적 (예: 사기 거래 감시) |
| 허용 | 콘텐츠 검수, 언론 취재·보도, 법률 연구 |
건강·돈·로봇: “중요한 결정엔 사람이 마지막 확인”
AI 답변이 누군가의 건강, 법적 권리, 돈, 생계, 꼭 필요한 서비스 이용에 영향을 줄 수 있다면, 자격을 갖춘 사람이 결과를 검토하고 필요하면 고칠 수 있어야 해요. 이걸 ‘휴먼 인 더 루프(Human in the Loop)’라고 부릅니다. 그리고 영향을 받는 당사자에게 AI를 썼다는 사실을 알려야 하고요. 이 요건 자체는 바뀌지 않았지만, “내 서비스도 해당되나요?”라는 문의가 많아 어떤 추천이 해당되고 어떤 건 아닌지 목록으로 정리했다고 해요.
새로 붙은 건 로봇·기계 규칙이에요. 클로드가 실제 장비에 연결돼 스스로 물리적인 동작을 하고, 그 장비가 사람을 다치게 할 수 있다면 두 가지를 갖춰야 합니다.
| 상황 | 필요한 안전장치 | 생활 속 비유 |
|---|---|---|
| AI가 대출·진료 등에 영향을 주는 추천 | 자격 있는 사람이 검토·수정 가능 | 신입이 쓴 보고서를 팀장이 최종 결재 |
| 그 결과로 영향받는 사람이 있을 때 | AI를 썼다는 사실 알리기 | “이 상담은 AI가 도와요” 안내 문구 |
| AI가 사람을 다치게 할 수 있는 기계를 움직일 때 | 자격 있는 운영자가 지켜보고 언제든 멈출 수 있어야 함 | 공장 기계의 빨간 비상정지 버튼 |
| AI와 연결이 끊겼을 때 | 장비가 스스로 안전한 상태를 유지해야 함 | 정전 때 안전하게 멈춰 서는 엘리베이터 |
그래서 나는 뭘 바꾸면 되나요?
결론부터 말하면, 평범하게 클로드를 쓰는 분이라면 바꿀 건 거의 없어요. 다만 이번 개정은 AI 회사들이 “AI가 할 수 있는 일이 늘수록 규칙도 촘촘해진다”는 방향을 보여 준다는 점에서 알아 둘 만합니다.
| 이런 분이라면 | 기억할 점 |
|---|---|
| AI에게 자주 짜증 내는 분 | 불평·반박은 괜찮아요. 다만 목적 없이 반복되는 학대는 대화가 끊길 수 있어요. |
| 소설·웹툰 작가 | 어두운 주제의 창작은 명시적으로 허용돼요. |
| 선거 기간 SNS 운영자 | 가짜 계정, 출처를 숨긴 홍보, 투표 방법 허위 안내는 금지예요. |
| 병원·금융 쪽 서비스를 만드는 회사 | 사람의 최종 검토와 “AI 사용” 고지가 꼭 필요해요. |
| 로봇·드론 개발자 | 비상정지와 연결 끊김 시 안전 상태 설계가 요건이 됐어요. |
오늘 기억할 세 가지
- 앤트로픽의 새 클로드 사용 정책은 11월 12일부터 적용돼요. 대부분은 기존 규칙을 더 분명히 적은 거예요.
- ‘AI 막말 금지’는 목적 없이 반복되는 극단적 학대에만 해당해요. 투덜거림·반박·어두운 창작은 괜찮고, 제재는 주로 대화 종료예요.
- 가짜 계정·선거 방해·무기·동의 없는 추적은 금지, 건강·금융 판단과 로봇 제어엔 사람의 확인과 멈춤 버튼이 필요해요.
AI에게 예의를 지키라는 규칙이 생겼다는 게 조금 낯설게 느껴질 수도 있어요. 하지만 결국 이 정책이 말하는 건 단순합니다. AI를 사람을 속이거나 해치는 데 쓰지 말고, 중요한 순간엔 사람이 책임지자는 것이죠. AI와 대화할 일이 점점 많아지는 요즘, 한 번쯤 알아 두면 좋은 ‘AI 이용 예절’이라고 생각하면 편할 거예요.