챗GPT나 클로드에게 뭔가를 물었는데, 답이 분명 한국어(또는 영어)인데도 한 번에 머리에 안 들어와서 두세 번 다시 읽은 경험, 있으시죠? 단어 하나하나는 다 아는데 문장이 이상하게 빽빽하고, “그래서 결론이 뭐지?” 싶을 때요. 많은 분들이 “내가 이해력이 부족한가?” 하고 넘기셨을 텐데, 그게 기분 탓만은 아니라는 연구가 나왔어요.
10월 21일 논문 공개 사이트 아카이브(arXiv)에 올라온 ‘AI가 만든 글은 왜 이렇게 이해하기 어려울까?(Why is AI-generated language so hard to understand?)’라는 논문이에요. 미국 뉴욕대(NYU)와 텍사스대 오스틴(UT Austin) 언어학 연구진이 최신 AI 14종이 쓴 대화·코딩 설명·에세이를 분석했더니, 사람이 읽을 때 부담이 큰 문장 습관이 사람 글보다 더 자주 나왔다는 내용이죠. 국내 개발자 커뮤니티 긱뉴스(GeekNews)에도 소개되며 “나만 그렇게 느낀 게 아니었구나”라는 반응을 얻었어요.
오늘은 ① 연구진이 무엇을 어떻게 쟀는지, ② AI 글에 많은 ‘읽기 어려운 습관’ 6가지, ③ 왜 똑똑해진 AI가 오히려 읽기 어렵게 쓰는지, 그리고 가장 중요한 ④ 내가 AI에게 술술 읽히는 답을 받는 요령까지 초보 눈높이로 풀어 볼게요.
최신 AI 9종은 모두 사람 글보다 ‘사물이 사람처럼 행동하는 문장’과 ‘처음 보는 단어 조합’을 더 많이 썼고, 대부분은 명사를 겹겹이 쌓거나 주어와 서술어 사이를 멀리 떼어 놓는 습관도 강했어요. 연구진은 그 이유로 “요즘 AI는 사람에게 잘 전달하는 것보다 수학·코드 정답을 짧게 맞히는 것에 맞춰 훈련받기 때문”이라는 가설을 내놓고, 작은 실험으로 그럴 수 있다는 근거를 보여 줬어요. 좋은 소식은, 부탁하는 말 한 줄로 꽤 고칠 수 있다는 거예요.
한눈에 보는 이번 연구
| 항목 | 내용 |
|---|---|
| 논문 제목 | Why is AI-generated language so hard to understand?(AI가 만든 글은 왜 이렇게 이해하기 어려울까?) |
| 연구진 | 토머스 히카루 클라크(뉴욕대), 마티아스 B. 마틴·카일 마호월드(텍사스대 오스틴) |
| 공개 | 2026년 10월 21일 아카이브(arXiv) 사전 논문(동료 심사 전) |
| 분석한 AI | 14종 — 최신·준최신 9종 + 비교용 작은 공개 모델 5종 |
| 분석한 글 | 일상 대화, 코딩(실제 깃허브 프로젝트 버그 고치기), 에세이(학생 논술 과제 7개) |
| 비교 기준 | 사람 글(영화 자막, 개발자 Q&A 사이트, 학생 에세이, 위키백과) + ‘같은 뜻을 다르게 쓴 문장’ |
| 핵심 결과 | AI 글이 사람 글보다 ‘읽기 부담이 큰 표현’을 더 자주 씀. 모델마다 차이도 큼 |
| 원인 가설 | AI가 ‘전달’보다 ‘정답·정보 밀도’에 맞춰 훈련됨 → 작은 모델 실험으로 개념 증명 |
| 한계 | 영어만 분석, 대화 주제와 코드 저장소 수가 적음 |
어떤 AI를, 어떤 글로 시험했나요?
연구진은 요즘 많이 쓰이는 AI를 골고루 골랐어요. 같은 조건을 맞추려고 모든 모델을 똑같은 실행 도구(Pi라는 오픈소스 에이전트 도구)와 똑같은 지시문으로 돌렸고, 사람 역할(질문하는 쪽)은 따로 다른 AI(클로드 소네트 4.6)가 맡았어요.
| 구분 | 모델 | 비고 |
|---|---|---|
| 앤트로픽 클로드 | 소네트 5, 오퍼스 5, 오퍼스 5.5, 페이블 5 | 최신·준최신(9종)에 포함 |
| 오픈AI GPT | GPT-5.6 루나·테라·솔 | 최신·준최신(9종)에 포함 |
| 공개 모델(준최신) | GLM-5(Z.ai), 키미 K2.5(문샷 AI) | 최신·준최신(9종)에 포함 |
| 작은 비교 모델 | 라마 3.1 8B(기본·대화형), 올모 3 7B(기본·대화형·생각형) | 학습 단계별 차이를 보려는 용도 |
| 글 종류 | 어떻게 모았나 | 사람 기준 글 |
|---|---|---|
| 일상 대화 | 주제 10개, 한 대화당 최대 12번 주고받기 | 영화·드라마 자막(OpenSubtitles) |
| 코딩 | 실제 공개 깃허브 저장소 5곳에서 버그 찾고 고치기 | 개발자 Q&A 사이트(StackExchange) |
| 에세이 | 학생 논술 과제 7개에 한 번에 답하기 | 실제 학생 에세이(PERSUADE 2.0) + 위키백과 |
‘같은 뜻, 다른 문장’으로 AI의 버릇을 골라내다
이 연구에서 재치 있는 부분이 있어요. AI 글이 어렵다면 내용(주제)이 어려워서일 수도 있잖아요? 그래서 연구진은 AI가 쓴 문장을 하나씩 영어 → 일본어 → 다시 영어로 번역기에 돌렸어요. 이렇게 ‘왕복 번역’을 하면 뜻은 그대로 두고 표현만 평범하게 바뀌는 경향이 있거든요.
예를 들어 원래 문장에 어려운 표현이 많았는데 왕복 번역 뒤에 그 표현이 줄었다면? “같은 내용을 쉽게 쓸 방법이 있었는데 AI가 굳이 어려운 쪽을 골랐다”는 뜻이 돼요. 결과는 예상대로였어요. 거의 모든 최신 모델에서 왕복 번역 뒤 ‘드문 단어 조합’, ‘사물 주어’, ‘명사를 동사로 쓰기’ 같은 표현이 줄었어요.
| 단계 | 하는 일 | 알 수 있는 것 |
|---|---|---|
| 1. AI 원문 | AI가 쓴 영어 문장 그대로 | AI의 원래 문체 |
| 2. 영어→일본어 | 번역 AI(NLLB-200)로 일본어로 옮김 | 뜻만 남기고 표현을 바꿀 준비 |
| 3. 일본어→영어 | 다시 영어로 옮김 | 같은 뜻의 ‘평범한 문장’ |
| 4. 비교 | 1번과 3번에서 어려운 표현 개수 비교 | 1번이 더 많으면 AI가 ‘골라서’ 어렵게 쓴 것 |
AI 글에 유독 많은 ‘읽기 어려운 습관’ 6가지
논문 첫머리에는 일부러 AI처럼 꼬아 쓴 예문이 나와요. 우리말로 옮기면 대략 “당신의 직감이 맞아요. 지금 읽고 있는 이 꼬인 문장은 조용히 자기 독자의 인내심 예산을 먹어 치우고 있어요 — 각주해 두세요.” 같은 느낌이에요. 어딘가 그럴듯한데 한 번에 안 읽히죠? 이 한 문장에 연구진이 측정한 습관이 여러 개 들어 있어요.
| 습관 | 쉽게 말하면 | 영어 예(논문) | 우리말로 비슷한 예 |
|---|---|---|---|
| 명사 겹쳐 쌓기 | 명사를 줄줄이 붙여 한 덩어리로 만들기 | reader-patience budget | ‘사용자 경험 개선 방향성 검토’ |
| 드문 단어 조합 | 평소 잘 안 붙여 쓰는 단어끼리 붙이기 | 낯선 2~3단어 묶음 | ‘감정의 해상도’, ‘생각의 마찰’ |
| 사물이 사람처럼 행동 | 사람 아닌 것이 주어인데 동사는 사람 행동 | a sentence … eating patience | ‘이 접근법이 당신을 지켜 줍니다’ |
| 멀리 떨어진 주어·서술어 | 주어와 동사 사이에 말이 너무 많이 끼어 있음 | 긴 문법 거리 | ‘그 계획은, 지난주 회의에서 나온 ~를 반영해, ~이다’ |
| 명사를 동사로 | 원래 명사인 말을 동사로 바꿔 쓰기 | footnote it(각주해) | ‘이건 메모화해 두세요’ |
| 연결어 생략 | 있으면 읽기 쉬운 작은 연결어를 빼고 압축 | 목적격 관계절에서 that 생략 | ‘~한 것은 ~인데’ 대신 쉼표로 이어 붙이기 |
※ 연구는 영어만 분석했어요. 오른쪽 ‘우리말로 비슷한 예’는 이해를 돕기 위해 MoricWorld가 덧붙인 예시예요.
중요한 점은 이 표현들이 문법적으로 틀린 건 아니라는 것이에요. 다만 심리언어학(사람이 말을 어떻게 이해하는지 연구하는 분야)에서 오래전부터 “읽는 사람의 기억에 부담을 준다”고 알려진 표현들이죠. 사람은 문장을 앞에서부터 차례로 읽으며 머릿속에 잠깐 붙잡아 두는데, 이런 표현이 많으면 붙잡아 둘 게 많아져서 지치게 돼요.
결과: 9종 모두 공통, 그리고 모델마다 차이
| 발견 | 내용 |
|---|---|
| 9종 공통 | 최신·준최신 9종 모두 사람 글보다 ‘사물 주어+사람 동사’와 ‘드문 단어 조합’을 더 많이 씀 |
| 대부분 공통 | 대화에서는 대부분이 주어·서술어 거리를 더 길게, 명사를 더 겹쳐, 연결어를 더 빼고 씀 |
| 작은 모델은 덜함 | 라마 모델과 올모 ‘기본’ 모델은 이런 경향이 거의 없거나 작았음 |
| 훈련할수록 심해짐 | 같은 올모 가족에서 기본 → 대화형 → 생각형(추론형)으로 갈수록 경향이 커짐 |
| 새 모델이 개선된 예 | 클로드 오퍼스 5.5는 이전 오퍼스 5보다 21개 비교 중 19개에서 ‘읽기 어려운 표현’이 적었음 |
| 에세이는 덜함 | 한 번에 쓰는 에세이보다 여러 번 주고받는 대화·코딩에서 압축 경향이 더 컸음 |
특히 ‘훈련할수록 심해진다’는 부분이 흥미로워요. 같은 뼈대의 모델인데, 그냥 많은 글을 읽힌 ‘기본’ 단계에선 사람과 비슷하게 쓰다가, 대화 훈련과 추론(생각하기) 훈련을 거칠수록 점점 빽빽한 문체로 바뀌었어요. “원래 AI가 이상하게 쓰는 게 아니라, 뒤에 받은 훈련이 문체를 바꿨다”는 단서죠.
그리고 대화가 길어질수록 압축이 심해질 수 있다는 점도 기억해 두면 좋아요. 한 창에서 오래 대화하다 보면 답이 점점 짧고 빽빽해지는 느낌을 받으셨다면, 바로 그 현상일 수 있어요.
왜 똑똑해진 AI가 더 읽기 어렵게 쓸까?
사람의 말은 수천 년 동안 “상대가 알아들었나?”라는 압력 속에서 다듬어졌어요. 너무 꼬아 말하면 상대가 못 알아들으니 자연스럽게 쉬운 표현이 살아남았죠. 그런데 요즘 AI는 마지막 훈련 단계에서 수학 문제나 코드처럼 ‘정답인지 자동으로 채점할 수 있는’ 과제를 엄청나게 풀어요. 이때 보상은 정답을 맞혔는지에 주어지지, 읽기 쉬웠는지에 주어지지 않아요. 게다가 AI가 한 번에 다룰 수 있는 글 길이(문맥 창)에는 한계가 있으니 짧게 꽉꽉 눌러 담는 쪽이 유리하죠.
| 구분 | 사람의 말 | 요즘 AI의 마지막 훈련 |
|---|---|---|
| 목표 | 상대에게 잘 전달하기 | 정답 맞히기(수학·코드·추론) |
| 누가 평가하나 | 듣는 사람 | 자동 채점기(사람은 빠져 있는 경우가 많음) |
| 짧게 쓰는 압력 | 적당히(너무 줄이면 못 알아들음) | 강할 수 있음(문맥 창 한계, 길이 비용) |
| 결과 문체 | 정보를 고르게 나눠 담음 | 정보를 한 문장에 꽉 채움 |
연구진은 이 가설을 직접 시험해 봤어요. 작은 공개 모델(큐원 2.5 1.5B)에게 ‘표 형태의 사건 정보를 영어 문장으로 바꾸기’를 시키면서, 답이 길면 점수를 깎는 규칙(길이 벌점)을 넣고 강화학습을 했죠. 정답이 되는 표현은 긴 것과 짧은 것 둘 다 있었어요(예: “I’m sure that …” 과 “I’m sure …”).
| 조건 | 결과 |
|---|---|
| 길이 벌점 없음 | 긴 표현·짧은 표현 선호가 실행마다 제각각(0%~100%), 뚜렷한 습관 없음 |
| 길이 벌점 있음(원래 모델에 묶어 두는 장치 없이) | 학습한 표현에서 짧은 쪽을 98% 넘게 고름 — 사람처럼 상황 따라 고르지 않음 |
| 길이 벌점 있음(원래 모델에 묶어 두는 장치 포함) | 더 천천히지만 역시 짧은 쪽으로 쏠림 |
| 안 배운 표현 | 훈련 때 안 나온 ‘so that’ 같은 표현에서도 that을 빼는 습관이 번짐 |
즉 “짧게 써라”라고 직접 가르치지 않았는데도, 짧을수록 점수를 주자 모델이 스스로 압축 문체를 익혔고, 그 버릇이 다른 표현으로까지 번졌다는 거예요. 물론 이건 작은 모델로 한 개념 증명이고, 대형 AI 회사들이 실제로 어떻게 훈련하는지는 공개되지 않아 직접 확인한 건 아니에요. 연구진도 “그럴 가능성이 높다는 근거”로 조심스럽게 표현했어요.
예전에는 사람이 직접 점수를 주는 훈련(RLHF) 때문에 AI 답이 장황하게 길어진다는 지적이 많았어요. 연구진은 그래서 이번 ‘압축 문체’는 사람 평가보다 자동 채점 훈련과 더 관련 있다고 봤어요. 결국 AI 문체는 ‘무엇에 상을 주느냐’에 따라 길어지기도, 빽빽해지기도 한다는 뜻이죠.
그럼 나는 어떻게 하면 될까? 술술 읽히는 답 받는 요령
AI 회사들이 고쳐 주길 기다릴 필요는 없어요. 연구에서도 클로드 오퍼스 5.5가 이전 모델보다 나아졌듯 개선은 가능하고, 우리가 부탁하는 방식만 바꿔도 꽤 달라져요. 오늘 바로 써먹을 수 있는 문장들을 정리했어요.
| 이럴 때 | 이렇게 덧붙여 보세요 |
|---|---|
| 답이 빽빽해서 안 읽힐 때 | “중학생도 이해하게, 한 문장에 한 가지 뜻만 담아서 다시 써 줘.” |
| 낯선 조어·비유가 많을 때 | “비유나 새로 만든 말 쓰지 말고 평범한 단어로 설명해 줘.” |
| 전문 용어가 많을 때 | “전문 용어는 처음 나올 때 괄호로 쉽게 풀어 줘.” |
| 결론이 안 보일 때 | “첫 줄에 결론부터 말하고, 이유는 그다음에 세 가지로.” |
| 대화가 길어져 답이 압축될 때 | 새 창을 열고 지금까지 내용을 짧게 요약해 붙인 뒤 다시 질문하기 |
| ‘이 접근법이 ~해 줍니다’ 같은 문장이 많을 때 | “주어를 사람(나, 사용자)으로 바꿔서 써 줘.” |
| 감이 안 올 때 | “일상 예시 하나만 들어 줘.” |
| 처음 받은 답(빽빽한 예) | 다시 부탁한 답(쉬운 예) |
|---|---|
| “이 전략은 리스크 노출 최소화 기반 자산 배분 최적화를 가능하게 합니다.” | “이 방법을 쓰면 돈을 여러 곳에 나눠 넣어서, 한 곳이 손해 나도 크게 잃지 않아요.” |
| “해당 설정 변경은 캐시 무효화 지연 이슈를 해소합니다.” | “이 설정을 바꾸면, 고친 내용이 화면에 늦게 반영되던 문제가 사라져요.” |
| “기존 워크플로 자동화 포인트 식별이 우선입니다.” | “먼저 매일 똑같이 반복하는 일이 뭔지 찾아보세요.” |
※ 위 예문은 이해를 돕기 위해 MoricWorld가 만든 예시이고, 논문에 실린 실제 AI 답변은 아니에요.
AI 글을 내 이름으로 쓸 때 체크리스트
요즘은 AI로 보고서·이메일·블로그 초안을 쓰는 분도 많죠. 내가 읽기 어려웠다면 받는 사람도 똑같이 어려워요. 보내기 전에 아래만 확인해 보세요.
| 확인할 것 | 왜 중요한가 |
|---|---|
| 소리 내어 한 번 읽어 보기 | 숨이 차는 문장 = 주어와 서술어가 너무 먼 문장 |
| 명사가 3개 이상 줄줄이 붙어 있나? | ‘○○ ○○ ○○ 방안’은 풀어 쓰면 훨씬 쉬워져요 |
| 사물이 주어인 문장이 많나? | ‘이 도구가 여러분을 돕습니다’ → ‘이 도구로 ~할 수 있어요’ |
| 처음 보는 멋진 표현이 있나? | 멋있어 보여도 받는 사람이 멈칫한다면 평범한 말이 나아요 |
| 결론이 첫 문단에 있나? | 읽는 사람의 시간을 아껴 줘요 |
| 숫자·사실은 원문으로 확인했나? | 문체와 별개로, AI 답의 사실 여부는 따로 확인해야 해요 |
꼭 알아 둘 한계와 주의점
| 주의점 | 설명 |
|---|---|
| 영어 연구예요 | 한국어 AI 답변에도 똑같이 나타나는지는 이번 연구로 확인되지 않았어요 |
| 표본이 작아요 | 대화 주제 10개, 코딩 저장소 5곳, 에세이 과제 7개로 연구진도 더 큰 규모의 재검증이 필요하다고 밝혔어요 |
| 원인은 아직 가설 | 대형 모델의 실제 훈련 과정은 볼 수 없어, 작은 모델 실험으로 가능성을 보여 준 단계예요 |
| 어려운 글 = 나쁜 답은 아님 | 내용은 정확할 수 있어요. 다만 읽는 사람에게 부담이 크다는 뜻이에요 |
| ‘AI 글 판별’ 용도는 아님 | 이런 표현이 많다고 무조건 AI가 쓴 글이라고 단정하면 안 돼요. 사람도 이렇게 쓰거나 일부러 따라 쓸 수 있어요 |
용어 풀이
| 용어 | 쉬운 설명 |
|---|---|
| 아카이브(arXiv) | 학술지 심사 전에 연구자들이 논문을 먼저 공개하는 사이트 |
| 심리언어학 | 사람이 말과 글을 어떻게 듣고, 읽고, 이해하는지 연구하는 학문 |
| 왕복 번역 | 다른 언어로 번역했다가 다시 원래 언어로 되돌리는 것. 뜻은 두고 표현을 바꾸는 데 써요 |
| 강화학습 | 잘하면 점수를 주고 못하면 깎으면서 AI를 가르치는 방식 |
| 검증 가능한 보상(RLVR) | 수학·코드처럼 정답 여부를 자동으로 채점해 주는 보상 |
| 길이 벌점 | 답이 길수록 점수를 깎는 규칙 |
| 문맥 창 | AI가 한 번에 읽고 기억할 수 있는 글의 양 |
자주 묻는 질문
| 질문 | 답 |
|---|---|
| AI 답이 어렵게 느껴진 게 제 탓이었나요? | 아니에요. 이번 연구는 최신 AI 글에 사람이 읽기 힘든 표현이 실제로 더 많다는 걸 숫자로 보여 줬어요 |
| 어떤 AI가 제일 읽기 쉬웠나요? | 논문은 순위를 매기진 않았어요. 다만 모델 가족마다 차이가 컸고, 클로드 오퍼스 5.5가 이전 오퍼스 5보다 대부분 지표에서 나아졌다고 밝혔어요 |
| 쉬운 답을 요청하면 내용이 부정확해지지 않나요? | 표현만 바꾸는 요청이라 보통 핵심은 유지돼요. 중요한 숫자와 사실은 처음 답과 비교해 보세요 |
| 앞으로 AI가 알아서 쉬워질까요? | 연구진은 ‘사람이 잘 이해하는 것’에도 보상을 주면 개선할 수 있다고 봤어요. 실제로 새 모델에서 나아진 사례도 있었고요 |
| 한국어로 물어보면 괜찮나요? | 이번 연구는 영어만 다뤘어요. 한국어에서도 빽빽하다고 느껴지면 위의 부탁 문장을 그대로 써 보세요 |
마무리: 똑똑한 답보다 ‘알아듣게 하는 답’
AI가 수학과 코딩을 잘하게 될수록, 정작 우리에게 설명하는 말은 조금씩 빽빽해지고 있었어요. 하지만 해결책은 생각보다 간단해요. “쉽게, 한 문장에 하나씩, 예시 하나만” 이 한 줄을 덧붙이는 것이죠. 오늘 AI에게 뭔가 물어볼 때 한번 시험해 보세요. 두 번 읽던 답이 한 번에 읽히는 경험, 꽤 기분 좋으실 거예요. 😊