자기비판 루프 — AI에게 자기 답을 고치게 하기

자기비판이 통하는 이유

2장에서 평가가 루프의 심장이라고 했습니다. 그 평가를 사람이 아니라 AI 자신에게 맡기는 게 자기비판 루프(self-critique loop)입니다. 자기가 쓴 글을 자기가 깐다니 이상하지만, 실제로 잘 됩니다.

쓰는 뇌와 까는 뇌는 다르다

이유는 AI의 작동 방식에 있습니다. 글을 쓸 때 AI는 "그럴듯하게 이어지는 다음 문장"을 뽑는 데 집중합니다. 반면 비평을 시키면 초점이 "이 문장의 결함은 무엇인가"로 옮겨갑니다. 같은 대상을 놓고도 보는 각도가 통째로 바뀌는 거죠.

우리도 그렇죠. 내 초안은 애정이 생겨 못 고치는데, 남의 초안은 냉정하게 뜯어봅니다. AI도 "작가"로 앉히면 관대하고 "심사위원"으로 바꿔 앉히면 인정사정없어집니다.

한 프롬프트에 다 욱여넣지 않는다

그래서 핵심은 역할을 섞지 않는 겁니다. 쓸 때 쓰게 하고, 깔 때 까게 하고, 고칠 때 고치게 합니다. "완벽하게 잘 써 줘"처럼 쓰기와 검토를 한 번에 시키면 AI는 대충 쓴 초안에 대충 만족하고 끝냅니다.

프롬프트 튜닝과 무엇이 다른가

프롬프트를 열 번 고쳐 쓰는 것과는 결이 다릅니다. 프롬프트 튜닝이 첫 시도의 수준을 올리는 일이라면, 자기비판은 이미 나온 결과를 뜯어고치는 일입니다. 1장에서 말한 "천장을 높이기"와 "천장을 없애기"의 차이가 여기서도 그대로 적용됩니다.

세 단계로 나눈다

자기비판 루프는 채점·반박·개선 세 단계로 굴러갑니다. 잣대로 점수를 매기고, 그 지적을 스스로 반박해 거르고, 남은 진짜 문제만 고칩니다. 아래에서 단계마다 붙여 쓸 프롬프트를 짚습니다.

채점 — 잣대부터 쥐여 준다

첫 단계는 채점입니다. 방금 나온 결과에 스스로 점수를 매기게 하는 거죠. 여기서 잣대를 얼마나 구체적으로 주느냐가 뒤 전체를 좌우합니다.

막연한 채점은 막연한 답을 부른다

"잘 썼어?"라고만 물으면 AI는 "전반적으로 좋습니다"라며 얼버무립니다. 채점의 질은 잣대의 구체성에 정비례합니다. 총평 대신 항목을 명시하세요.

아래 글을 다음 3개 기준으로만 채점해 줘.

1. 첫 문장이 3초 안에 관심을 끄는가
2. 주장마다 근거가 붙어 있는가
3. 군더더기 문장이 없는가 각 기준을 통과/미달로 판정하고, 그 근거와 감점 사유를 표로 정리해 줘.

루브릭을 표로 받는다

기준을 표로 받으면 어디가 왜 부족한지 한눈에 들어옵니다. 아래는 밋밋한 블로그 도입부에 이 루브릭을 적용했을 때 AI가 내놓는 진단표입니다.

채점자에게 독자를 입힌다

채점자에게 특정 독자를 씌우면 훨씬 날카로워집니다. "바쁜 팀장이 30초 만에 훑는다고 치고 채점해 줘"처럼요. 같은 글도 독자 관점을 갈아 끼우면 안 보이던 약점이 드러납니다. 이 루브릭은 4장의 검토자 역할에서 그대로 재활용됩니다.

점수보다 사유가 중요하다

"73점"이라는 숫자는 사실 별 쓸모가 없습니다. 정작 필요한 건 "왜 27점이 깎였는가"죠. 개선 단계가 붙잡을 실마리는 숫자가 아니라 감점 사유에 들어 있습니다.

반박 — 헛된 지적을 걸러낸다

채점 다음에 곧장 개선으로 넘어가면 안 됩니다. 사이에 반박 단계를 한 번 끼워야 합니다. 생소하시겠지만, 이 단계가 자기비판 루프의 완성도를 갈라놓습니다.

AI는 트집을 지어낸다

AI에게 채점을 시키면 없는 문제를 지어내는 버릇이 있습니다. 멀쩡한 문장을 두고 "이 부분이 다소 약합니다" 같은 지적을 억지로 뽑아내죠. "지적해"라고 시켰으니 뭐라도 지적하려는 겁니다. 이걸 그대로 개선 단계로 넘기면 괜찮던 곳까지 손대 오히려 나빠집니다.

"정말 문제 맞아?"를 되묻게 한다

반박은 이 헛된 지적을 거르는 필터입니다. 방금 자기가 한 지적을 스스로 반박하게 만드는 거죠.

네가 방금 지적한 감점 사유를 하나씩 다시 검토해 줘. 각 지적이 정말 고쳐야 할 실제 결함인지, 아니면 억지로 만든 트집인지 판정하고, 트집은 걸러 줘. 남은 진짜 문제만 목록으로 정리해 줘.

통과시킬 항목도 정한다

반박은 무조건 지우는 단계가 아닙니다. "이 지적은 타당하니 반드시 반영한다"를 확정하는 단계이기도 합니다. 걸러낼 것과 남길 것을 함께 가려내야 다음 개선이 흔들리지 않습니다.

자기칭찬만 늘어놓을 때

가장 흔한 실패가 여기서 나옵니다. AI가 반박을 시키면 "모든 지적이 타당합니다"라거나 반대로 "사실 원문이 훌륭합니다"라며 무비판적 자기칭찬으로 빠지는 경우죠. 이럴 땐 판정을 강제하세요. "각 지적을 반드시 유지 또는 폐기 중 하나로 분류하고, 애매하다는 답은 금지"라고 못을 박으면 얼버무릴 여지가 사라집니다.

개선 — 걸러낸 것만 고친다

마지막은 개선입니다. 반박을 통과한 진짜 문제만 반영해 완성본을 다시 쓰게 합니다. 여기서 "진짜 문제만"이라는 제약이 핵심입니다.

전면 재작성이 아니라 표적 수정

자주 저지르는 실수가 "다시 써 줘"라고만 하는 겁니다. 그러면 AI는 멀쩡한 부분까지 갈아엎죠. 반박에서 남긴 문제 목록을 콕 집어 물고 늘어지게 하세요.

반박을 통과한 문제만 반영해 완성본을 다시 써 줘. 지적받지 않은 문장은 그대로 두고, 문제로 남은 부분만 고쳐. 무엇을 왜 바꿨는지 수정 내역을 3줄로 요약해 붙여 줘.

무엇을 바꿨는지 밝히게 한다

수정 내역을 함께 요구하면, 개선이 실제로 문제를 겨눴는지 검증되고 다음 바퀴에서 볼 곳도 잡힙니다. 근거 없이 문장만 바뀌면 개선인지 개악인지 알 수가 없습니다.

실제로 돌려보면

밋밋했던 도입부가 채점·반박·개선을 거치면 이렇게 바뀝니다.

(초안) "요즘 많은 분들이 AI에 관심을 가지고 있습니다. 오늘은 AI 활용법을 소개합니다." (개선) "매일 ChatGPT를 켜면서도, 정작 결과물은 3년 전 검색과 크게 다르지 않다고 느낀 적 있으신가요."

같은 AI가 쓴 글인데 결과가 딴판입니다. 프롬프트를 화려하게 바꾼 게 아니라, 자기 글을 한 번 비평하게 만든 것뿐입니다.

글이 아닌 것에도 통한다

지금까지 글을 예로 들었지만, 이 세 단계는 대상을 가리지 않습니다. 스스로 채점할 잣대만 세우면 어디든 붙습니다.

• 기획안 실현 가능성·차별성·리스크를 기준으로 채점하고 약한 곳을 보강
• 코드 실패할 만한 입력 세 가지를 스스로 찾아 방어 코드를 추가하게 함
• 학습 정리 원문과 어긋나거나 빠진 핵심을 스스로 짚어 보완

몇 바퀴가 적당할까

세 단계를 한 번 도는 게 한 바퀴입니다. 그럼 몇 바퀴를 돌려야 할까요. 여기서도 과하면 탈이 납니다.

수확은 세 바퀴에서 꺾인다

한 바퀴만 돌려도 첫 초안보다 확연히 낫습니다. 두 바퀴째엔 미세한 다듬기가 들어가고, 세 바퀴를 넘으면 대개 수확이 뚝 떨어집니다. 그래서 2~3바퀴에서 끊는 걸 권합니다.

과잉 교정이라는 마모

더 돌린다고 계속 좋아지지는 않습니다. 오히려 원래 괜찮던 문장까지 건드려 개성을 깎거나, 앞서 고친 걸 되돌리는 헛수고가 생깁니다. 이 "과잉 교정"이 자기비판 루프의 대표적 실패입니다. 증상은 뚜렷합니다. 바퀴를 거듭할수록 문장이 점점 무난하고 밋밋해지면, 그건 개선이 아니라 마모입니다.

종료 조건은 따로 건다

반박 단계가 과잉 교정을 어느 정도 막지만, 완전히 없애려면 언제 멈출지를 미리 정해야 합니다. "감점 사유가 더 없으면 종료" 같은 종료 조건이 그 안전장치입니다. 이 부분은 2장에서 다룬 종료 조건의 연장선이고, 7장 가드레일에서 더 깊이 파고듭니다.

혼자 채점의 한계

근본적 한계도 있습니다. 채점도 개선도 결국 같은 AI라, 자기 사각지대는 끝내 못 봅니다. 자기 눈으로 자기 뒤통수를 못 보는 것과 같죠. 이 벽을 넘으려면 채점자와 작성자를 아예 다른 역할로 떼어놓아야 합니다.

다음 챕터에서는 자기 혼자 채점하는 걸 넘어, 작성자·검토자·편집자로 역할을 아예 나눠 돌리는 역할 분리 루프와 생성자-판사 구조를 다루겠습니다.