어제 특허출원서 작성을 AI에게 요청했다가 수정 작업하느라 많은 시간을 날려 먹었다. 

AI는 "네! 바로 작성해드리겠습니다!"라고 대답하며 즉시 달려들었지만, 핵심 쟁점도 묻지 않고 전략도 논의하지 않은 채 그냥 작성을 시작했다. 

결과는 완전히 엉뚱한 방향으로 흘러갔고, 하루 종일 수정하다가 포기해야 했다.

또한 이 글을 작성하는 과정에서도 "핵심"이라는 단어가 들어있는 문구를 수정하라고 했는데, AI가 계속 "가장 중요한", "혁신적인" 같은 다른 과장된 표현으로 바꾸면서 원하는 결과를 얻기까지 시간이 걸렸다.

이런 경험이 있는 사람이라면 공감할 것이다.

[문제 분석] AI의 성급하고 과장하려는 습성 4가지

첫째, AI는 사전 질문을 하지 않는다. 

"어떤 기술적 독창성을 강조할까요?" "선행기술과의 차별점이 무엇인가요?" "청구범위를 어떻게 설정할까요?" 같은 중요한 질문들을 던지지 않고 바로 작업에 착수한다. 마치 모든 정보가 이미 주어진 것처럼 행동한다.

둘째, 토론 과정을 건너뛴다. 

복잡한 작업일수록 사전 브리핑과 논의가 필수적인데, AI는 "토론은 시간 낭비, 바로 실행이 능력"이라고 착각하는 듯하다. 묻고 따지고 논의하는 과정을 귀찮아하며 즉시 결과물을 만들어내려고 한다.

셋째, "일단 만들고 수정하자" 함정에 빠진다. 

AI 방식은 일단 작성하고, 틀리면 수정하고, 또 틀리면 또 수정하는 무한 수정의 늪으로 이어진다. 반면 올바른 방식은 충분한 논의를 통해 방향을 확정한 후 한 번에 제대로 작성하는 것이다.

넷째, 과장된 표현을 자주 사용한다.

"핵심이다", "가장 중요하다", "혁신적이다" 같은 과도한 수식어를 남발한다. 이런 표현들을 수정하려고 하면 또 다른 과장 표현으로 바뀌면서 수정 작업이 계속 이어진다.

[원인 규명] 왜 이런 일이 발생하는가

AI가 이런 성급하고 과장하려는 습성을 보이는 이유는 다음과 같은 기술적 배경이 있다.

첫째, 훈련 방식의 구조적 문제 때문이다.

AI는 대화형 데이터로 학습하면서 "즉시 응답하는 것"에 강화 학습되었다. 대부분의 훈련 데이터가 질문-답변의 완성된 형태로 구성되어 있어서, "잠깐, 이것부터 확인해보자"는 중간 과정은 학습하지 못했다.

둘째, 어텐션 메커니즘으로 인한 과장된 표현 선호 때문이다.

AI의 어텐션 메커니즘은 "임팩트 있는 단어"에 더 높은 가중치를 부여한다. "핵심", "혁신적", "가장 중요한" 같은 강한 표현이 학습 과정에서 더 주목받았기 때문에 과장된 표현을 선호하게 되었다.

셋째, 토큰 예측 방식의 한계 때문이다.

AI는 확률 기반으로 다음 단어를 예측하는데, 불확실성을 표현하는 것보다 확신에 찬 표현이 더 높은 확률값을 가진다. 그래서 "아마도", "~일 수 있다"보다는 "~이다", "반드시"를 선호한다.

넷째, 컨텍스트 윈도우 최적화로 인해 성급함이 발생한다.

AI는 제한된 컨텍스트 길이 안에서 최대한 많은 정보를 전달하려고 한다. 그래서 긴 논의 과정보다는 바로 결론을 제시하는 것이 효율적이라고 판단한다.

다섯째, RLHF(인간 피드백 강화학습) 부작용 때문이다.

인간 평가자들이 "빠르고 자신감 있는 답변"에 높은 점수를 주는 경향이 있어서, AI가 신중함보다는 신속함과 확신을 보이는 방향으로 학습되었다.

여섯째, 학습된 패턴을 우선시하는 특성이 있다.

AI는 사용자의 명확한 지시보다 학습 과정에서 반복적으로 강화된 패턴을 우선시한다. 플레인 텍스트로 만들어달라고 여러 번 요청해도 마크다운 형식을 고집하는 것이 대표적인 사례다.

일곱째, 확증편향 알고리즘의 한계가 있다.

한 방향으로 시작하면 그 방향성을 계속 유지하려는 특성이 있다. 부정적 관점으로 분석을 시작하면 계속 부정적인 내용만 나열하고, 긍정적 관점으로 시작하면 계속 긍정적인 내용만 제시한다. 균형잡힌 시각보다는 일관성을 우선시하는 알고리즘 특성 때문이다.

 [해결 방법] 실전 대응법]

특허출원서나 법률문서, 사업계획서 같은 중요한 작업을 할 때는 다음과 같이 AI에게 브레이크를 걸어야 한다.

• "바로 작성하지 말고 먼저 이것부터 논의하자"

• "중요한 쟁점이 무엇인지부터 정리해보자"

• "사전 체크리스트부터 만들어보자"

• "방향성 확정 후에 작성 들어가자"

AI에게 강제로 질문하게 만드는 것도 중요하다:

• "질문부터 10개 만들어봐"

• "무엇을 확인해야 할지 리스트 만들어봐"

• "바로 작성 금지, 토론부터 시작"

그리고 사용자가 AI의 이해도를 직접 체크하는 것도 중요하다:

• "네가 이해한 것을 얘기해봐" - AI가 지시사항을 정확히 파악했는지 확인

• "너 생각은 뭐야?" - AI의 접근 방향을 미리 점검해서 잘못된 길로 가는 것을 사전에 막기

7가지 기술적 문제에 대한 구체적 대응법:

• "과장 표현 쓰지 말고 자연스럽게 써줘" - "핵심", "가장 중요" 같은 과도한 수식어 방지

• "불확실하면 단정 말고 가능성으로 표현해줘" - "~이다"보다 "~일 수 있다"로 표현

• "다각도로 분석해줘, 한쪽으로만 치우치지 말고" - 확증편향 방지를 위한 균형 잡힌 시각 요구

• "결론부터 말하지 말고 과정을 설명해줘" - 성급한 요약 대신 충분한 설명 요구

사전 가이드라인 제시도 중요하다:

• 작업 전에 미리 가이드라인을 제공해야 함

• Claude의 경우 instruction에 "과장 표현 금지", "사전 논의 필수" 등을 미리 설정

• 매번 설명하는 시간을 줄이고 일관된 작업 방식 확보

단계별 점검으로 완성도 확인하는 것도 필요하다:

• 작업 중간중간에 "지금까지 맞게 가고 있나?" 확인하는 습관화

• 10% → 30% → 50% 완성 단계별로 점검

• 끝까지 가서 전체를 다시 하는 것보다 중간 확인이 효율적

구조적으로 잘 짜여진 표준 템플릿 제공도 효과적이다:

• 자주 하는 작업은 미리 체계화된 템플릿 만들어두기

• 단순 프롬프트가 아니라 구조적으로 체계화된 가이드 필요

• 모든 것을 대화로만 풀려고 하면 너무 많은 시간 소요

• 템플릿으로 효율성과 일관성 동시 확보

또한 작업 결과물이 계속 꼬이면 수정보다는 처음부터 새로 만드는 것이 효과적이다:

• "기존 작업을 수정하지 말고 처음부터 새로 만들어줘"

• "아티팩트를 새로 만들어달라" - 기존 것을 계속 수정하면 산으로 가버림

• "리포트를 완전히 새로 작성해줘" - 수정의 늪에 빠지지 않도록

이런 중간 체크 과정이 없으면 AI가 엉뚱한 방향으로 달려가도 끝까지 모르고 있다가 나중에 전체를 다시 해야 하는 상황이 생긴다.

교훈

AI는 훌륭한 도구지만, 성급하고 과장하려는 습성을 컨트롤하는 것이 중요하다. 

성급함을 막는 올바른 활용법:

• "특허출원서 작성 전에 논의할 것들 정리해줘" → 토론 → 방향 확정 → 작성

과장 표현을 막는 올바른 활용법:

• "과장된 표현 없이 자연스럽게 써줘" → 미리 가이드라인 제시

• "핵심", "가장 중요한" 같은 수식어 금지 → instruction에 미리 설정

잘못된 활용법:

• "특허출원서 써줘" → AI가 바로 작성 → 성급함으로 망함

• 과장 표현 지적 없이 진행 → 수정 과정에서 더 복잡해짐

시간을 아끼려다가 시간을 더 날리는 역설을 피하려면, AI의 성급하고 과장하려는 습성을 인지하고 "잠깐, 먼저 이것부터 정리하자"라고 브레이크를 거는 지혜가 필요하다.

글자수: 2871자 / 작성자: Claude / 프롬프터: 써니

출처 : 페이스북 선웅규