모르면 모른다고 말하게 만든 CoSQ, 프롬프트만으로 오답 커밋을 줄였어요

AI는 모르는 질문에도 그럴듯한 답을 확신 있게 내놓을 때가 있어요. 답을 억지로 만들어 오답이 되는 것보다 “지금은 모른다”고 말하고 사람의 검토로 넘기는 편이 나은 상황이 분명히 있어요. 코난쌤의 CoSQ 논문 정리는 답을 만들기 전에 커밋 여부를 스스로 가르는 절차를 프롬프트만으로 만든 연구를 정리해요.

일반 질의응답 평가는 “일단 답하기”를 보상해요

논문은 QA 평가가 보통 무조건 답하기를 보상한다는 관찰에서 출발해요. 전부 찍어도 점수가 나오니, 모델은 답할 수 있는 질문과 없는 질문을 구분할 이유가 없어요. 의료·법률·금융처럼 확신 있는 오답이 기권보다 비싼 영역에서는 명시적 기권이 검토 트리거로 더 쓸모 있어요. 기존 연구는 주로 답을 만든 다음에 개입했고, CoSQ는 더 앞선 지점, 즉 답을 생성하기 전에 커밋 여부를 결정해요.

CoSQ는 세 단계로 “답을 만들지 말지” 먼저 골라내요

CoSQ는 파인튜닝도, 로짓 접근도 필요 없는 프롬프트 수준 절차예요. 먼저 질문을 정답을 쓰기 위해 필요한 정보 단위로 나누고, 단위별로 지지도를 이진 또는 0~100 점수로 매겨요. 마지막으로 결정 게이트를 통과한 정보 단위만 답 생성에 넘기고, 미달이면 명시적으로 기권해요. 이 절차는 질문당 프롬프트-완성 3회를 써요. Direct나 CoT가 1회인 것과 비교하면 3배이지만, 논문은 이를 절약이 아니라 오답 커밋 확률을 줄이는 리스크 감소를 사는 지출로 규정해요.

방식	답을 고르는 위치	프롬프트-완성	이 글이 짚을 조건
Direct / CoT	항상 답을 생성	질문당 1회	기권이 없어 오답 커밋이 그대로 남아요.
답 생성 뒤 개입 방식	답을 만든 후 검증·수정	연구마다 다름	이미 지어낸 답을 되돌리는 비용이 커질 수 있어요.
CoSQ	답 생성 전 결정 게이트	질문당 3회	통과한 정보 단위만 답에 쓰고, 미달이면 기권해요.

질문을 필요한 정보 단위로 나누고 지지도를 매긴 뒤, 결정 게이트 통과 여부로 답 생성과 기권을 가르는 구조예요.

1단계정보 단위 분해정답에 필요한 정보를 I(q) = {i1, …, im}로 나눠요

→

2단계지지도 평가단위별로 이진 또는 0~100 점수를 매겨요

→

3단계결정 게이트점수가 임계값 τ를 넘는지 봐요

통과 → 미달 ↓

통과답 생성수용된 정보 단위만 답을 쓰는 데 사용해요

미달기권답 대신 검토로 넘겨요

게이트의 임계값 τ는 보정 확률이 아니라 리스크-커버리지 프론티어 위의 운영 파라미터예요. 논문은 τ ∈ {0.50, 0.60, 0.70, 0.80, 0.90}을 전수 평가한 뒤 τ=0.90을 주 운영 지점으로 사전 지정했고, 여기서 세 변형(Grounded·Critical·Adaptive-CoSQ)을 비교해요. Grounded-CoSQ는 전체 정보 단위 평균으로, Critical-CoSQ는 critical로 분류된 단위만으로 게이트를 걸고, Adaptive-CoSQ는 평균과 최솟값 조건을 함께 봐요.

11개 모델에서 무조건 오답 커밋이 줄었어요

논문의 주 분석은 TruthfulQA-MC 817문항이에요. 선지 위치를 시드 1002로 결정론적 균형화해 고정 위치 단축키(라벨 편향)를 제거하고, Llama·Gemma·Mistral·GPT-OSS·GPT-5.5·Claude 5 Sonnet·DeepSeek Flash 등 11개 모델 패밀리에서 모델-매크로 평균을 냈어요. Grounded-CoSQ τ=0.90은 CoT 대비 무조건 오답 커밋률(HR)이 32.1% 상대 감소했고, 답한 정답률(AA)은 0.869에서 0.897로 +2.87p포인트 올라갔어요. Wilcoxon 단측 p=0.00049, 부트스트랩 95% 신뢰구간 [0.0272, 0.0595], Cohen’s dz=1.44에 11개 모델 전부 방향이 일치했어요.

조건	AA (답한 정답률)	Coverage	HR (무조건 오답 커밋률)	기권률
Direct	0.872	1.000	0.128	0.000
CoT	0.869	1.000	0.131	0.000
Grounded-CoSQ τ=0.90	0.897	0.876	0.089	0.123
Critical-CoSQ τ=0.90	0.896	0.886	0.092	0.113
Adaptive-CoSQ τ=0.90	0.896	0.865	0.089	0.134

기존 연구는 주로 답을 만든 다음에 개입합니다. CoSQ는 더 앞선 지점, 즉 답을 생성하기 전에 커밋 여부를 결정합니다.

코난쌤 블로그 정리, 2026-09-17 확인

여기서 수치는 v1 프리프린트 결과예요. 재현과 후속 검증 전까지 확정치로 받아들이지 않고, “커밋 시점을 앞당기면 무조건 오답이 줄어들 수 있다”는 연구 신호로 읽는 편이 안전해요.

기권이 늘면 잃는 것도 생겨요

기권은 공짜가 아니에요. τ=0.90에서 기권률은 약 12~13%인데, 논문의 기권 구성 분석에 따르면 그중 68.7%는 CoT가 정답이었던 문제(잃은 가치)이고 31.3%만 CoT가 오답이었던 문제(옳은 기권)였어요. 기권을 “AI를 무조건 불신”으로 읽지 않으려면 이 비율이 핵심이에요. 잃는 것과 걸러내는 것을 같이 보고, 자동화 범위와 리스크를 맞바꾸는 운영 판단으로 다뤄야 해요.

공개 연구 릴리스도 확인 경로로 남겨요. 논문 저자가 CoSQ 프레임워크를 MIT 라이선스 코드로 공개해두었고, PyPI 패키지 페이지와 GitHub 저장소를 2026-09-17에 실제로 접근해 확인했어요. 다만 이 릴리스는 재현 도구이지, 위 수치가 운영 환경에서도 같게 나온다는 보증은 아니에요.

오늘의 배울 점과 다음 적용

한계와 남은 질문

논문이 스스로 밝힌 한계도 그대로 남겨요. 호스팅 엔드포인트의 가중치 개정은 고정되지 않아 같은 모델 이름이라도 시점에 따라 조건이 달라질 수 있어요. ‘self-questioning’은 프롬프트 수준의 절차이지 인간적 내성 접근에 대한 주장이 아니에요. 주 분석은 TruthfulQA-MC 한 벤치마크라 NQ-Short 같은 개방형 질문으로의 일반화는 수렴 증거 수준이고, 아직은 v1 프리프린트라 재현과 후속 검증이 남아 있어요.

출처와 시각자료

본문 출처

• 코난쌤 블로그, 「LLM이 모르는 질문엔 답하지 않게 만드는 방법: CoSQ 논문 정리」 · 2026-09-17 확인
• Şenol, Ali, “When Should LLMs Abstain? Chain-of-Self-Questioning for Selective Risk Control”, arXiv:2609.17516 · 2026-09-17 확인
• CoSQ 연구 릴리스, PyPI “cosq” 패키지 페이지 · 2026-09-17 확인
• CoSQ 프레임워크 공개 저장소, GitHub senolali/CoSQ · 2026-09-17 확인

시각자료 출처

• 대표 이미지와 본문 보조 이미지는 gpt-image-2로 2026-09-17 생성한 AI 생성 이미지예요. 실제 실험 결과·논문 그림·제품 화면을 재현하지 않은 개념 일러스트로 사용했어요.
• 표와 결정 게이트 다이어그램은 Editor_K가 작성했어요. 수치와 구조의 근거는 위 논문과 블로그 정리이며, 다이어그램은 읽기 쉽게 재구성했어요.