Self-Consistency란 무엇인가
— AI 추론을 ‘한 번’이 아니라 ‘여러 번’ 시켜야 하는 이유
Chain-of-Thought(CoT)는
AI에게 생각하는 과정을 요구하는 강력한 기법입니다.
하지만 CoT만으로도 다음 문제가 남습니다.
-
같은 질문에 답이 달라짐
-
중간 사고는 논리적인데 결론이 흔들림
-
운 좋게 맞는 경우와 틀리는 경우가 공존
이 문제를 해결하기 위해 등장한 개념이
Self-Consistency(자기 일관성) 입니다.
1️⃣ CoT의 근본적 한계
Chain-of-Thought는
AI의 추론 능력을 활성화합니다.
하지만 CoT는 기본적으로
👉 **단일 추론 경로(single reasoning path)**만 생성합니다.
문제는 여기서 발생합니다.
언어 모델은 확률적 시스템이기 때문에
하나의 추론 경로는 우연에 크게 의존한다.
즉,
-
맞는 답이 나올 수도
-
그럴듯한 오답이 나올 수도 있습니다.
2️⃣ Self-Consistency의 핵심 아이디어
Self-Consistency는 질문을 이렇게 바꿉니다.
“이 모델의 첫 번째 생각은 믿을 수 있는가?”
대신 이렇게 접근합니다.
“여러 번 생각시켰을 때
가장 자주 등장하는 결론은 무엇인가?”
🔹 정의
Self-Consistency란
👉 동일한 질문을
👉 여러 개의 추론 경로로 풀게 한 뒤
👉 가장 일관되게 등장하는 답을 선택하는 전략입니다.
3️⃣ 왜 Self-Consistency는 효과적인가
🔹 ① 확률 분산의 상쇄
-
단일 추론: 우연 영향 큼
-
다중 추론: 우연 영향 감소
👉 잘못된 경로는 흩어지고
👉 올바른 경로는 반복 등장합니다.
🔹 ② 추론 다양성 확보
-
서로 다른 가정
-
서로 다른 문제 분해 방식
여러 사고 경로 중
공통 결론만 남김
🔹 ③ 인간 사고와 유사
사람도 중요한 문제일수록
-
다시 생각하고
-
여러 관점에서 검토합니다.
Self-Consistency는
👉 이 인간적 전략을 AI에 적용한 것입니다.
4️⃣ Self-Consistency는 투표가 아니다
많은 사람들이 Self-Consistency를
단순히 “다수결”로 오해합니다.
그러나 정확한 이해는 이것입니다.
Self-Consistency는
답의 다수결이 아니라
‘추론 경로의 안정성’을 평가하는 기법이다.
-
같은 답이 반복되는가?
-
다른 경로에서도 도달 가능한가?
5️⃣ Self-Consistency 구현 방식
🔹 기본 절차
1️⃣ 동일한 문제 제시
2️⃣ CoT로 여러 번 추론 생성
3️⃣ 서로 다른 추론 경로 확보
4️⃣ 최종 답 집계
5️⃣ 가장 일관된 결론 선택
🔹 프롬프트 개념 예시
이 문제를 여러 가지 방법으로 풀어라.
각각의 추론 과정을 제시한 뒤,
가장 일관된 결론을 도출하라.
👉 중요한 점은
결과가 아니라 ‘경로’를 다양화하는 것입니다.
6️⃣ 언제 Self-Consistency를 써야 하는가
✔ 반드시 써야 하는 경우
-
수학·논리 문제
-
조건이 많은 의사결정
-
교육·평가용 분석
-
오류 비용이 큰 작업
❌ 굳이 쓰지 않아도 되는 경우
-
단순 요약
-
창작 글쓰기
-
아이디어 브레인스토밍
7️⃣ 비용과 정확도의 트레이드오프
Self-Consistency의 가장 큰 단점은 명확합니다.
-
추론 횟수 증가
-
토큰 사용량 증가
-
비용과 시간 증가
따라서 전문가의 전략은 이것입니다.
“모든 문제에 쓰지 말고,
틀리면 안 되는 문제에만 써라.”
8️⃣ Self-Consistency + Few-shot CoT
최고 수준의 안정성은
다음 조합에서 나옵니다.
-
Few-shot CoT → 추론 구조 고정
-
Self-Consistency → 추론 결과 안정화
👉 구조 + 반복 = 신뢰성
⭐ 요약
-
CoT는 추론을 켠다
-
Self-Consistency는 추론을 안정화한다
-
하나의 답보다 반복되는 답이 중요하다
-
비용과 신뢰성의 균형이 핵심이다
Self-Consistency는
AI에게 ‘다시 생각하라’고 말하는 기술이다.
댓글 쓰기