의심해보기

AI는 정답을 계산하는 시스템이 아니라, 다음에 올 말을 확률로 뽑는 시스템입니다. AI에게 물어보기 2단계에서 “이 방향 괜찮지?”라고 물으면, 그 뒤에 가장 그럴듯한 말은 “좋다”는 동의입니다. 그래서 확인받기는 판단을 검증해 주는 게 아니라, 내 확신만 키웁니다.

확률로 뽑기 때문에 같은 질문에도 매번 조금씩 다른 답이 나옵니다. 이건 고장이 아니라 설계입니다. 그럴듯하게 유창해도, 그게 사실이라는 보장은 없습니다.

사실이 중요할 땐, 아는 걸 그냥 묻지 말고 내 자료를 주고 그 안에서 답하게 합니다. 제미나이에 그냥 묻는 것과, NotebookLM에 자료를 넣고 참조해 묻는 것은 답의 성격이 다릅니다.

판단이 중요할수록 확인이 아니라 반박으로 빈틈을 찾아야 합니다. 다만 반박도 그럴듯하게 지어낼 수 있으니, 마지막은 근거(출처)로 확인합니다. 내 자료를 주고 그 안에서 출처와 함께 답하게 하면, 유창함에 속지 않고 눈으로 검증할 수 있습니다.

그래서 순서가 이렇습니다. 확인받기로 끝내지 말고, 반박받고, 근거로 확인한다.

같은 입력값에는 항상 같은 결과가 나와야 하는 경우, 규칙을 정해야 합니다.

경영진이 관계사 매출과 사내 문서를 말로 묻는 사내 채팅 서비스가 있습니다. “작년 매출이 얼마였어요?”를 물을 때마다 다른 숫자가 나오면 아무도 보지 않을텐데요. 이 문제를 해결하기 위해서는 어떻게 해야 할까요?

질문이 같다면, 집계와 조회 응답도 늘 같아야 합니다. 이 부분은 프로그래밍이 되어야 합니다. AI는 질문을 해석해서 프로그램에 어떻게 전달할지를 추론합니다. 그리고 응답값을 리포팅하는 역할도 합니다.