틀린 답변 한 건을 재현합니다
RAG는 질문과 관련된 문서를 검색한 뒤, 찾은 내용을 모델에 전달해 답변을 만드는 방식입니다. 어디서 오류가 났는지 보려면 질문과 최종 답변, 모델에 실제로 전달된 문서 구절을 한 화면에서 비교할 수 있어야 합니다.
예를 들어 가상의 출장 규정이 7월 1일에 개정됐다고 가정합니다. ‘7월 국내 출장 숙박비 한도가 얼마인가요?’라는 질문에 이전 기준이 나오면 질문에 적용할 날짜, 최신 규정의 조항, 검색이 가져온 문서 버전을 함께 기록합니다. 질문을 한 번 더 실행했을 때도 같은 증상이 나오는지 봅니다.
검색 결과에 답의 근거가 있는지 봅니다
이제 검색 결과에서 최신 규정의 해당 조항을 찾습니다. 정답을 뒷받침하는 문서명, 조항, 시행일을 질문과 함께 기록해 두면 검색 결과에서 빠진 항목을 짚기 쉽습니다.
같은 이름의 규정이 여러 버전으로 쌓였다면 최신본을 구분할 수 있어야 합니다. 표 안에 있는 금액과 조건이 검색 과정에서 같이 전달되는지도 확인합니다. 숙박비 숫자만 검색되고 열 제목과 지역별 예외가 빠졌다면 표 제목, 열 이름, 해당 행과 각주가 함께 전달되도록 문서 처리 방식을 조정합니다.
최신 문서가 검색 결과 목록에는 있어도 모델에 전달하는 상위 몇 건에서 밀릴 수 있습니다. 문서함에 있는 원본, 색인된 문서, 검색 결과, 모델에 전달된 구절 순서로 비교하면 문서 수집과 검색 순위 중 어느 쪽을 손봐야 할지 판단할 수 있습니다.
답변의 문장과 인용한 원문을 맞춰 봅니다
정확한 조항을 찾았어도 적용 대상이나 예외 조건이 답변에서 빠질 수 있습니다. 답변에 원문 링크와 해당 구절을 붙여 두면 담당자가 근거를 검토할 수 있습니다.
자료만으로 답하기 어려운 질문은 필요한 조건을 다시 묻거나 근거를 찾지 못했다는 응답을 보여주는 편이 검토하기 쉽습니다. 가령 출장지에 따라 한도가 다르다면 지역을 물어보고, 조회 가능한 규정에 해외 출장 기준이 없다면 확인할 수 있는 범위를 안내합니다.
점검할 때는 금액, 적용 대상, 적용 날짜를 각각 원문과 대조합니다. 답변에 출처가 표시되더라도 링크가 관련 문서의 다른 페이지를 가리키거나 예외 조항이 누락될 수 있습니다. 검토표에는 답변 문장과 근거가 되는 조항을 나란히 적어 두면 됩니다.
문서가 바뀐 다음에도 같은 질문을 해봅니다
규정 수정이나 삭제가 검색 색인에 반영되는 시점을 정합니다. 사용자별 문서 접근 권한도 갱신에 포함합니다. 처음 정리한 질문으로 다시 검색해 문서 버전, 인용 근거, 접근 가능 범위를 함께 점검할 수 있습니다.
검토용 질문에는 최신 기준을 묻는 경우, 개정 전 날짜를 지정하는 경우, 예외 조건이 적용되는 경우를 넣습니다. 문서를 볼 수 있는 계정과 권한이 없는 계정에서도 각각 확인합니다. 운영 중 새 오류가 발견되면 질문과 기대 근거를 이 목록에 더해 다음 갱신 때도 재현할 수 있습니다.
