AI 문서 요약 검증 방법, 원문 누락과 잘못된 추론 찾기

요약을 어디에 쓸 것인지 정한다

문서를 요약한다는 요청만으로는 무엇을 남겨야 할지 결정하기 어렵다. 내용을 처음 접하는 사람에게 개요를 보여줄 것인지, 이미 읽은 사람이 확인할 쟁점을 뽑을 것인지 정해야 한다. 같은 원문에서도 필요한 정보가 달라진다.

예를 들어 내부 공간 이용 안내를 짧은 안내문으로 바꾸는 상황을 가정한다. 기본 이용 방법만 설명하는 목적과 이용 가능 여부를 판단하게 하는 목적은 다르다. 후자라면 제한 조건과 예외가 요약에서 차지하는 비중이 커진다.

원문의 범위와 상태도 정한다. 본문만 사용할지, 표와 각주를 포함할지, 수정 이력이 있는 문서라면 어떤 사본을 기준으로 할지 적는다. 읽지 않은 부록의 내용까지 요약이 반영했다고 가정하지 않는다.

검증에 사용할 원문은 작업 중 바뀌지 않도록 보관한다. 요약 후 원문이 수정되면 같은 문장을 대조해도 결과가 달라질 수 있다. 사본의 식별 정보와 포함한 구간을 남기면 나중에 어느 자료를 요약했는지 확인하기 쉽다.

입력 자료에 없는 내용은 추측하지 말라는 조건도 명시한다. 설명이 부족한 부분은 미확인으로 남기게 할 수 있다. 다만 이 지시를 넣었다는 사실만으로 추정이 사라졌다고 믿지 않고 결과에서 실제로 확인한다.

요약문을 검증 가능한 주장으로 나눈다

응답을 받은 뒤에는 문장을 의미 단위로 나눈다. 한 문장 안에 이용 대상과 신청 방법, 예외 조건이 함께 들어갈 수 있다. 문장 전체에 근거가 있다고 표시하기보다 각 주장에 대응하는 원문을 찾는다.

원문의 위치는 장 제목이나 문단 이름처럼 다시 찾을 수 있는 방식으로 남긴다. 페이지 구분이 없는 자료에 임의의 쪽수를 만들지 않는다. 표의 내용을 사용했다면 어떤 행과 열을 읽었는지 알아볼 수 있게 적는다.

근거를 찾았으면 의미가 같은지도 확인한다. 원문에서 가능성을 말한 부분이 요약에서 확정된 사실로 바뀌지 않았는지 본다. 허용과 권장, 원칙과 예외, 예정과 완료처럼 판단에 영향을 주는 표현을 구분한다.

주체도 대조한다. 특정 조건에 해당하는 이용자에게만 적용되는 안내가 모든 이용자에게 적용되는 말로 넓어질 수 있다. 누가 무엇을 할 수 있는지와 어떤 상황에서 적용되는지를 함께 읽어야 의미의 변화를 찾을 수 있다.

그다음에는 원문에서 요약문으로 거꾸로 확인한다. 요약문에 있는 말의 근거를 찾는 작업만으로는 누락을 발견하기 어렵다. 원문의 주요 항목을 하나씩 보며 목적상 필요한 정보가 요약 안에 남았는지 살핀다.

빠진 내용과 줄여도 되는 내용을 구별한다

요약에는 생략이 필요하므로 누락 자체를 모두 오류로 보지 않는다. 같은 내용을 반복하는 설명이나 목적과 관련 없는 배경은 줄일 수 있다. 중요한 것은 그 생략 때문에 독자의 판단이나 다음 행동이 달라지는지다.

이용 조건을 설명하는 문서에서 제한 사항이 빠졌다면 단순한 분량 축소로 보기 어렵다. 반면 동일한 절차를 다시 설명한 문단을 덜어낸 것은 목적에 맞을 수 있다. 생략의 적절성은 원래 정한 사용 목적에 연결해 판단한다.

문장 연결도 검토 대상이다. 원문에서 별개로 나열한 현상을 요약에서 원인과 결과로 연결하면 새로운 주장이 만들어진다. 개별 단어가 모두 원문에 있더라도 그 사이의 관계까지 원문이 뒷받침하는지 확인한다.

원문에 근거가 없다고 해서 현실에서도 반드시 틀린 말이라고 단정하지 않는다. 요약 검증에서는 우선 제공된 자료에서 확인할 수 없는 추가로 분류한다. 외부 사실 확인이 필요하다면 원문 요약과 별도 작업으로 나눠야 한다.

짧은 요약과 자세한 요약은 같은 정보량을 기대하지 않는다. 대신 각 분량에서 반드시 남겨야 하는 핵심을 미리 정한다. 더 많은 항목을 포함했다는 이유만으로 더 정확한 요약이라고 평가하지 않는다.

원문이 복잡할 때 생기는 실패를 살핀다

표의 머리글과 본문을 잘못 연결한 응답은 자연스러운 문장만 읽어서는 발견하기 어렵다. 표가 포함된 입력이라면 요약 전에 열 이름과 항목의 대응을 확인한다. 자료 전달 과정에서 표 구조가 사라졌는지도 함께 본다.

각주에 있는 예외가 본문의 원칙과 분리되는 상황도 기록한다. 예외를 무조건 모두 옮길 필요는 없지만, 요약의 결론을 바꾸는 예외라면 남겨야 한다. 작은 글씨였다는 이유로 중요도가 낮다고 판단해서는 안 된다.

문서 안에 서로 맞지 않는 내용이 있을 때는 임의로 하나를 골라 정리하지 않았는지 본다. 상충하는 안내를 매끄럽게 합친 결과는 읽기 쉬워도 원문 상태를 감출 수 있다. 확인이 필요한 충돌을 그대로 드러내는 것이 적절할 수 있다.

자료 일부를 읽지 못한 경우에는 읽은 범위를 먼저 밝힌다. 입력이 정상적으로 전달됐는지 확인하지 않은 채 긴 문서 전체의 요약 품질을 평가하면 원인을 잘못 짚을 수 있다. 전달 실패와 해석 오류를 구별해 남긴다.

근거 대조를 끝내는 마무리 점검

최종본에는 각 핵심 주장의 근거를 내부 검토용으로 연결해 둔다. 공개하는 요약문에 검토 메모를 모두 붙일 필요는 없다. 다만 작성자는 어떤 원문을 바탕으로 문장을 남겼는지 다시 확인할 수 있어야 한다.

미확인 주장은 삭제하거나 확인이 필요하다고 고친다. 빠진 조건을 복구한 뒤에는 문장 사이의 관계도 다시 읽는다. 일부 표현만 수정해 전체 결론이 달라졌다면 앞뒤 문장이 여전히 맞는지 재검토해야 한다.

검토를 마쳤다는 말은 정해진 원문과 목적에 맞춰 대조했다는 뜻으로 사용한다. 문서 밖의 사실까지 모두 보증하는 표현으로 넓히지 않는다. 요약은 원문을 대신하는 판단자가 아니라 필요한 내용을 찾아 읽도록 돕는 결과물이어야 한다.