문서 요약에서 AI가 고른 핵심과 사람이 확인할 맥락의 차이

같은 문장도 전제에 따라 뜻이 달라진다

문서 요약에서 AI가 놓치기 쉬운 부분은 결론에 붙은 조건, 예외, 아직 결정되지 않은 사항이다. 요약의 품질은 문장이 얼마나 짧아졌는지보다 원문을 읽었을 때와 같은 판단을 내릴 수 있는지로 살핀다.

점검용 문서는 내용의 성격이 섞인 것으로 정한다. 확정된 결정과 제안이 함께 있는 회의록, 적용 대상과 제외 대상이 나뉜 운영 안내문 등이 적합하다. 이는 실험을 위한 조건 설계이며, 특정 문서로 검증을 마쳤다는 뜻은 아니다. 실제 결과를 기록할 때는 사용한 원문과 요청문을 함께 남긴다.

읽는 목적도 먼저 정한다. 문서의 주제를 파악하려는 요약과 후속 업무를 정하려는 요약은 남겨야 할 내용이 다르다. 전체 흐름을 읽는 용도라면 배경 설명을 줄일 수 있다. 실행할 일을 찾는 용도라면 담당자, 착수 조건, 완료 기준이 빠졌는지 확인해야 한다.

원문이 어떤 상태인지도 점검한다. 본문만 복사하면 각주와 표의 제목이 빠질 수 있다. 수정 이력이 있는 문서는 초안과 확정본이 섞이지 않도록 범위를 정한다. 첨부 문서를 읽지 않은 상태라면 첨부 내용까지 반영한 요약으로 취급하지 않는다. 입력에서 사라진 정보를 결과 검토만으로 되살릴 수는 없다.

조건 없이 압축하는 요청과 항목을 지정하는 요청을 비교할 수도 있다. 이때는 원문과 출력 형식을 같게 두고 요청 방식만 바꾼다. 두 문서의 길이나 난도를 함께 바꾸면 무엇 때문에 누락이 달라졌는지 판단하기 어렵다.

줄이기 전에 남길 항목을 정한다

진행 과정은 기준 메모를 만드는 데서 시작한다. 원문에서 결론, 결론이 적용되는 조건, 예외, 미정 사항을 따로 적는다. 이 메모는 정답 문장을 만드는 작업이 아니다. 표현이 달라도 반드시 살아 있어야 하는 의미를 정하는 작업이다. 원문에 명시된 내용과 읽는 사람이 추측한 내용도 구분한다.

예를 들어 원문에 ‘검토가 끝나면 적용 여부를 결정한다’고 적혀 있다고 가정한다. 이를 ‘적용하기로 했다’로 줄이면 검토 단계가 사라지고 결정의 상태도 바뀐다. 반대로 관련 배경을 길게 남겼더라도 적용 여부가 미정이라는 사실을 빼면 업무 판단에 필요한 정보가 빠진 셈이다.

요청문에는 원하는 길이와 함께 남길 항목을 적는다. ‘결정된 사항과 제안을 구분하고, 조건과 예외를 유지하며, 원문에 없는 이유는 덧붙이지 않는다’처럼 쓴다. 담당자가 문서에 없으면 추정해서 채우지 않고 ‘담당자 미기재’로 남기게 한다. 빈칸을 자연스러운 설명으로 메우지 않도록 기준을 주는 것이다.

요약이 나오면 문장별로 근거가 되는 원문 구절을 대조한다. 별도 검토 메모에 해당 구절을 붙여 두면 다시 확인하기 쉽다. 그다음 원문에서 기준 메모에 적은 항목을 찾아 요약에도 남아 있는지 역으로 살핀다. 앞의 대조는 잘못 더한 내용을 찾고, 뒤의 대조는 빠뜨린 내용을 찾는다.

요약은 길이를 줄여도 원문의 조건과 결정 상태는 그대로 남겨야 한다.

빠진 내용이 바꾼 판단을 기록한다

결과는 ‘읽기 편하다’는 인상보다 무엇이 어떻게 달라졌는지로 적는다. 원문의 배경 설명이 줄어든 것과 실행 조건이 사라진 것을 같은 누락으로 묶지 않는다. 이름이 반복된 부분은 덜어낼 수 있어도, 승인할 사람과 실행할 사람이 다르면 역할 구분은 남겨야 한다.

검토 기록에는 원문 의미, 요약의 표현, 달라진 판단을 나란히 둔다. 예컨대 선택 사항이 필수 사항처럼 바뀌었는지, 일부 대상의 규칙이 전체 대상으로 넓어졌는지 살핀다. 문장 자체가 틀리지 않아도 독자가 적용 범위를 다르게 이해한다면 수정할 대목으로 기록한다.

조건이 적고 결론이 분명한 문서는 짧은 요약으로도 흐름을 전달할 수 있다. 예외가 많은 문서는 예외를 남길 공간이 필요하다. 여러 사람의 의견이 섞인 회의록은 발언자와 최종 결정의 관계를 살펴야 한다. 같은 분량을 요구하더라도 문서 성격에 따라 줄일 부분이 달라진다.

수치를 기록하려면 먼저 계산 기준을 정한다. 필수 항목 가운데 빠진 항목을 셀지, 원문과 뜻이 달라진 문장을 셀지 구분한다. 점검 단위가 다르면 결과를 곧바로 비교할 수 없다. 실제 누락 정도는 사용할 문서로 기준을 정해 직접 재 보세요.

매끄러운 문장이 확인을 대신하지 않는다

실패하기 쉬운 지점은 요약문만 읽고 자연스러움을 평가하는 것이다. 연결이 매끄러우면 원문에도 같은 인과관계가 있다고 받아들이기 쉽다. ‘그리고’로 이어진 사실이 ‘따라서’로 바뀌었는지 확인한다. 나란히 적힌 일이 원인과 결과로 바뀌면 문서의 주장이 달라진다.

부정 표현도 따로 본다. ‘필요하지 않다’와 ‘필요하다’는 짧은 차이지만 행동 방향을 바꾼다. ‘가능하다’와 ‘실시한다’, ‘예정이다’와 ‘완료했다’도 같은 뜻으로 취급하지 않는다. 원문이 판단을 유보했다면 요약도 그 상태를 유지해야 한다. 확신에 찬 문체를 요청했다는 이유로 미정인 내용을 확정해서는 안 된다.

표를 문장으로 옮길 때는 열 제목과 각주의 연결을 확인한다. 값만 남고 단위가 빠지거나, 특정 항목에 붙은 설명이 전체 항목의 조건으로 옮겨갈 수 있다. 표 안의 빈칸도 곧바로 해당 사항이 없다는 뜻으로 해석하지 않는다. 미기재인지, 별도 설명이 있는지 원문에서 살핀다.

또 다른 함정은 검토 범위를 넓게 적는 것이다. 문서의 일부만 입력했는데 전체를 요약한 것처럼 제목을 붙이면 읽는 사람이 범위를 오해한다. 여러 문서를 합칠 때도 서로 다른 시점의 내용을 하나의 현재 상태로 묶지 않는다. 상충하는 설명이 있으면 임의로 하나를 택하기보다 차이가 남아 있음을 표시한다.

잘 읽히는 요약인지 살핀 뒤에는 무엇을 빼고 더했는지도 확인한다.

다음 요청에는 누락 유형을 반영한다

다음에 바꿀 것은 막연한 정확도 요구보다 누락이 생긴 항목이다. 조건이 빠졌다면 조건을 별도 문장으로 남기게 한다. 제안과 결정이 섞였다면 상태를 구분하게 한다. 담당자가 뒤섞였다면 역할별로 정리하도록 요청한다. 한꺼번에 여러 지시를 더하기보다 확인하려는 문제에 맞춰 요청을 수정한다.

출력 길이도 조정 대상이다. 필요한 항목을 담기 어려운 분량이라면 배경과 반복 설명부터 줄인다. 그래도 조건과 예외가 들어가지 않으면 요약을 늘리거나 목적별로 나눈다. 읽는 사람이 실행 여부를 판단해야 하는데 주제만 남은 상태라면, 짧다는 이유만으로 사용할 수 없다.

사람이 검토할 부분도 미리 표시한다. 일정, 금액, 책임 범위처럼 후속 행동에 직접 연결되는 항목은 원문과 대조할 대상으로 정한다. 문서에 없는 정보는 없는 상태로 남긴다. 추가 확인이 필요한 내용과 원문만으로 판단할 수 있는 내용을 나누면 검토할 일이 분명해진다.

재사용할 요청문에는 읽는 목적, 남길 항목, 추정하지 않을 항목, 원하는 형식을 적어 둔다. 이후에는 실제 검토에서 발견한 누락을 반영해 고친다. AI 업무 활용 실험실에서는 이처럼 요청문과 검토 기준을 한 쌍으로 설계한다. 문장을 압축하는 단계 뒤에 의미를 대조하는 단계를 붙여 두는 방식이다.