AI 도구 비교는 어떻게 시작할까, 같은 작업의 조건 정하기

비교할 업무의 경계부터 정한다

처음부터 글쓰기 능력이나 분석 능력 전체를 비교하려 하면 판단 범위가 너무 넓어진다. 실제로 전달할 산출물 하나를 골라야 한다. 무엇을 받아 무엇으로 바꾸는 작업인지 한 문장으로 적으면 비교의 경계가 드러난다.

예를 들어 행사 안내 자료를 바탕으로 참석자에게 보낼 준비물 안내문을 만드는 상황을 가정한다. 이때 목표는 멋진 글을 얻는 것이 아니라, 원문에 있는 준비물과 주의사항을 빠짐없이 전달하는 것이다. 제목 작성이나 말투 변경은 별도 요구로 구분한다.

입력 자료는 같은 사본을 사용한다. 한쪽에는 정리된 문서를 주고 다른 쪽에는 메모와 수정 이력이 섞인 자료를 주면 입력 난도부터 달라진다. 문서 이름만 같다고 같은 조건은 아니다. 본문과 첨부 자료의 범위까지 맞춰야 한다.

완료 기준도 미리 적는다. 필수 내용 포함, 지정한 독자에게 맞는 표현, 원문 밖 정보 추가 금지처럼 확인 가능한 조건이 적합하다. 마음에 드는 답이 나왔다는 인상만으로 끝내면 도구마다 서로 다른 기준을 적용하게 된다.

공통 요청과 조정 가능한 형식을 나눈다

공통 요청에는 목적, 독자, 사용할 자료, 출력 형태, 금지사항을 넣는다. 이 항목은 비교하는 동안 유지한다. 특정 도구가 이해하기 쉽게 요청문을 고치더라도 업무의 범위나 필수 조건까지 바뀌지 않았는지 확인한다.

자료 전달 방식이 다르면 그 차이를 별도로 남긴다. 파일을 직접 넣었는지, 내용을 복사했는지, 이미지에 있는 글자를 먼저 옮겼는지 적는다. 자료를 옮기는 과정에서 표나 줄바꿈이 사라졌다면 결과를 읽을 때 함께 고려해야 한다.

같은 문장을 넣는 비교와 각 도구에 맞게 요청을 다듬는 비교는 질문이 다르다. 전자는 공통 요청에 대한 반응을 살핀다. 후자는 사용자가 조정했을 때 얻을 수 있는 결과를 살핀다. 어느 방식을 택했는지 첫머리에 밝혀야 한다.

새 대화에서 시작할지, 앞선 대화를 이어갈지도 정한다. 이어지는 대화에는 이전에 정한 말투나 배경 설명이 영향을 줄 수 있다. 비교에 사용하지 않을 자료가 섞이지 않도록 대화 범위를 확인하고, 필요한 배경은 요청문 안에 넣는다.

수정 기회는 결과를 보기 전에 정한다. 특정 도구의 답만 오래 다듬으면 최초 응답의 차이와 사용자의 편집 노력이 뒤섞인다. 추가 요청을 허용한다면 어떤 상황에서 요청하고 어디까지 고칠지 공통 원칙을 둔다.

결과 차이가 어디에서 왔는지 읽는다

결과물만 나란히 놓기 전에 조건표를 먼저 살핀다. 자료 범위, 요청 내용, 대화 상태, 수정 과정이 같은지 확인한다. 조건이 다른 항목은 우열을 말하기보다 차이가 생긴 배경으로 설명하는 편이 정확하다.

원문에 없는 문장이 추가되었다면 단순히 창의적이라고 평가하지 않는다. 안내문처럼 사실 전달이 목적인 작업에서는 근거 없는 추가일 수 있다. 반대로 아이디어 제안 작업이라면 원문 밖 제안이 허용될 수 있으므로 처음 정한 목적에 따라 읽는다.

평가는 항목별로 남긴다. 준비물은 모두 들어갔지만 독자가 해야 할 행동이 모호할 수 있다. 문장이 자연스러워도 금지한 추정이 섞였을 수 있다. 전체 인상을 하나의 점수로 줄이기 전에 어느 요구를 충족했는지 풀어 쓴다.

도구 이름을 가리고 읽는 방법도 선택할 수 있다. 다만 이름을 가렸다는 이유만으로 평가가 객관적이 되었다고 단정하지 않는다. 평가자가 원문을 제대로 확인했는지, 같은 기준을 적용했는지가 함께 갖춰져야 한다.

한 번의 결과로 도구의 전반적인 능력을 결론내리지 않는다. 비교 글에는 이번 작업과 이번 입력에서 확인한 범위를 적는다. 다른 길이의 자료나 다른 형식의 산출물에도 같은 결과가 나올지는 별도로 살펴야 한다.

비교가 흐트러지는 지점을 남긴다

자주 생길 수 있는 문제는 답을 본 뒤 요구사항을 바꾸는 것이다. 어떤 결과에 표가 들어간 것을 보고 표를 필수 조건에 추가하면 처음부터 표를 요구받지 않은 답에 불리해진다. 새 기준은 다음 비교에 적용하고 기존 평가와 구분한다.

입력 오류를 도구의 실패로 기록하는 일도 피해야 한다. 복사 과정에서 주의사항을 빠뜨렸다면 도구가 그 내용을 누락했다고 평가할 수 없다. 입력 사본과 실제 전달한 내용을 대조한 뒤 오류가 생긴 위치를 정한다.

도구가 요청을 되묻는 경우도 처리 원칙이 필요하다. 한쪽에만 자세한 설명을 보태면 정보량이 달라진다. 추가 설명이 공통으로 필요한 내용이라면 다른 도구에도 같은 정보를 제공하고 최초 조건이 바뀌었다고 기록한다.

비교를 마치지 못한 경우에는 중단 이유를 남긴다. 파일을 전달할 수 없었던 상황과 자료를 읽었지만 내용을 잘못 해석한 상황은 다르다. 사용할 수 없었다는 사실을 곧바로 결과 품질이 낮다는 뜻으로 바꾸지 않는다.

다음 비교를 위한 마무리 점검

최종 기록에는 업무 설명, 입력 자료의 범위, 공통 요청문, 조정한 부분, 완료 기준을 함께 보관한다. 결과물만 남기면 나중에 같은 작업을 다시 수행하기 어렵다. 수정 전 응답과 수정 후 산출물도 구별해 둔다.

공개할 글에서는 내부 자료를 그대로 드러내지 않아도 비교 방법을 설명할 수 있다. 자료의 종류와 구조를 밝히고 필요한 부분은 가상의 내용으로 다시 구성한다. 재구성한 자료는 실제 업무 원문처럼 소개하지 않는다.

마지막으로 독자가 이 비교를 어디에 적용할 수 있는지 적는다. 짧은 안내문 작성에 관한 기록이라면 그 범위를 유지한다. 조건이 분명한 비교는 모든 도구의 순위를 정하지 않아도 다음 업무에서 무엇을 확인해야 하는지 알려준다.