오류 감소의 판단 범위
AI 답변 속 틀린 정보가 줄었는지는 비교 가능한 답변에서 확인된 오류 수와 비중이 줄었는지, 기존 오류가 바로잡혔는지와 새 오류가 생겼는지를 함께 판단합니다. 정보가 빠졌거나 사실 여부를 확인하지 못한 항목은 정정으로 세지 않습니다. 병원 마케팅 담당자는 이전 답변과 이후 답변의 정보 항목을 연결한 뒤, 같은 범위에서 비교한 결과만 보고합니다.
오류 문장이 사라졌다는 사실만으로는 감소를 판정하기 어렵습니다. 이후 답변이 짧아져 병원 설명 자체가 줄었다면 오류가 줄어든 이유에 정보 누락이 포함될 수 있습니다. 담당자는 답변에 남은 내용의 정확성과 이전에 있던 정보의 유지 여부를 구분해 기록합니다. 실장은 오류 수만 보고 결론을 승인하지 않고, 비교에서 제외한 내용과 제외 이유도 함께 읽습니다.
네이버는 AI 브리핑이 사용하는 기술과 참고하는 검색 결과의 특성 때문에 틀린 정보를 전달할 수 있다고 안내합니다. 또한 의도와 어긋난 내용, 사실과 다른 내용, 현재와 맞지 않는 내용을 부정확한 정보의 유형으로 설명합니다. 다만 병원은 이런 유형 설명을 이전·이후 답변을 정리하는 참고로 사용하며, 특정 유형의 감소를 서비스 전체의 정확도 향상으로 해석하지 않습니다.
비교에 포함할 정보 항목
비교 범위는 기록된 답변과 병원에서 사실을 판단할 수 있는 자료가 함께 있는 항목으로 정합니다. 병원 소개나 진료 안내처럼 답변에 여러 사실이 들어 있다면, 각각의 사실을 같은 단위로 분리합니다. 이전에는 문장 단위로 기록하고 이후에는 단어 단위로 기록하는 방식은 피합니다. 담당자는 이미 사용하는 판정 단위를 유지하고, 범위가 달라진 기록을 별도로 표시합니다.
| 비교 조건 | 판단할 내용 | 기록 처리 |
|---|---|---|
| 같은 정보 항목이 존재 | 이전·이후 내용의 사실 여부 | 변화 판정에 포함 |
| 이후 답변에서 정보가 빠짐 | 삭제와 정정의 구별 | 정보 누락으로 분리 |
| 사실 기준이 부족함 | 판정 근거 확보 가능 여부 | 판단 보류로 분리 |
| 답변이나 기준 자료가 달라짐 | 동일 범위 비교 가능 여부 | 비교 제한 사유 기재 |
사실 기준에는 내용뿐 아니라 해당 내용이 유효했던 시점도 필요합니다. 병원 정보가 변경됐다면 이전 답변은 당시 기준으로, 이후 답변은 이후 시점의 기준으로 판단합니다. 과거에 맞았던 정보를 현재 자료만으로 오류 처리하면 실제 답변 변화와 병원 정보 변경이 섞입니다. 현재 자료로 과거 상태를 판정할 수 없다면 근거 부족으로 남깁니다.
전체 답변 수가 같아도 답변마다 포함한 정보의 양은 다를 수 있습니다. 따라서 확인한 답변 수와 사실 여부를 판단할 수 있는 정보 항목 수를 각각 기록합니다. 오류 비중은 같은 단위로 센 오류 항목 수를 사실 판정이 가능한 정보 항목 수로 나누어 읽습니다. 누락과 판단 보류는 이 비중에 섞지 않고 별도 기록으로 함께 제시합니다.
답변 대조와 자료 준비 순서
담당자는 저장된 답변을 짝지어 놓고, 각 답변에서 비교할 정보 항목과 근거 자료를 연결합니다. 이전 오류 목록만 가져오면 이후 답변에 새로 등장한 오류를 놓칠 수 있으므로 이후 답변의 나머지 내용도 판정 대상에 포함합니다. 병원 내부 자료를 관리하는 직원은 안내 내용의 유효 시점과 변경 내역을 전달합니다. 의료적 설명의 사실 판단이 필요한 항목은 해당 내용을 판단할 수 있는 의료진에게 전달합니다.
- 이전·이후 답변 원문과 기록 시점을 확보하고, 직접 비교할 수 없는 답변은 제한 사유와 함께 분리합니다.
- 정보 항목별로 당시 유효한 병원 자료를 연결하고, 근거가 부족한 항목은 판단 보류로 표시합니다.
- 기존 오류를 이후 답변과 대조해 정정·잔존·정보 누락·판단 보류로 구분하고, 이후 답변에서 발견한 새 오류를 추가합니다.
- 구간별 답변 수와 정보 항목 수를 집계한 뒤, 오류 수·비중과 누락·판단 보류 내역을 함께 보고합니다.
오류 기록에는 이전 내용과 이후 내용을 각각 기재하고, 판정에 사용한 근거를 연결합니다. 단순히 정정 완료라고 쓰지 않고 어떤 사실이 어떻게 달라졌는지 남깁니다. 구간별 집계표에는 아래와 같이 답변 수와 정보 항목 수, 오류 수와 비중, 누락·판단 보류를 묶어 기재할 수 있습니다. 실제 값이 없는 칸은 추정으로 채우지 않고 미집계 사유를 기록합니다.
| 비교 구간 | 답변 수·정보 항목 수 | 오류 수·비중 | 누락·보류와 판단 |
|---|---|---|---|
| 이전 구간 | 기록된 답변과 판정 가능한 항목 집계 | 이전 오류 집계 결과 | 이전 미확인 항목 별도 기재 |
| 이후 구간 | 같은 범위의 답변과 항목 집계 | 잔존 오류와 새 오류를 포함한 결과 | 이후 누락·보류 별도 기재 |
| 공통 비교 범위 | 양쪽에서 비교 가능한 항목 집계 | 동일 범위의 수와 비중 대조 | 감소·유지·증가 또는 판정 유보 |
| 비교 제외 범위 | 제외한 답변과 항목 기재 | 감소 판단에 합산하지 않음 | 제외 이유와 추가 자료 필요 사항 |
오류 수가 줄고 비중도 낮아졌다면 담당자는 누락이나 판단 보류가 늘었는지 추가로 대조합니다. 오류 수는 줄었지만 비중이 높아졌다면 답변에 포함된 정보가 줄어든 영향을 먼저 구분합니다. 반대로 정보가 늘어 오류 수가 증가했지만 비중이 낮아졌다면 두 지표의 방향이 다르다고 보고합니다. 실장은 이런 결과를 하나의 성공 표시로 합치지 않고 관측된 변화별로 승인합니다.
정정과 누락의 구별 기준
정정은 이전의 틀린 내용과 같은 정보 항목이 이후 답변에서 사실 기준에 맞게 전달된 경우로 기록합니다. 표현이 달라도 사실이 같으면 정정 여부를 판단할 수 있지만, 오류 문장이 삭제됐다는 이유만으로 정정 처리하지 않습니다. 이전 오류와 연결할 정보가 없으면 정보 누락으로 남깁니다. 이후 내용이 모호해 사실 여부를 가릴 수 없으면 판단 보류로 처리합니다.
잔존은 이전 오류가 이후 답변에도 남아 있는 상태입니다. 문장 길이나 어순이 달라졌더라도 틀린 사실이 유지되면 잔존으로 기록합니다. 일부만 바로잡혔다면 항목을 나눠 기록할 수 있는지 기존 기록 단위에 따라 결정합니다. 나눌 수 없다면 부분 변경 내용을 메모하고, 항목 전체가 정정됐다고 표시하지 않습니다.
새 오류는 기존 오류의 변화 상태와 별도로 기록합니다. 이전에 정확했던 내용이 틀리게 변경됐거나, 이후 답변에 추가된 내용이 사실과 다르면 새 오류에 포함합니다. 새로 등장했지만 근거를 확보하지 못한 내용은 새 오류로 단정하지 않고 판단 보류로 남깁니다. 담당자는 기존 오류의 정정 내역과 이후 답변에 남은 전체 오류 내역을 구분해 보고합니다.
관측 결과의 결론 문구
감소 결론에는 어떤 기록과 정보 항목을 비교했는지, 오류 수와 비중이 어떤 방향으로 변했는지를 기재합니다. 정정된 기존 오류가 있어도 새 오류가 추가됐다면 그 사실을 같은 보고에 포함합니다. 누락이나 판단 보류 때문에 감소 여부를 가릴 수 없으면 정정 내역만 보고하고 전체 판정은 유보합니다.
병원이 홈페이지를 수정한 뒤 오류가 줄었더라도 두 일이 이어서 발생했다는 기록만으로 원인까지 확정하지 않습니다. 담당자는 병원 작업 내역과 답변 변화 기록을 구분해 제시합니다. 결론은 관측한 답변에서의 변화로 제한하고, 관측하지 않은 답변이나 이후 답변까지 정확해졌다고 확대하지 않습니다.
오류 영향과 감소 판정의 분리
오류 감소와 별개로 환자의 이해나 이용 판단에 영향을 줄 수 있는 오류는 대응 우선순위를 정합니다. 오류 항목 수가 줄었더라도 중요한 안내에 틀린 내용이 남아 있다면 실장은 해당 내용을 별도 관리 대상으로 지정합니다. 감소 보고와 대응 우선순위는 목적이 다르므로, 우선 대응 항목이 있다는 이유로 집계값을 변경하지 않습니다.
담당자는 오류 기록에 내용의 영향과 필요한 내부 전달 대상을 추가할 수 있습니다. 이 메모를 오류 비중에 임의로 반영하면 이전 기록과의 비교 조건이 달라집니다. 영향이 큰 오류는 별도 설명으로 보고하고, 수와 비중은 기존 기록 단위를 유지해 계산합니다.
자주 묻는 질문
오류가 없었던 이전 답변도 비교에 포함해야 합니까?
기존 오류가 있던 답변만 선택하면 정확했던 내용이 이후에 틀리게 변한 사실을 놓칠 수 있습니다. 이미 정한 비교 대상에 오류가 없었던 답변이 포함돼 있다면 그대로 유지합니다. 이전 오류 목록은 정정 추적에 사용하고, 비교 대상 전체를 대신하는 목록으로 사용하지 않습니다.
같은 오류가 여러 답변에 반복되면 합쳐도 됩니까?
반복 발생 횟수와 오류 종류의 수는 구분해 기록합니다. 같은 오류를 하나의 종류로 묶어 관리할 수 있지만, 답변별 오류 집계에서 반복된 발생까지 삭제하면 안 됩니다. 보고서에는 발생을 센 결과인지 종류를 센 결과인지 이름을 명확하게 기재합니다.
답변끼리 내용이 충돌하면 모두 오류로 처리합니까?
답변 간 충돌만으로 어느 내용이 틀렸는지는 확정할 수 없습니다. 서로 다른 시점이나 조건을 설명했을 가능성도 있으므로 각 답변이 주장한 사실의 범위를 먼저 구분합니다. 병원 자료로 어느 쪽이 맞는지 가릴 수 없다면 충돌 내용을 기록하고 사실 판정은 보류합니다.
출처가 없는 답변도 사실이 맞으면 정확한 항목입니까?
별도의 근거 자료로 내용의 사실 여부를 판단할 수 있다면 정확한 항목으로 기록할 수 있습니다. 출처 표시 여부는 사실 판정과 구분해 관리합니다. 구글은 제미나이 앱의 일부 답변에는 출처나 관련 링크가 포함되지 않을 수 있다고 설명하므로, 표시가 없다는 이유만으로 오류를 확정하지 않습니다.
과거 판정이 잘못됐다는 사실을 뒤늦게 알면 어떻게 합니까?
담당자는 기존 기록을 삭제하지 않고 판정 변경 이유와 새 근거를 추가합니다. 잘못된 판정이 구간별 집계에 포함됐다면 관련 집계를 다시 계산하고, 이전 보고와 달라진 항목을 명시합니다. 이미 결과를 전달했다면 실장과 관련 담당자에게 수정된 판단을 같은 범위로 전달합니다.