AI 자동화가 놓친 오류는 어떻게 알까? 휴먼 디렉팅의 독립 검증 설계

글 테크모라 편집팀

· 발행

· 업데이트

AI 자동 검사에서 놓친 오류를 별도의 독립 점검 단계가 발견하는 흐름을 표현한 일러스트

핵심 요약. AI 자동화 검증을 100번 하고 경고가 3번 나왔다고 해서 ‘오류가 3건뿐’이라고 말할 수 있을까? 아니다. 검토가 찾은 오류와 검토가 놓친 오류는 다르다. 이번 휴먼 디렉팅 연구노트는 앞선 글의 ‘독립 감독은 어떻게 할까’라는 질문에서 한 단계 나아가, 실제로 놓친 오류를 측정할 분모와 독립 점검 절차를 설계한다.

휴먼 디렉팅(Human Directing)은 AI가 실행·검증·판단의 일부를 맡는 시대에 목표, 감독, 중단 기준이 어떻게 형성되는지 탐구하는 잠정 개념이다. 이 글의 수치와 사례는 방법을 설명하기 위한 가상 예시이며, TECMORA가 실제 운영 데이터를 수집해 검증한 실험 결과가 아니다.

지난 연구노트의 ‘다음 질문’에서 출발하다

지난 연구노트 「AI가 감독까지 맡는다면, 사람은 무엇을 확인해야 할까?」에서는 모든 작업을 사람이 승인하는 방식도, AI의 ‘정상’ 판정을 그대로 믿는 방식도 충분하지 않다고 보았다. 그리고 다음 질문을 남겼다. 검토를 줄인 뒤에도 중요한 오류를 더 잘 발견했는지, 사람의 주의력과 판단이 개선됐는지를 어떻게 측정할까?

기초 탐구 기록 v0.1(1~11차 질문 정리)에는 개별 기능의 효율이 전체 업무의 편리함으로 이어지지 않을 수 있다는 관찰이 있다. 또한 ‘어디까지 하면 충분하며, 언제 멈춰야 하는가?’라는 12번째 질문이 보류돼 있다. 오늘은 이 가운데 검증의 효과를 착각하지 않는 측정 방법을 다룬다. 기존 기록을 기반으로 한 새로운 연구 설계이지, 검증된 이론의 후속 실험 보고는 아니다.

경고가 적게 뜨면 AI 감독이 잘하는 것일까?

자동 검사로 100건을 처리해 경고가 3번 발생했다고 하자. 그중 2건이 실제 오류였다는 사실은 ‘발견한 오류가 2건’이라는 뜻일 뿐이다. 경고가 한 번도 뜨지 않은 97건에 오류가 없었는지는 알 수 없다. 반대로 경고가 20번 떴다고 감독 기능이 더 우수한 것도 아니다. 필요 없는 경고가 늘어 사람의 주의력을 소모했을 수 있기 때문이다.

여기에는 측정의 함정이 있다. 경고된 사례만 사람이 확인하면, 놓친 오류를 발견할 기회가 구조적으로 사라진다. 이것은 AI에만 해당하는 문제가 아니라 품질 관리 전반에서 발생할 수 있는 표본 선택 문제다.

먼저 ‘실제 오류’라는 기준을 만들어야 한다

놓친 오류를 계산하려면 ‘정답’에 가까운 비교 기준이 필요하다. 계약 정보처럼 원문과 비교해 분명히 판정할 수 있는 오류도 있지만, 문장 품질·상담 적절성·고객 만족처럼 평가자 사이에 견해가 갈리는 항목도 있다. 따라서 과제에 따라 다음을 구분해야 한다.

  • 명확한 오류: 원본 금액 누락, 날짜 뒤바뀜, 존재하지 않는 출처 등 독립 원문이나 시스템 기록으로 판정 가능한 사례.
  • 판정이 필요한 품질 문제: 설명의 충분성, 사용성, 어조처럼 사전에 평가 기준과 평가자 합의가 필요한 사례.
  • 판정 유보: 원문 정보 자체가 불충분하거나 평가자 간 의견 차이가 해소되지 않은 사례. 억지로 ‘정상’ 혹은 ‘오류’로 넣지 않는다.

검증자는 가능하면 AI의 확신도·자체 판정을 먼저 보지 않고 원문과 완료 증거를 확인해야 한다. 모든 자료에 독립적인 정답이 존재한다는 뜻은 아니며, 불확실성 자체를 기록하는 편이 더 정직하다.

가상의 40건으로 이해하는 ‘발견’과 ‘누락’

다음 수치는 모두 설명용 가정이다. 독립 검토자가 40건을 전부 확인해 실제 오류 10건과 정상 30건을 구분할 수 있었다고 가정하자. AI가 포함된 1차 경고 체계는 실제 오류 6건을 표시했지만 4건을 놓쳤고, 정상 30건 중 5건에도 불필요한 경고를 냈다.

실제 상태검토 경고경고 없음
실제 오류가 있음 (10건)6건 발견4건 놓침
실제 오류가 없음 (30건)5건 오경보25건 정상 통과

이 가상 집합에서 실제 오류 발견 비율은 6÷10=60%, 놓친 오류 비율은 4÷10=40%다. 정상 30건 중 경고가 잘못 발생한 비율은 5÷30≈16.7%다. 경고가 11건이라는 수치만 보고는 이 세 사실을 알 수 없다.

주의할 점이 있다. 여기서 ‘전체 오류 10건’을 알 수 있는 것은 40건 모두에 독립 검증을 실시했다는 가정 덕분이다. 실제 시스템의 모든 건을 검토하지 못했다면, 표본에서 계산한 비율을 전체 운영 성능처럼 단정하면 안 된다. 심각도가 다른 오류를 한 숫자로 합치는 일도 조심해야 한다.

실제 업무에서 적용할 수 있는 독립 점검 설계

1. 검토 대상에 ‘경고 없는 건’도 반드시 넣는다

매주 일정한 시간이나 표본 수를 정해 경고가 발생한 건뿐 아니라 자동 통과한 건에서도 일부를 무작위 선정한다. 예외·고위험 건은 별도 전수 확인 대상으로 둘 수 있다. 무작위 표본의 결과를 전체 오류율로 추정하려면 추출 확률과 모집단 구성, 표본 크기를 함께 다뤄야 하므로 작은 팀은 우선 ‘발견한 누락 사례’와 ‘아직 확인하지 못한 범위’를 분리해 기록하는 수준부터 시작할 수 있다.

2. AI의 자체 설명과 독립 자료를 분리한다

AI가 “이 항목은 적절하다”고 설명한 뒤 같은 AI에게 “다시 검토해 줘”라고 요청하면, 두 확인의 오류가 서로 독립적이라고 보장할 수 없다. 원본 파일, 실제 저장 상태, 고객에게 표시된 최종 내용, 시스템 로그처럼 서로 다른 종류의 근거를 확보한다. 고위험 업무에서는 독립된 다른 검토자나 검증 경로가 필요한지 판단한다.

3. 발견율만이 아니라 검토 비용도 함께 기록한다

최소한 중대한 오류의 누락 건수, 불필요한 경고, 검토·수정 시간, 재작업, 판정 유보 건수를 함께 본다. 중요한 오류를 더 잘 잡아도 전체 검토 시간이 급격히 늘었다면 운영 방식 개선이 필요할 수 있고, 검토 시간이 줄었더라도 중대한 누락이 늘면 ‘효율 상승’이라고 결론 내리면 안 된다.

4. ‘멈춤’ 조건은 관찰 전에 정한다

예를 들어 개인정보 노출이나 금전 관련 내용의 오기, 권한을 넘는 변경 등은 발생 자체가 즉시 보류·원인 조사 대상인지 사전에 결정한다. 조직마다 피해 규모·규제·복구 가능성이 다르므로 이 글은 모든 현장에 통용되는 임계값을 제시하지 않는다. 위험이 작고 되돌릴 수 있는 작업과 회복하기 어려운 작업의 허용 기준은 달라야 한다.

사람의 판단 능력이 개선됐다는 것은 어떻게 알까?

AI 도입 후 사람이 보는 검토 건수가 줄었다는 사실은 주의력이 좋아졌다는 증거가 아니다. 사람이 근거를 더 잘 찾고, 오판을 알아채며, 필요한 경우 자신의 판단을 수정하는지 별도로 관찰해야 한다. 검토자가 원문을 먼저 확인한 경우와 AI 요약·추천을 먼저 본 경우를 비교하는 방법이 한 가지 연구 설계가 될 수 있다. 그러나 같은 사람이 반복 참가하면 학습·순서 효과가 생기므로 사례 난이도와 평가 순서를 통제해야 한다.

  • 근거 이해: ‘왜 맞다/틀리다고 생각했는가?’를 원문이나 기록으로 설명할 수 있는지.
  • 정정 능력: 새로운 반대 증거가 나올 때 판단을 고칠 수 있는지.
  • 신뢰 조절: AI 답과 독립 자료가 충돌할 때 무엇을 더 확인하는지.
  • 주의력 배분: 긴급하지 않은 승인에 쓰는 시간이 줄고, 중요한 예외에 충분한 검토 시간을 썼는지.

이 질문들이 휴먼 디렉팅만의 고유 성질이라고 단정할 근거는 아직 없다. 기존 인간-AI 상호작용 연구의 평가 질문과 상당 부분 겹치며, 무엇이 새로운지 추가로 구분할 필요가 있다.

외부 기준과 비교하면 어디까지 뒷받침될까?

미국 NIST의 AI Risk Management Framework Playbook — MEASURE는 중요한 위험부터 측정 지표를 선택하고, 측정하지 못하는 위험도 문서화하며, 실제 사용 목적에 맞는 평가 방법을 검토하도록 제안한다. MANAGE에서는 목적 달성 여부와 위험·편익, 조직의 허용 범위에 따라 지속·변경·중단을 판단하도록 안내한다. 이는 자발적 위험관리 지침이며, 본 글의 가상 40건 실험이나 특정 지표 조합을 실증한 결과는 아니다.

Microsoft Research의 「Guidelines for Human-AI Interaction」(CHI 2019)은 18개 설계 지침을 제안했고, 49명의 설계 실무자가 20개 AI 제품을 대상으로 검토한 평가를 보고했다. 특히 오류 정정의 용이성, 시스템이 무엇을 할 수 있는지 명확하게 알리기, 신중한 업데이트 등은 감독을 ‘승인 버튼 수’가 아니라 사람이 오류를 인식하고 바로잡을 수 있는 인터페이스로 바라보게 한다. 이 연구 역시 특정 자동화의 누락률을 제시하지 않는다.

반례와 한계: 독립 검증이 언제나 정답은 아니다

첫째, 완벽한 정답지가 없거나 전문가 간 의견이 갈리면 ‘누락률’을 정확히 계산할 수 없다. 둘째, 피해가 드물지만 큰 사고는 작은 표본 조사에서 아예 관찰되지 않을 수 있다. 셋째, 고급 AI 시스템이 자기 진단과 외부 검증을 안정적으로 결합한다면 직접 사람이 보는 비율을 더 줄일 수도 있다. 반대로 사람과 AI가 같은 원문 오류를 공유한다면 사람의 참여만으로 독립성이 확보되지 않을 수 있다.

따라서 결론은 ‘언제나 사람이 마지막에 봐야 한다’가 아니다. 실제 위험과 비용을 고려해 어떤 오류를 어떤 독립 근거로 측정할지, 무엇을 미확인 상태로 남길지 투명하게 설계하는 것이 현재의 연구 가설이다.

작게 시작하는 1주일 관찰 제안

진짜 운영에 적용한다면 먼저 민감정보를 제거한, 되돌릴 수 있는 저위험 업무에서 시작한다. ① 기존 경고·자동 통과 기록을 모두 보존하고 ② 사전에 정의한 방법으로 검토 건을 선정하며 ③ AI의 결론과 별개로 원문·저장 상태를 확인하고 ④ 누락·오경보·검토 시간·판정 유보를 분리해 기록한다. 실험을 실제로 수행했다는 뜻이 아니라, 추후 검증 가능한 제안이다.

다음 탐구 질문: 오류를 더 찾기 위해 검증을 늘리는 순간, 언제부터 검증 자체가 본래 목적을 해칠까? ‘충분히 확인했다’는 판단은 어떤 증거와 비용 경계에서 가능할까?

참고 자료와 이어 읽기

  • 내부 연구 기반: 휴먼 디렉팅 탐구 기록 v0.1 — 1~11차 질문 정리(비공개). 이번 글은 기존 관찰과 보류된 12번째 질문의 탐구를 이어가며, 비공개 사례의 식별정보는 공개하지 않았다.
  • NIST (2023년 AI RMF 1.0 기반 Playbook, 2026.11.09 확인): MEASURE 및 MANAGE. 측정 기준, 미측정 위험 기록과 위험 허용 수준에 관한 자발적 지침.
  • Amershi, S. 외 (CHI 2019): Guidelines for Human-AI Interaction. 인간-AI 시스템의 상호작용 설계와 정정 가능성에 관한 연구(2026.11.09 확인).
  • 이전 연구노트: AI가 감독까지 맡는다면 · AI의 ‘완료’ 증거 · 독립적인 AI 감독.

응답

  1. […] AI 자동화가 놓친 오류는 어떻게 알까? 휴먼 디렉팅의 독립 검증 설계 […]

    좋아요

  2. […] 연구노트 「AI 자동화가 놓친 오류는 어떻게 알까?」는 AI 경고가 잡아낸 오류와 경고 없이 지나간 오류를 구분하고, 독립 표본 […]

    좋아요