테크모라

AI가 감독까지 맡는다면, 사람은 무엇을 확인해야 할까? — 휴먼 디렉팅 연구노트

AI 자동화의 여러 흐름 가운데 중요한 신호만 독립 검토 지점으로 모이는 개념 이미지

핵심 요약: AI가 스스로 실행하고 감시하는 일을 늘리면 사람의 승인도 더 많이 필요할까? 휴먼 디렉팅의 이전 연구에서 남은 질문은 ‘감독을 없앨 수 있는가’가 아니라 어떤 순간에, 어떤 독립적인 증거를 보고, 얼마만큼 개입해야 충분한가이다. 검토 횟수만 늘리기보다 검토의 목적과 비용을 함께 설계해야 한다는 가설을 살펴본다.

휴먼 디렉팅(Human Directing)은 AI 시대 인간과 AI의 판단·위임·방향 수정이 어디에서 일어나는지 탐구하는 잠정 개념이다. 이 글은 기존 탐구 기록과 공개 연재를 잇는 연구노트이며, 완성된 이론이나 새로 수행한 실험 결과가 아니다.

이번 질문: AI가 작업뿐 아니라 검증과 감시까지 수행한다면, 사람은 무엇을 직접 확인해야 하고 어디서 멈춰야 할까?

이 질문은 어디에서 시작됐나

초기 휴먼 디렉팅 탐구에서는 개별 업무를 자동화할수록 각 기능은 편리해졌지만, 여러 도구를 오가며 상태를 확인해야 하는 부담이 남았다. 문제는 개별 기능의 속도가 아니라 처음부터 끝까지 이어지는 업무의 목적과 흐름에 있었다. 여기서 ‘주어진 요청을 그대로 처리하는 것’과 ‘실제 해결하려는 문제를 다시 보는 것’을 구분하기 시작했다.

기존 탐구 기록에는 자동화의 목적을 ‘시간 절약’보다 넓게 보려는 시도도 담겼다. 시간·주의력·에너지를 어디에 배분할지, 비용·안정성·시스템 복잡성 사이에서 무엇을 채택하고 무엇을 멈출지 결정하는 문제다. 보류한 질문은 특히 간명했다. ‘어디부터 충분하고, 어디부터 과한가?’

공개 연재는 이 질문을 ‘AI가 완료했다고 말할 때의 실행 증거’와 ‘AI가 자신의 감시 장치까지 바꿀 때의 감독 체계의 독립성’으로 확장했다. 이제 한 단계 더 가보려 한다. 독립적인 감독이 필요하더라도, 사람이 모든 결과와 모든 경고를 확인하는 방식이 좋은 감독일까?

모두 확인하라는 규칙은 왜 부족할까

AI가 결과를 100건 만들면 사람이 100건 모두 승인하도록 하는 설계는 겉으로는 안전해 보인다. 그러나 모든 건의 중요도가 같지는 않다. 오류가 나도 쉽게 되돌릴 수 있는 내부 분류와, 고객에게 보내는 확정 안내 또는 되돌리기 어려운 변경은 영향이 다르다. 이때 같은 수준의 검토를 요구하면 중요도가 낮은 승인에 주의력을 소모할 수 있다. 여기서 말하는 ‘승인 피로’는 가능한 운영 위험이지, 이 연구노트에서 실측해 입증한 현상이 아니다.

반대 극단도 문제가 있다. AI가 ‘검증 완료’라고 보고했으니 사람은 전혀 보지 않는다면, 검증 도구가 같은 자료와 가정을 반복했는지, 감시 기록이 누락됐는지 발견하기 어렵다. 따라서 질문은 사람의 개입을 무조건 늘리거나 줄이는 양자택일이 아니다. 어떤 작업에서 사람의 검토가 새로운 정보를 더하는가를 따져야 한다.

외부 연구를 대조하니 보이는 두 가지 경고

① AI의 ‘판정’보다 확인할 ‘근거’를 보여주는 편이 나을 때가 있다

Jain 등 연구진의 〈Human-AI Complementarity: A Goal for Amplified Oversight〉(2025년 10월 30일 공개 연구 원고)는 AI가 만든 문장 1,918개에 대한 사실 판별을 다뤘다. 이 연구의 특정 평가 조건에서 AI 단독 정확도는 87.7%였고, AI의 낮은 확신 사례를 사람에게 넘기되 검색 결과와 근거를 제공한 결합 방식은 91.3%였다.

중요한 것은 이 수치를 모든 조직의 자동 검토 성공률로 옮기는 일이 아니다. 연구진은 AI가 내린 판정·확신도·설명을 함께 보여줄 때 사람이 잘못된 결론에 과도하게 의존할 수 있는 반면, 검색 결과와 원문 근거를 보여주는 방식은 일부 조건에서 더 적절한 신뢰 형성에 도움이 됐다고 보고했다. 또한 사람이 익숙해지면서 같은 보조 방식의 효과가 달라졌다. 이는 ‘어떤 자료를 보여주고 누구에게 넘길지’도 계속 재검토해야 한다는 단서다.

다만 이 연구는 사실 확인이라는 제한된 평가 작업을 다루며, 모든 현장 운영·계약·금전 업무의 위험을 검증한 것은 아니다. 공개 연구 원고로서 실제 업무 적용 전에는 별도 평가가 필요하다.

② 사람에게 더 조사하라고 해도 검증 능력이 자동으로 높아지지는 않는다

Recchia 등 연구진의 〈Confirmation bias: A challenge for scalable oversight〉(2025년 5월 최초 공개)는 사람의 AI 답변 평가에서 확증편향 문제를 연구했다. 실험에서는 참가자들이 온라인 조사를 거친 뒤에도 잘못된 AI 답변에 대한 확신이 커지는 경우가 관찰됐다. 연구진이 시험한 단순 감독 방식은 전체적으로 뚜렷한 우위를 보이지 않았다.

이 결과는 ‘검색은 쓸모없다’는 결론이 아니다. 같은 결론을 재확인하려는 검토와, 반증 가능한 자료를 찾아보는 검토는 다를 수 있다는 경고에 가깝다. 이 연구 역시 제한된 실험 설계와 평가 과제에 대한 결과이므로 모든 업무 상황에 일반화해서는 안 된다.

휴먼 디렉팅의 현재 제안: 검토를 네 단계로 나눠보기

다음은 검증된 보편 규칙이 아니라, 지금까지의 연구 가설을 소규모 업무 자동화에 적용해 볼 수 있는 설계안이다. 도메인별 위험, 기존 승인 권한과 실제 오류율에 따라 바꿔야 한다.

  • 자동 통과 + 표본 점검: 영향이 작고 되돌리기 쉬운 반복 작업은 사전에 정한 조건을 통과하면 진행하되, 일부 사례를 주기적으로 독립 확인한다. ‘통과’의 근거와 미확인 항목은 남긴다.
  • 근거 검토 후 진행: 불확실성이 크거나 기존 사례와 모순되는 작업은 AI의 최종 ‘문제없음’ 판정만 보지 않고 원문·변경 기록·실제 저장 상태 같은 확인 가능한 자료를 받는다.
  • 지정된 고위험 승인: 금전·권한·고객에게 확정하는 약속·복구하기 어려운 변경 등은 사전에 승인된 위임 범위를 구분하고, 그 범위 밖에서는 권한을 가진 사람이 직접 결정한다. 모든 외부 공개가 반드시 매번 수동 승인되어야 한다는 뜻은 아니다.
  • 중단과 복구: 감시 자체가 바뀌었거나, 동일한 오류가 반복되거나, 기록과 실제 결과가 충돌하면 ‘승인 요청을 하나 더 띄우는 것’보다 작업을 멈추고 독립 경로에서 상태를 확인한다.

미국 NIST의 AI Risk Management Framework Playbook, GOVERN 3.2 역시 인간-AI 업무에서 감독하는 사람과 사용하는 사람의 역할, 책임, 적절한 인간 개입 수준을 구별해 문서화하도록 제안한다. 이는 자발적 위험관리 지침이지 이 글의 네 단계 설계가 실험적으로 입증됐다는 뜻은 아니다.

간단한 검증 실험은 어떻게 설계할까

다음은 아직 실행하지 않은 2주 관찰 실험 제안이다. 같은 종류의 업무에서 기존 ‘모두 승인’ 방식과 ‘위험·근거 기준에 따른 선택적 검토’ 방식을 비교한다. 한 번의 성공 사례로 결론을 내리지 않고 작업 난이도와 영향도, 기준 변경 여부를 함께 기록한다.

  • 시간: 검토 1건당 평균 소요 시간과 예외 처리에 쓴 총 시간을 구분한다.
  • 정확성: 발견한 중요한 오류뿐 아니라 승인 후 뒤늦게 발견된 누락·재작업도 기록한다.
  • 검토의 독립성: AI가 보고한 결론과 별개의 자료·도구로 확인한 사례가 얼마나 되는지 구분한다.
  • 사람의 부담: 승인 요청 횟수, 반복 경고, 실제로 판단에 도움이 된 정보의 비율을 함께 본다.
  • 중단 판단: 중요한 오류가 계속 누락된다면 ‘검토가 줄어 효율적’이라고 결론 내리지 않고 즉시 실험을 재설계한다.

이때 AI가 자기 확신도를 높게 표시한다고 반드시 정확한 것은 아니다. 임계값은 특정 연구의 숫자를 그대로 가져오는 대신 실제 작업의 오류 유형·복구 비용·측정 결과로 정해야 한다.

반례를 고려하면 가설은 어떻게 달라질까

AI가 독립적인 도구로 오류를 검출하고, 스스로 복구하며, 업무별 위험을 실제로 잘 평가한다면 사람의 직접 검토는 지금보다 훨씬 적어질 수 있다. 반대로 AI와 사람이 비슷한 근거에 기대어 같은 오류를 반복한다면 사람이 마지막에 ‘승인’ 버튼을 눌러도 감독의 독립성은 확보되지 않을 수 있다.

따라서 현 단계의 가설은 ‘인간이 모든 AI 결과를 최종 판단한다’가 아니다. 사람과 AI가 어디에서 새로운 정보를 얻고, 어떤 위험을 누가 받아들이며, 어느 조건에서 방향을 수정하거나 멈출지를 설계하는 능력이 중요해질 수 있다는 것이다. 이것이 휴먼 디렉팅만의 독립된 이론인지도 아직 확정하지 않는다.

자주 묻는 질문

사람의 검토를 줄이면 무조건 위험해지지 않나?

아니라고도, 그렇다고도 단정할 수 없다. 줄인 검토가 단순 반복이었는지, 중요한 오류 탐지 기회를 없앴는지 실제 결과로 확인해야 한다. 위험이 큰 업무는 독립 확인과 승인 기준을 강화할 수 있다.

AI가 내놓은 근거 링크만 보면 충분할까?

그렇지 않다. 링크가 실제 원문을 가리키는지, 관련 주장을 뒷받침하는지, 오래되거나 편향된 자료는 아닌지 확인해야 한다. ‘근거를 표시했다’와 ‘근거가 타당하다’는 다른 상태다.

작은 팀도 이런 기준이 필요한가?

필요한 만큼만 적용하면 된다. 모든 작업에 복잡한 위원회를 만들라는 뜻이 아니라 자동 진행 범위, 예외 신호, 실제 확인 수단, 중단 책임을 한눈에 볼 수 있게 하는 것이 출발점이다.

이번 연구의 잠정 결론과 다음 질문

기존 관찰: 부분적인 자동화가 늘어도 전체 흐름과 주의력의 배분 문제는 남을 수 있다. 외부 연구: 사람에게 보여주는 AI 판정과 근거의 형태에 따라 사실 검증 성능이 달라졌고, 사람의 추가 조사도 편향을 피한다고 보장하지 않는다. 이번 가설: 감독의 질은 승인 횟수보다 어떤 작업에 어떤 독립 근거를 배치하고 어떤 경우 멈추는가에 더 크게 좌우될 수 있다.

다음 탐구 질문: 검토 횟수를 줄인 뒤에도 중요한 오류를 더 잘 발견했는지, 그리고 사람의 주의력과 판단 능력이 실제로 개선됐는지를 어떻게 측정할까?

자료와 이어 읽기

기존 탐구 기반: 휴먼 디렉팅 탐구 기록 v0.1(1~11차 질문 정리) 중 자동화의 상위 목적, 주의력 배분, 제약조건, 보류된 ‘충분함·멈춤의 기준’에 관한 탐구를 편집 기반으로 사용했다. 비공개 원문은 공개하지 않았다.

이전 연구노트: 검증 시간은 누가 부담하는가? · ‘완료’의 실행 증거 · 감독 체계의 독립성

이 글에서 제안한 검토 분류와 관찰 지표는 아직 현장에서 검증하지 않은 연구 제안이다. AI 자동화가 더 안전하거나 더 효율적이라는 확정적 결론으로 받아들이지 말아야 한다.

답글 남기기