AI 에이전트가 ‘완료했다’고 하면, 무엇을 증거로 확인해야 할까?

핵심 요약: AI 에이전트가 ‘완료했다’고 보고하는 것과 실제 업무에서 검증된 완료는 다릅니다. 앞으로 인간의 검토는 결과물을 다시 만드는 데서 벗어나, 무엇이 실행됐고 어떤 증거로 확인됐는지 판단하는 방식으로 바뀔 수 있습니다.

휴먼 디렉팅 연구노트 — 공개 연구 중인 가설이며, AI가 인간의 판단을 영원히 대체할 수 없다는 주장이 아닙니다.

휴먼 디렉팅 연구 위치 8/8 (현재 발행 순서 기준)
역할의 이동 → 위임 → 결과 기준 → 예외 개입 → 판단 기준 재검토 → 검증 비용 → 위임 이후 판단 능력 → 이번 관찰: 실행 증거와 검증 가능한 완료

이번 글의 핵심 질문: AI가 ‘작업을 끝냈다’고 보고할 때, 사람은 어떤 증거를 받아야 실제로 완료됐다고 판단할 수 있을까?

AI의 ‘완료’는 무엇을 의미할까?

AI가 보고서를 작성하거나 사이트를 수정하고 ‘완료했습니다’라고 말한다. 이 말은 유용하지만, 그 자체가 검증 결과는 아니다. 파일을 만들었다는 뜻일 수도 있고, 특정 도구가 성공했다고 응답했다는 뜻일 수도 있다. 실제 사용자가 변경된 화면을 보았다는 뜻은 아닐 수 있다.

여기서는 세 단계를 나눠 보려 한다. ① 실행 완료: 요청한 작업을 수행했다. ② 반영 확인: 결과가 올바른 대상·버전에 저장되었다. ③ 사용 환경 검증: 실제 사용자 흐름에서 의도대로 작동하는 것을 확인했다. 단계는 겹칠 수 있지만, 하나를 확인했다고 나머지가 자동으로 증명되지는 않는다.

최근 기술 변화: AI가 고치고 스스로 검증하는 흐름

2026년 10월 15일 GitHub는 코드 스캐닝 경고에 대한 Agentic autofix의 일반 제공을 발표했다. Copilot이 관련 파일을 살펴보고 수정안을 만들고 CodeQL을 다시 실행해 경고가 해소되는지 확인한 다음, 사람이 검토할 수 있는 초안 풀 리퀘스트를 연다. 변경 요약과 검증 과정도 함께 남긴다. 자동 수정과 자동 테스트가 이어지지만, 최종 검토 단계는 구분돼 있다. GitHub 공식 발표

같은 날 정식 제공된 AI Scan for pull requests는 코드 변경에 대한 AI 기반 보안 탐지를 지원한다. 다만 GitHub는 AI Scan 결과를 참고용(advisory)으로 규정하며, 이 발견 자체가 병합을 차단하지는 않는다고 설명한다. AI가 탐지한 정보와 조직이 내리는 최종 결정이 분리된 사례다. GitHub 공식 발표

10월 13일 Google은 Gemini 4 Argon과 함께 대화에서 작업 실행으로 전환하는 인터페이스, 긴 작업에서 진행 상황을 더 자주 알리는 경험을 발표했다. 진행 보고가 촘촘해지는 변화는 유용하다. 하지만 진행 상황 알림이 독립적인 검증을 대신하는 것은 아니다. Google 공식 발표

실제 관찰: 현장 업무 시스템에서 완료와 실증을 구분하다

업무 시스템을 개발하면서 기능 구현과 실제 사용을 구분해야 했던 경험이 있다. 고객 사례를 생성하고 작업 계획을 연결하는 데 성공해도, 현장 작업자가 배정을 확인하고 사진을 저장할 수 있는지는 별도 확인이 필요하다. 품질 검수를 거쳐 고객 화면에 결과가 게시되는 과정도 마찬가지다. 작업 기록과 운영 검증 통과를 구분해야 하는 이유다.

AI 자동화에서 확인할 실행 증거 다섯 가지

요청·범위: 어떤 목표를 어떤 대상·계정·환경에서 수행하도록 허용했는가?
변경 흔적: 생성·수정된 파일, 기록, 게시물, 이벤트의 식별자와 변경 전후 차이가 있는가?
검증 기록: 무엇을 시험했고 어느 환경에서 통과했으며 실패 조건은 무엇인가?
미완료·예외: 건너뛴 단계, 미확인 부분, 재시도 필요 사항이 구분되어 있는가?
승인 책임: 이 증거를 바탕으로 누가 ‘다음 단계 진행’을 승인하는가?

이 다섯 항목을 모든 작은 작업에 장문의 보고서로 만들 필요는 없다. 반복적이고 되돌리기 쉬운 일에는 자동 검증과 간단한 로그면 충분할 수 있다. 외부 공개·금전·고객 통지·중요 정보 변경처럼 영향이 큰 작업일수록 증거 수준과 사람의 확인을 강화할 필요가 있다.

승인 횟수를 늘리는 대신 증거를 설계할 수 있을까?

가능성이 있다. 핵심은 사람이 모든 화면을 직접 다시 클릭하도록 만드는 것이 아니다. AI가 수행 결과와 테스트 흔적을 구조화해 제시하고, 사람이 높은 위험의 결정에서 그 근거를 검토할 수 있도록 하는 것이다. 다만 AI가 생성한 테스트와 로그에도 누락이나 오류가 있을 수 있으므로, 특히 중요한 작업은 독립적인 검증 수단과 비교해야 한다.

이 방식이 항상 시간 절약으로 이어지는지도 별도 검증이 필요하다. 증거 수집과 검토의 부담이 다른 사람에게 전가된다면 자동화의 총생산성이 높아졌다고 단정할 수 없다.

사실 · 현재 가설 · 해석

사실: GitHub의 일부 AI 보안 워크플로는 자동 수정·재검사를 수행하고 검토 가능한 변경 기록을 남긴다. AI Scan 결과는 참고용으로 표시된다.
현재 가설: AI의 실행 범위가 넓어질수록 인간의 판단은 ‘AI가 끝났다고 말했는가?’에서 ‘완료를 뒷받침할 실행 증거가 충분한가?’로 이동할 수 있다.
해석: 휴먼 디렉팅은 단순 승인 버튼이 아니라, 필요한 증거·검증 임계값·다음 단계 권한을 설계하는 과정까지 포함할 가능성이 있다.

자주 묻는 질문

AI가 완료했다고 하면 그대로 믿어도 될까요?

중요한 작업이라면 완료 보고만으로는 부족합니다. 실제 저장·반영 여부, 테스트 결과, 남은 예외를 확인해야 합니다. 확인 수준은 업무 영향과 복구 가능성에 따라 달라집니다.

AI가 자체 테스트까지 통과했다면 사람의 검토는 필요 없나요?

항상 그런 것은 아닙니다. 자체 테스트는 강력한 증거가 될 수 있지만, 테스트 자체가 빠뜨린 조건이나 실제 사용 환경의 차이는 별도로 점검할 수 있습니다.

모든 AI 작업의 로그를 사람이 읽어야 하나요?

아니요. 저위험 반복 작업은 자동 검증을 활용하고, 중요한 변경은 요약된 증거와 예외를 중심으로 사람이 확인하도록 설계하는 편이 현실적입니다.

이 가설을 약하게 만드는 반례

AI가 테스트 조건을 설계하고 독립적인 도구로 실행을 검증하며, 실패 시 자동으로 복구하고, 사람이 별도 확인 없이도 안정적으로 운영할 수 있는 상황이 넓어질 수 있다. 그때 인간이 직접 확인하는 항목은 더 줄어들 것이다. 그렇다면 이번 가설도 ‘사람이 검증한다’가 아니라 어떤 위험에 어떤 증거 수준이 필요한지 결정할 수 있는가로 다시 수정해야 한다.

다음 연구 질문

AI가 실행 증거와 테스트 결과까지 스스로 만들어 낸다면, 우리는 그 증거 자체를 어떻게 신뢰할 수 있을까?

휴먼 디렉팅 연구노트 이어 읽기

이 글은 AI가 발전할수록 인간의 역할과 판단이 어디로 이동하는지 추적하는 휴먼 디렉팅 공개 연구노트의 일부입니다.

휴먼 디렉팅 연구노트 전체 보기 →

후속 연구 글: 판단 기준 재검토 · AI의 검증 비용 · 위임 이후 판단 능력

이 글은 실제 사용 경험과 공개 자료에서 검토 가능한 가설을 제시하는 연구노트입니다. 완성된 이론이 아닙니다. AI가 작업을 마쳤다고 보고했지만 현장에서는 달랐던 경험, 반대로 확인 절차 없이도 안정적으로 운영했던 반례가 있다면 댓글로 공유해 주세요.