Read this article in English →
휴먼 디렉팅 연구노트 — 위임 이후의 판단 능력
AI가 작성한 보고서를 읽는다. 설명은 자연스럽고, 근거도 그럴듯하다. 특별한 문제가 보이지 않아 승인한다.
그런데 누군가 이렇게 묻는다.
“왜 그 결론을 선택하셨나요? 다른 방법은 검토해 보셨나요?”
보고서를 읽을 때는 이해했다고 생각했는데, 막상 답하려니 말이 쉽게 나오지 않는다. AI의 설명을 다시 찾아보게 된다.
이런 상황을 가정해 보면 질문이 생긴다.
나는 그 결론을 판단한 것일까, 아니면 이해하기 편한 설명을 받아들인 것일까?
AI에게 더 많은 일을 맡기는 과정에서 우리가 살펴봐야 할 문제다.
검증의 책임 다음에 남는 질문
앞선 연구노트에서는 AI가 예외와 위험을 감지하고 사람의 개입 시점까지 판단한다면, 인간의 역할이 어떻게 달라질지 살펴봤다. 이어 워크슬롭을 다룬 글에서는 작성자가 아낀 시간이 다른 사람의 검증 부담으로 넘어갈 수 있다는 문제를 다뤘다.
두 논의를 이어보면 한 가지 조건이 드러난다.
“사람이 최종적으로 검토한다”는 운영 방식이 효과를 내려면, 그 사람이 필요한 판단을 할 수 있어야 한다는 점이다.
승인 권한이 있다는 사실과 결과를 평가할 능력이 있다는 사실은 별도로 살펴봐야 한다.
AI에게 판단을 맡기는 범위가 넓어질 때, 우리는 그 판단을 검토할 능력을 어떻게 유지하거나 발전시킬 수 있을까?
이번 글에서 탐구하려는 질문이다.
이해되는 설명과 검토할 수 있는 설명
설명을 읽고 고개를 끄덕이는 일은 중요한 출발점이다. 다만 그것만으로 검토가 충분했다고 보기는 어렵다.
예를 들어 AI가 두 가지 업무 방식을 비교하고 하나를 추천했다고 가정해 보자.
추천 이유를 따라 읽을 수 있어도, 다음 질문에는 답하기 어려울 수 있다.
- 비교에서 빠진 조건은 없는가?
- 어떤 정보가 달라지면 추천도 바뀌는가?
- 다른 선택지가 더 적절해지는 상황은 무엇인가?
- 잘못 선택했을 때 어떤 문제가 생기는가?
이 질문에 모두 혼자 답해야 한다는 뜻은 아니다. 자료를 찾아보거나 AI에게 추가 분석을 요청할 수도 있다.
중요한 것은 지금 무엇을 이해했고, 무엇을 아직 확인하지 못했는지 구분할 수 있는가다.
결론에 익숙해지는 것과 그 결론이 성립하는 조건을 파악하는 것은 서로 다른 수준의 이해일 수 있다.
AI에 맡기면 판단 능력은 약해질까?
여기서 “AI를 많이 쓰면 생각하는 힘이 약해진다”고 결론 내리기는 이르다.
생각해 볼 수 있는 방향은 적어도 두 가지다.
첫 번째는 판단을 연습할 기회가 줄어드는 경우다. 문제를 해석하고, 대안을 비교하고, 선택의 이유를 만드는 과정을 계속 AI에 맡긴다면 사용자는 완성된 결론을 받아들이는 데 익숙해질 수 있다.
두 번째는 AI를 통해 판단을 더 깊이 배우는 경우다. 혼자서는 떠올리지 못했던 대안을 접하고, 자신의 생각에 대한 반론을 듣고, 선택의 조건을 비교할 수도 있다.
같은 보고서를 만들더라도 다음 두 요청은 다른 활동으로 이어질 수 있다.
“가장 좋은 방법을 골라줘.”
“내가 생각한 방법은 이것인데, 놓친 조건과 다른 대안을 비교해 줘.”
첫 번째 요청도 시간과 상황에 따라 적절할 수 있다. 두 번째 요청은 자신의 판단을 점검할 기회를 더 분명하게 만든다.
따라서 이번 연구에서는 AI 사용량 자체보다 판단 과정에 어떻게 참여하는지가 중요할 수 있다는 가설을 세워볼 수 있다. 실제로 어떤 방식이 능력의 유지와 향상에 도움이 되는지는 관찰이 필요하다.
승인 버튼이 실질적인 판단이 되려면
휴먼 디렉팅에서는 목적과 권한, 검증 기준, 개입 조건을 설계하는 일을 살펴보고 있다.
그런데 마지막에 승인 버튼을 누르는 사람을 두었다고 해서 이 구조가 충분해지는 것은 아니다.
검토할 시간이 없거나, 필요한 자료에 접근할 수 없거나, 문제가 보여도 결과를 바꿀 수 없다면 승인은 형식적인 절차에 가까워질 수 있다.
그래서 사람의 판단 능력뿐 아니라 판단할 수 있는 환경도 함께 봐야 한다.
무엇을 확인해야 하는지 알고 있는가. 확인에 필요한 정보가 제공되는가. 모르는 부분을 질문할 수 있는가. 필요한 경우 작업을 멈추거나 다른 전문가에게 넘길 수 있는가.
실질적인 판단은 개인의 능력과 업무의 조건이 함께 갖춰질 때 가능하다.
휴먼 디렉팅을 개인에게 책임을 더 얹는 개념으로만 설명해서는 부족한 이유다. 판단이 필요한 지점에 정보와 시간, 수정 권한을 어떻게 배치할지도 탐구해야 한다.
일상에서 해볼 수 있는 작은 관찰
이 문제를 살펴보기 위해 모든 업무를 직접 다시 수행할 필요는 없다. 중요한 판단이 포함된 작업 몇 가지를 골라 작은 관찰을 시작할 수 있다.
다음은 효과가 검증된 처방이 아니라, 앞으로 시험해 볼 실험안이다.
1. AI의 답을 보기 전에 내 예상을 남긴다
처음부터 정답을 맞히려는 목적은 아니다.
“나는 현재 A가 적절하다고 생각한다. 이유는 두 가지다. 다만 비용 조건은 확실하지 않다.”
이 정도만 적어도 이후 AI의 답과 비교할 출발점이 생긴다. 내 생각이 어디서 바뀌었고, 어떤 정보가 변화에 영향을 주었는지 살펴볼 수 있다.
다만 자신의 첫 생각에 집착하지 않도록 주의해야 한다. 예상은 지켜야 할 답이 아니라 수정할 수 있는 기록이다.
2. 결론이 바뀌는 조건을 묻는다
AI에게 추천 이유만 요청하면 그 선택을 뒷받침하는 설명이 더해질 수 있다. 다음과 같은 질문도 함께 던져볼 만하다.
“어떤 조건이 달라지면 이 추천이 적절하지 않게 되나요? 빠진 정보와 다른 선택지가 유리해지는 상황을 구분해 주세요.”
이 질문은 결론의 적용 범위를 살펴보는 데 도움을 줄 수 있다. 다만 AI가 제시한 반례와 근거 역시 필요에 따라 원자료와 대조해야 한다.
3. 선택 이유와 남은 불확실성을 정리한다
작업을 마칠 때는 다음을 짧게 남겨본다.
“나는 무엇을 선택했는가. 무엇을 근거로 선택했는가. 어떤 부분은 아직 확인하지 못했는가.”
자료를 보지 않고 외워 말하는 능력을 평가하려는 것은 아니다. 자료와 AI의 도움을 받으면서도 선택의 근거를 찾아 설명하고, 질문이 생겼을 때 다시 검토할 수 있는지를 보는 것이다.
무엇이 달라졌는지 확인해야 한다
이 과정을 거쳤다는 이유만으로 판단 능력이 좋아졌다고 말할 수는 없다.
자신감은 높아졌지만 오류를 더 잘 발견하지 못할 수도 있다. 검토 기록은 자세해졌지만 실제 결정에는 도움이 되지 않을 수도 있다.
따라서 비슷한 작업을 반복하면서 다음을 함께 살펴볼 필요가 있다.
- 중요한 누락이나 오류를 더 잘 발견했는가?
- 조건이 달라졌을 때 선택을 적절하게 수정했는가?
- 확인하지 못한 부분을 더 정확하게 구분했는가?
- 추가 검토 시간이 줄인 오류와 재작업에 비해 적절했는가?
사람이 개입해서 도움이 된 사례와 개입했어도 나아지지 않은 사례를 함께 남겨야 한다. AI에 맡겨도 충분했던 작업 역시 중요한 기록이다.
휴먼 디렉팅의 유용성은 이런 비교를 통해 더 구체적으로 설명할 수 있을 것이다.
AI가 검증과 학습까지 잘하게 된다면
AI가 결과를 만들고, 근거를 비교하고, 사용자의 이해를 점검하는 일까지 더 잘 수행하는 상황도 생각해 볼 수 있다.
그때도 사람이 지금과 같은 방식으로 모든 과정을 확인해야 할까?
반드시 그렇다고 단정할 수는 없다. 신뢰할 수 있는 자동 검증이 반복적인 확인을 줄여줄 수도 있고, AI의 설명과 질문이 사용자의 판단을 도울 수도 있다.
그렇다면 사람에게 필요한 역량과 개입 방식도 달라질 수 있다. 모든 세부 작업을 직접 재현하는 능력보다, 언제 추가 확인이 필요한지 알고 적절한 도움을 요청하는 능력이 더 중요해지는 업무도 있을 것이다.
반대로 자동 검증이 같은 자료와 가정을 반복해서 사용한다면, 여러 번 확인했어도 같은 문제를 놓칠 수 있다. 검증 횟수와 검증의 독립성을 구분해서 살펴야 한다.
관찰할 대상은 인간과 AI 중 누가 더 많이 판단했는지가 아니다.
어떤 협업 방식에서 오류가 줄고, 필요한 수정이 가능하며, 판단의 근거가 더 분명해지는가다.
위임한 뒤에도 다시 질문할 수 있는가
AI에게 일을 맡기면 직접 수행하는 과정은 줄어들 수 있다. 그 변화가 우리의 판단을 어떻게 바꾸는지는 사용 방식과 업무 조건에 따라 다를 수 있다.
이번 연구에서 제안하는 가설은 다음과 같다.
AI에게 결과와 판단을 맡기더라도, 그 근거를 비교하고 조건의 변화를 확인하며 필요할 때 수정을 요청하는 과정에 참여한다면 실질적인 검토 능력을 유지하거나 발전시키는 데 도움이 될 수 있다.
이 가설도 실제 경험을 통해 수정해야 한다. 사람의 참여가 어느 지점에서 유익하고, 어느 지점에서 불필요한 부담이 되는지 계속 살펴야 한다.
다음에 AI의 결과물을 승인할 때는 잠시 이렇게 물어보면 어떨까.
나는 이 결론의 근거와 한계를 설명하고, 조건이 바뀌면 다시 검토할 수 있는가?
그 질문에 어디까지 답할 수 있는지가, 지금 우리의 위임 방식을 돌아볼 출발점이 될 수 있다.
휴먼 디렉팅은 AI 발전에 따라 인간의 역할과 판단, 개입 방식이 어떻게 달라지는지 탐구하기 위한 잠정 개념입니다. 이 글은 AI 사용이 판단 능력을 약화하거나 향상한다는 실증적 결론을 제시하지 않습니다. 가상의 장면에서 연구 질문과 가설을 도출하고, 이를 확인할 관찰 방법을 제안한 연구노트입니다.
답글 남기기