Routing decisions to people by stakes, not by volume
Decision logging cho bạn một bản record về căn cứ của từng automated decision: input hệ thống nhận, execution path nó đi, và output nó tạo ra. Một logged decision có thể được giải thích sau khi sự việc đã xảy ra (after the fact), nhưng bản thân một log thì không thể tự quyết định xem decision nào cần con người nhảy vào tham gia (weigh in) trước khi nó có hiệu lực. Log dùng để giải thích quyết định sau đó. Còn một routing rule sẽ ngăn những quyết định sai ngay từ đầu, không cho chúng có hiệu lực. Bạn sẽ cần xác định decision nào xứng đáng có thêm một bước human review và người review đó cần thấy những gì trên màn hình để đưa ra quyết định (make the call) nhanh nhất. Log bạn đã dựng chính là raw material cho view đó, nên vấn đề ở đây chỉ là quyết định xem nên surface thông tin gì từ log và khi nào, chứ không phải đi instrument lại hệ thống từ đầu.
What sets the stakes of a decision
Hãy coi human review như một khoản ngân sách (budget): bạn có một lượng reviewer attention hữu hạn, và bạn phải tập trung nó vào những item có stakes cao nhất. Các biến số dưới đây sẽ phối hợp với nhau để thiết lập nên stakes của một decision:
Reversibility là khả năng hoàn tác (undone) dễ dàng hay không của một quyết định sai.
Cost of a wrong decision là thiệt hại mà sai lầm đó gây ra nếu nó lọt qua mà không được sửa.
Hai yếu tố này quyết định stakes của decision: một lựa chọn khó hoàn tác (hard to reverse) và đắt giá khi sai (expensive when wrong) sẽ là high stakes, bất kể hệ thống đưa ra kết quả đó theo cách nào.
Confidence là biến số thứ ba nằm trên hai yếu tố kia. Đó là score mà hệ thống tự đưa ra về output của chính nó, và nó chỉ hữu ích khi đã được calibrate chuẩn xác, vì một model hoàn toàn có thể sai một cách rất tự tin (confidently wrong). Confidence không làm thay đổi stakes của một decision; nó ước tính xác suất output này có thể sai, từ đó cho bạn biết bao nhiêu phần trăm trong tổng volume nên được route tới con người để review.
Kết hợp các biến số này thành một quy tắc: route decision tới con người khi chúng có low-confidence và rơi vào trường hợp irreversible hoặc high-cost; cứ để các decision dạng confident, reversible, low-cost đi qua. Một decision đáp ứng đủ 3 yếu tố confident, easily reversed, low-cost thường có thể chạy tự động mà không cần con người. Ngược lại, một decision low-confidence, irreversible, high-cost gần như luôn luôn cần human review.
Những decision ngốn sạch review budget của bạn chính là những ca mà các biến số này thuẫn thuẫn với nhau (disagree). Một trường hợp có thể là high cost nhưng lại easily reversed, hoặc low confidence trên một tác vụ cực kỳ trivial để undo. Khi chúng xung đột, hãy ưu tiên trọng số lớn hơn cho cost và reversibility, vì chúng quyết định hậu quả của một sai lầm. Hãy để confidence quyết định xem bao nhiêu phần trong lượng high-stakes volume đó bạn có thể safely cho qua mà không cần review. Việc routing dựa trên confidence đi kèm một giả định quan trọng: tín hiệu confidence phải được calibrate thì rule mới đúng, và việc xác nhận calibration đó cũng là một task riêng biệt.
Where the human sits is a tradeoff between safety and speed
Một khi decision đã được route tới con người, bạn phải chọn vị trí của họ trong flow. Đặt con người vào càng sớm thì càng safe nhưng càng slow.
Placement | What it gives you | What it costs |
|---|---|---|
Pre-action approval | Action không thể có hiệu lực cho đến khi con người approve, nên không có gì irreversible xảy ra mà chưa qua review. | Tăng latency cho mọi routed decision và luôn cần có người túc trực, nên không scale được cho high volume. |
Post-action audit | Action chạy ngay lập tức và con người review sau đó, giúp throughput luôn ở mức cao. | Action sai đã kịp có hiệu lực trước khi bị phát hiện, nên chỉ phù hợp cho các decision reversible và lower-cost. |
Sampled review | Một tỷ lệ nhỏ decision được review để monitor chất lượng mà không làm chậm toàn bộ process. | Quyết định xấu vẫn có thể lọt lưới nếu không nằm trong sample; phương pháp này dùng để monitor hệ thống chứ không guard từng outcome riêng lẻ. |
What the reviewer sees decides whether review is accurate
Một reviewer không thể thấy lý do tại sao một decision lại nằm trong queue của họ thì rất dễ approve đại mà không dùng đến sự đánh giá (judgement) cần thiết. Hãy đảm bảo reviewer của bạn có đủ 3 thứ: inputs dẫn đến decision, output của model, và lý do tại sao nó bị flag. Không có lý do flag, họ không thể phân biệt đâu là edge case, đâu là routine traffic. Không có inputs, họ không thể biết output có correct hay không. Những gì bạn đưa lên trước mặt reviewer sẽ quyết định xem buổi review đó có chính xác hay không.
Nghiên cứu của Anthropic về agent autonomy cho thấy việc yêu cầu sign-off trên mọi action chỉ làm tăng friction chứ không mang lại hiệu quả safety thực sự. Phân định đúng đắn hơn là để con người monitor những gì đang diễn ra và chỉ step in khi cần. Một pattern của Anthropic trong agent workflow là giảm bớt các per-step approval và chuyển bước review sang các checkpoint có giá trị cao hơn như plan review hoặc exception handling, nhằm tránh tình trạng consent fatigue; cách thiết kế review chi tiết sẽ tùy thuộc vào risk của workflow.
Nếu thiếu sự phân định này, consent fatigue rất dễ xảy ra. Consent fatigue là hiện tượng hệ thống hỏi xin approval hàng chục lần liên tiếp, dẫn đến việc reviewer bắt đầu click dạo và approve mọi thứ mà không hề đọc hay đưa ra chất lượng review cần thiết. Pattern này chính là định hướng dẫn đến tính năng plan-level review trong Claude Code, nơi con người approve toàn bộ plan thay vì duyệt từng bước nhỏ. (Verify current framing against anthropic.com/research/measuring-agent-autonomy and anthropic.com/research/trustworthy-agents at publish time).
Diligence: the competency behind human review
Diligence là một trong bốn năng lực AI Fluency: đảm bảo việc hợp tác với AI diễn ra có trách nhiệm. Áp dụng vào deployment, điều đó có nghĩa là duy trì các checkpoint rõ ràng cho trách nhiệm của con người (explicit human accountability checkpoints), nhận biết được khi nào áp lực tự động hóa đang bào mòn sự giám sát (automation pressure is eroding oversight), và audit các workflow để tìm ra những lỗ hổng nơi AI tự hành mà thiếu review, đặc biệt là khi automation được scale lên.
Đối với agent workflow, routing rule sẽ trở thành một checkpoint pattern: một cái gate tạm dừng execution để chờ human review dựa trên risk và reversibility của task đó. Đặt gate trước bất kỳ hành động irreversible hoặc high-stakes nào mà agent định thực thi một cách tự hành, và thực hiện sample các hành động lower-stakes thay vì đặt gate cho từng cái một. Đây cũng chính là thuật ngữ gate quen thuộc mà các kiến trúc multi-agent đang dựa vào.
Cost · Complexity · Risk
Cost: Pre-action review làm tăng latency cho mọi routed decision và tốn reviewer time — đây là một khoản operating cost phát sinh định kỳ.
Complexity: Logic routing, interface cho reviewer (hiển thị inputs và flag reasons), cùng 3 hướng đặt placement sẽ phức tạp hơn nhiều so với việc chỉ dựng một review queue đơn thuần.
Risk: Routing theo volume thay vì theo stakes sẽ làm reviewer bị quá tải dẫn đến suy giảm chất lượng review, hoặc nguy hiểm hơn là để một hành động high-stakes, irreversible lọt qua mà không hề có gate kiểm soát.
Nội dung bài viết thuộc lộ trình chuẩn bị chứng chỉ Claude Certified Architect, được tổng hợp và biên dịch từ tài liệu đào tạo chính thức của Anthropic PBC. Bản quyền nội dung gốc thuộc về Anthropic PBC. Bản dịch tiếng Việt và chú giải thực hành bởi HungPH Blog.
Thành viên gia nhập từ 19/09/2026