Việc chuyển mọi thứ sang quy trình xét duyệt sẽ khiến việc xét duyệt trở nên vô nghĩa.

When routing everything to review makes review meaningless

Setup hook

Quyết định xem decision nào được tính là high stakes đòi hỏi sự đánh giá (judgment), và việc route mọi thứ sang review sẽ loại bỏ hoàn toàn bước quan trọng đó. Việc này có vẻ giống như một cài đặt mặc định mang tính an toàn (conservative default): nó rất dễ để defend trước một compliance reviewer hay auditor, và không đòi hỏi bạn phải đưa ra quyết định xem ranh giới của stakes nằm ở đâu. Routing mọi thứ mang lại cảm giác an toàn chính xác là vì nó giúp bạn tránh phải tự mình kẻ đường ranh giới đó.

A short transcript of a handoff that was sloppily reviewed

Một reviewer queue rất hiếm khi lộ ra vấn đề cho đến khi nó thực sự thất bại. Pattern dưới đây cho thấy điều gì sẽ xảy ra khi một hệ thống route mọi output tới con người nhưng lại không cung cấp cho người đó bất kỳ cơ sở nào để review. Hai lỗi riêng biệt cùng xảy ra một lúc, và đoạn hội thoại bên dưới làm nổi bật cả hai: volume quá nhiều vượt khả năng đọc của bất kỳ ai, và mỗi item gửi đến đều bị cắt bỏ sạch context—vốn là thứ giúp reviewer đưa ra phán đoán.

Reviewer: Hôm nay có bốn trăm item trong queue của tôi. Giống hệt hôm qua.

Lead: Anh có đọc inputs của từng cái không đấy?

Reviewer: Không thể nào đọc nổi. Tôi chỉ nhận được cái output với cái nút approve, thế thôi. Tôi còn chẳng thấy inputs đâu, hay lý do tại sao cái này lại bị đẩy sang cho tôi. Sau giờ đầu tiên, tôi đành phải bấm approve liên tục cho kịp tiến độ (keep up with the pace).

Cách thiết kế này đã đẩy toàn bộ outputs đi review nhưng lại chỉ đưa cho reviewer đúng cái output đơn độc, không có inputs và không có flag reason. Volume quá lớn khiến việc review cẩn thận trở nên bất khả thi, còn thiếu context lại biến việc review thành vô nghĩa, khiến bước review sụp đổ hoàn toàn và biến thành hành động approve chiếu lệ. Một decision thuộc hàng high-stakes nằm trong queue đó cũng chỉ nhận được một cái click approve thủ tục không khác gì một tác vụ trivial.

Why this broke

Hai failure độc lập đã chồng lấp lên nhau ở đây, và chỉ cần một trong hai xuất hiện thôi cũng đủ làm cho việc review trở nên ẩu tả (sloppy).

Lỗi đầu tiên nằm ở volume. Khi số lượng item route tới con người vượt quá khả năng đọc của họ trong khoảng thời gian cho phép, một cơ chế giám sát ôm đồm tất cả (covers everything) sẽ kết thúc bằng việc chẳng review được cái gì cả (reviews nothing), bởi reviewer sẽ tự buông bỏ (disengage) để bắt kịp tiến độ. Cách fix chính là áp dụng routing rule: route decision tới con người dựa trên stakes—sử dụng confidence, reversibility, và cost—để queue chỉ chứa những decision thực sự cần sự chú ý, thay vì chứa tất cả mọi thứ.

Lỗi thứ hai là missing context. Một reviewer chỉ thấy mỗi output và cái nút approve thì chẳng có cơ sở nào để đối soát (check) output đó cả, nên dù queue có ngắn thì vẫn rất khó để đưa ra phán đoán chính xác. Cách fix là thay đổi những gì hiển thị trên view của reviewer: surface các inputs làm căn cứ đưa ra decision và lý do item đó bị flag, để reviewer thấy rõ họ đang được yêu cầu đánh giá (weigh) điều gì.

Nếu bạn chỉ fix một trong hai failure này, việc review vẫn hoàn toàn có thể thất bại. Một queue ngắn nhưng thiếu context, hay một reviewer view được dựng rất chuẩn nhưng lại đang ngập lụt dưới volume quá tải—cả hai trường hợp đều sẽ thất bại.