Khi đội ngũ muốn sự linh hoạt nhưng lại nhận về tính bất định (non-determinism)

3 trích dẫn dưới đây đến từ buổi họp nhìn lại (retrospective) sau 90 ngày của một team. Mỗi câu nói gọi tên một khía cạnh khác nhau của cùng một sai lầm cốt lõi:

"Chúng tôi chọn một agent vì không muốn giới hạn nó quá sớm. Đến tháng thứ hai, chúng tôi đã phải thêm quá nhiều guardrail tools đến mức về cơ bản là đang viết lại workflow bên trong vòng lặp của agent, chỉ khác là không có logging."

"Bộ phận tuân thủ (compliance) vào kiểm tra và hỏi bước nào đã phê duyệt khoản giải ngân. Chúng tôi chỉ vào một lượt thoại (turn) của model. Họ hỏi phiên bản model nào đã chạy. Chúng tôi kiểm tra vết (trace). Phiên bản đã tự động nâng cấp (rolled forward) từ hai tuần trước đó mà không ai thực hiện đánh giá lại (re-validation)."

"Các luồng thực tế đi qua hệ thống, khi chúng tôi trích xuất vết (trace mining), rốt cuộc chỉ rơi vào đúng 4 hình thái. Đúng 4 hình thái! Lẽ ra chúng tôi có thể viết nó dưới dạng một router và 4 chains, tiết kiệm cho mình tới 6 tháng làm việc."

Điều gì đã đổ vỡ và tại sao

Mỗi trích dẫn gọi tên một thất bại riêng biệt, và chúng tích tụ chồng chất theo thứ tự:

1. Tối ưu hóa cho sự linh hoạt chưa biết trong tương lai thay vì hình thái đã biết ở hiện tại. Khi team trích xuất dữ liệu vết (trace mining) ở tháng thứ 3, các luồng thực tế đi qua hệ thống chỉ rơi vào 4 hình thái, tất cả đều có thể liệt kê được ngay từ tuần đầu tiên. Workflow lẽ ra họ cần là một router kết hợp với 4 chains. Thay vào đó, họ đã dựng một agent và mất 6 tháng để tái thiết lập lại cấu trúc đó bên trong vòng lặp (agent loop).

2. Tính bất định (Non-determinism) trở thành bài toán tuân thủ (compliance). Khi kiểm toán viên hỏi bước nào đã phê duyệt khoản giải ngân, team chỉ có thể chỉ vào một lượt thoại của model. Thứ mà agent pattern đặc biệt gây ra ở đây là không có một bước rời rạc, có thể kiểm toán được (auditable step) để đưa ra chứng minh. Đây chính là cách quyền tự quyết (autonomy) của agent biến thành rủi ro compliance: không phải trong quá trình vận hành bình thường, mà là khi một bên bên ngoài cần một câu trả lời deterministic nhưng hệ thống chỉ có thể đưa ra một quỹ đạo (trajectory).

3. Việc không cố định phiên bản model (unpinned model version) làm trầm trọng thêm khoảng trống. Kiểm toán viên sau đó hỏi phiên bản model nào đã chạy. Bản ghi vết (trace) cho thấy model đã tự động nâng lên phiên bản mới từ 2 tuần trước mà không qua bất kỳ checkpoint đánh giá lại nào. Việc nâng phiên bản này là một lỗ hổng trong quản trị model (model-governance gap) và sẽ là vấn đề dưới bất kỳ pattern nào: một phiên bản không được cố định (unpinned version) không có cơ chế kiểm tra lại sẽ gây rủi ro tương tự dù ở agent hay workflow.

Bài học kiến trúc

Việc chọn một agent khi bạn chưa chắc chắn liệu đó có phải pattern phù hợp hay không không phải là một lựa chọn mặc định an toàn. Agent chỉ là lựa chọn đúng đắn khi các bước thực hiện công việc thực sự không thể xác định trước. Nếu các bước đã biết ngay từ đầu, việc chọn agent thay vì workflow đồng nghĩa với việc bạn đang trả tiền cho sự linh hoạt mà bạn không hề dùng tới: tốn thêm tokens, tăng độ trễ (latency), và tạo ra các khoảng trống audit vốn chỉ lộ ra khi bộ phận compliance truy vấn những điều mà bản ghi vết của bạn không thể trả lời.

Không phải chúng ta nên tránh dùng agents, mà agents cần phải được áp dụng đúng mục đích. Nếu công việc thực sự không thể dự đoán trước, một agent sẽ là lựa chọn chính xác vì chính lý do đó. Sai lầm của team này là vội vàng nhảy sang agent trong khi 4 luồng xử lý qua hệ thống của họ đã có thể biết trước ngay từ đầu. Một router cùng 4 chains lẽ ra đã mang lại cho họ một cấu trúc sạch sẽ, có thể kiểm toán được (auditable). Thay vào đó, họ đã mất 6 tháng để dựng lại cấu trúc đó bằng tay bên trong một vòng lặp agent.