Khi cơ chế fan-out ẩn đi một đơn vị công việc bị bỏ sót

Điều gì đã đổ vỡ và tại sao

• Không có coverage check ở bước tổng hợp: Orchestrator chỉ tổng hợp trên các kết quả mà nó vô tình nhận được, không có quy tắc nào bắt buộc số lượng kết quả nhận về phải bằng đúng số lượng đơn vị công việc đã phát đi (units dispatched).

• Thất bại có thể khôi phục (recoverable failure) lại không bao giờ được khôi phục: Một subagent bị timeout là trường hợp hoàn toàn có thể khôi phục được, nhưng chỉ khi có cơ chế thử lại (retry) hoặc gắn cờ cảnh báo khoảng trống. Ở đây, sự cố diễn ra trong im lặng vì không có thành phần nào giám sát ranh giới đó.

• Tổng hợp tự tin trên một kết quả chưa hoàn chỉnh: Sự trôi chảy của đầu ra đã che đậy khoảng trống dữ liệu. Một multi-agent system thất bại nguy hiểm nhất là khi bản tóm tắt trông có vẻ rất hoàn chỉnh nhưng thực chất lại không phải.

Tại sao thiết kế này thất bại?

• Tính đầy đủ được mặc định chứ không được xác minh (Completeness was assumed, not verified): Orchestrator đã gửi đi 50 đơn vị công việc và chỉ báo cáo dựa trên các kết quả nhận về. 2 đơn vị không bao giờ quay trở lại, và không có gì trong thiết kế nhận ra sự chênh lệch đó.

• Số lượng không bao giờ được đối soát (reconciled): Bước synthesis chỉ đơn thuần cộng các đánh giá nhận được và dừng lại ở đó. Không có quy tắc nào yêu cầu số kết quả trả về phải khớp với số đơn vị đã gửi đi, do đó 48 kết quả trả về nghiễm nhiên biến thành "48 điều khoản đã xem xét" thay vì "đang thiếu 2 điều khoản".

• Thất bại có thể khôi phục lại không có thành phần nào theo dõi: Việc subagent bị timeout hay kết quả parse rỗng đều là những trường hợp có thể khôi phục được (recoverable case), nhưng chỉ khi có thành phần thực hiện retry hoặc báo cờ. Không thành phần nào chịu trách nhiệm quản lý ranh giới subagent, nên cả hai lỗi đều trôi qua một cách lặng lẽ.

• Đầu ra tạo cảm giác hoàn chỉnh: Bản tóm tắt trôi chảy và đúng định dạng – chính điều đó lại làm cho lỗ hổng trở nên vô hình.

Giải pháp: Thêm một bước coverage check tại giai đoạn synthesis: số kết quả trả về bắt buộc phải bằng số đơn vị công việc đã gửi đi, nếu không hệ thống phải gắn cờ báo lệch trước khi bất kỳ ai đọc bản tóm tắt đó.