Tại sao kiến trúc chiplet trở thành điểm nghẽn cho AI Agent?
Theo chia sẻ từ đội ngũ phát triển Vera của NVIDIA, trong suốt thập kỷ qua, ngành công nghiệp CPU dữ liệu trung tâm đã ưu tiên tối đa hóa số lượng nhân (core count) để tăng thông lượng (throughput) và giảm chi phí trên mỗi đơn vị máy chủ. Để đạt được mật độ nhân cao, các nhà sản xuất x86 đã chuyển sang kiến trúc chiplet, nơi bộ xử lý được chia thành nhiều die nhỏ hơn. Tuy nhiên, NVIDIA lập luận rằng cách tiếp cận này đã hy sinh hiệu năng single-thread và IPC (Instructions Per Cycle) vì không còn đủ không gian vật lý trên die để tối ưu hóa tốc độ của từng nhân riêng lẻ.
Đối với các tác vụ Agentic AI, điều này tạo ra một vấn đề nghiêm trọng. AI Agent hoạt động theo các vòng lặp suy luận liên tục: chúng cần thực thi một bước tuần tự trên CPU, sau đó chuyển sang GPU để suy luận tiếp, rồi quay lại CPU cho bước tiếp theo. Nếu CPU quá chậm trong việc xử lý các bước tuần tự này do độ trễ cao từ kiến trúc chiplet, GPU sẽ bị lãng phí thời gian chờ đợi. NVIDIA gọi đây là 'chiplet tax' – một loại thuế phí hiệu năng vô hình mà các hệ thống đa chiplet phải gánh chịu khi xử lý các tác vụ nhạy cảm với độ trễ.
NVIDIA nhấn mạnh rằng trong các phiên làm việc của AI Agent, phần lớn thời gian thực (wall-clock time) bị chi phối bởi chuỗi các bước tuần tự (sequential chain) chứ không phải các tác vụ song song. Dữ liệu từ 163.594 phiên Agentic AI cho thấy hơn 97% các phiên có hồ sơ quỹ đạo (trajectory profiles) độc đáo, điều này khiến việc tối ưu hóa phần cứng dựa trên các kịch bản song song cố định trở nên kém hiệu quả. Do đó, một CPU cần có khả năng duy trì hiệu năng single-thread cao ngay cả khi toàn bộ các nhân đang hoạt động, thay vì chỉ nhanh khi chạy một nhân duy nhất.