Tối đa 480GB LPDDR5X: Lợi thế cho mô hình lớn và ngữ cảnh dài
Thông số nổi bật nhất của Intel GPU D-Series là khả năng hỗ trợ tối đa 480GB bộ nhớ LPDDR5X trên mỗi card. Tuy nhiên, cần phân biệt cấu hình card mang thương hiệu Intel với những thiết kế tùy biến từ đối tác: Intel cho biết card PCIe mang thương hiệu hãng được trang bị 160GB LPDDR5X, trong khi thiết kế cho phép các đối tác ODM phát triển phiên bản có dung lượng lên tới 480GB.
GPU có băng thông bộ nhớ được công bố ở mức 1,5TB/s. Mức này kết hợp với công suất thiết kế 350W và hệ thống làm mát bằng khí, hướng đến việc triển khai trong các trung tâm dữ liệu hiện có mà không bắt buộc phải xây dựng hạ tầng làm mát bằng chất lỏng.
Dung lượng bộ nhớ lớn đặc biệt có ích khi chạy các mô hình ngôn ngữ lớn. Theo Intel, D-Series có thể hỗ trợ mô hình lên tới 300 tỷ tham số trên một card, hoặc các mô hình vượt một nghìn tỷ tham số trong hệ thống tám GPU. Đây là khả năng theo công bố của nhà sản xuất; việc triển khai thực tế còn phụ thuộc vào định dạng trọng số, lượng bộ nhớ dành cho KV cache, phần mềm và cấu hình hệ thống.
Việc sử dụng LPDDR5X thay vì chỉ dựa vào bộ nhớ HBM đắt tiền cũng phản ánh một hướng thiết kế khác cho AI inference. LPDDR vốn được tối ưu cho mức tiêu thụ điện thấp, còn HBM thường được sử dụng trong các bộ tăng tốc cần băng thông bộ nhớ cực cao. Với D-Series, Intel hướng đến sự cân bằng giữa dung lượng, băng thông, công suất và chi phí triển khai.
Dù vậy, không nên chỉ dựa vào dung lượng VRAM để kết luận D-Series nhanh hơn những GPU có HBM. Hiệu năng suy luận còn phụ thuộc vào năng lực tính toán, băng thông thực tế, độ trễ bộ nhớ, khả năng tối ưu phần mềm và đặc điểm của từng mô hình. Dung lượng lớn có thể cho phép chạy mô hình hoặc ngữ cảnh lớn hơn trên cùng một card, nhưng không tự động mang lại tốc độ tạo token cao hơn trong mọi trường hợp.