Astera Labs công bố Orion, kiến trúc tham chiếu dạng rack dành cho hạ tầng AI inference, cho phép doanh nghiệp chủ động lựa chọn CPU và GPU từ nhiều nhà cung cấp. Với kết nối PCIe 6.0, thiết kế mô-đun và khả năng mở rộng từ 8 đến 160 bộ tăng tốc trong mỗi pod, Orion hướng đến mục tiêu giảm chi phí triển khai và tối ưu hiệu quả xử lý AI trên mỗi USD đầu tư.
Ngày 12/10/2026, Astera Labs công bố Orion tại sự kiện OCP Global Summit 2026. Đây là kiến trúc tham chiếu hạ tầng AI dạng rack được phát triển để giúp các nhà cung cấp dịch vụ AI trên đám mây và doanh nghiệp mở rộng năng lực suy luận mà không phải gắn toàn bộ hệ thống với một dòng CPU hoặc GPU duy nhất. Trong các trung tâm dữ liệu AI, việc lựa chọn phần cứng không chỉ phụ thuộc vào hiệu năng mà còn liên quan đến giá thành, thời gian giao hàng và khả năng cung ứng. Nếu một hệ thống được thiết kế riêng cho một nền tảng tăng tốc cụ thể, việc chuyển sang phần cứng khác có thể đòi hỏi thay đổi thiết kế, kiểm thử và tích hợp lại toàn bộ hạ tầng. Orion được xây dựng theo hướng compute-agnostic, tức không phụ thuộc vào một nhà cung cấp bộ xử lý duy nhất. Doanh nghiệp có thể lựa chọn CPU và GPU dựa trên khối lượng công việc, ngân sách và nguồn hàng thực tế, sau đó triển khai chúng trên nền tảng kết nối đã được thiết kế và kiểm chứng. Astera Labs cho biết kiến trúc này hỗ trợ mở rộng từ 8 đến 160 GPU hoặc bộ tăng tốc trong mỗi pod. Mục tiêu không đơn thuần là tăng số lượng GPU, mà còn giúp các nhà vận hành AI linh hoạt hơn trong việc phân bổ tài nguyên cho những mô hình và dịch vụ suy luận khác nhau. Điểm đáng chú ý là Orion không phải một mẫu máy chủ cố định do Astera Labs trực tiếp sản xuất. Hãng cung cấp thiết kế tham chiếu cùng các thành phần kết nối và phần mềm quản lý; các đối tác OEM và ODM sẽ đảm nhiệm việc tích hợp, sản xuất và cung cấp hệ thống hoàn chỉnh.
Trung tâm của Orion là kiến trúc kết nối PCIe 6.0 với fabric chuyển mạch 320 lane, được thiết kế để mở rộng giao tiếp giữa các bộ tăng tốc trong hệ thống. Theo Astera Labs, cấu trúc này có thể hỗ trợ tối đa 160 bộ tăng tốc trong mỗi pod, với khả năng truyền dữ liệu độ trễ thấp và mở rộng tài nguyên theo nhu cầu. Ngoài các khay tính toán, Orion còn có những thành phần dành riêng cho fabric kết nối, bảng liên kết và khay bộ nhớ. Thiết kế mô-đun giúp các nhà tích hợp hệ thống tùy chỉnh cấu hình theo từng loại ứng dụng, đồng thời hạn chế việc phải thiết kế lại toàn bộ rack mỗi khi thay đổi phần cứng. Một thành phần đáng chú ý là Orion-MT, khay bộ nhớ có thể mở rộng tài nguyên dữ liệu và bộ nhớ đệm cho các hệ thống AI. Đối với những mô hình ngôn ngữ lớn, KV cache lưu trữ trạng thái trung gian của quá trình suy luận, đặc biệt khi xử lý hội thoại dài hoặc nhiều yêu cầu đồng thời. Việc đưa thêm tài nguyên bộ nhớ đến gần GPU thông qua fabric có thể giúp giảm áp lực lên bộ nhớ cục bộ của bộ tăng tốc và hỗ trợ mở rộng quy mô phục vụ. Tuy nhiên, bộ nhớ gắn qua fabric không đồng nghĩa với việc toàn bộ dung lượng bổ sung có tốc độ hoặc độ trễ tương đương VRAM tích hợp trên GPU. Hiệu quả thực tế còn phụ thuộc vào cấu hình kết nối, phần mềm quản lý bộ nhớ và cách ứng dụng khai thác tài nguyên. Bên cạnh phần cứng, Astera Labs tích hợp bộ phần mềm COSMOS Rack Manager và COSMOS Fabric Manager để quản lý thiết bị, giám sát tình trạng kết nối, thu thập dữ liệu vận hành, chẩn đoán lỗi và điều phối fabric. Những công cụ này hướng đến việc đơn giản hóa quản trị hệ thống khi số lượng máy chủ và bộ tăng tốc tăng lên.
Astera Labs định vị Orion cho các hệ thống AI inference quy mô lớn, đặc biệt tại các nhà cung cấp dịch vụ đám mây chuyên biệt và doanh nghiệp muốn tự vận hành hạ tầng AI. Thay vì chỉ tập trung vào hiệu năng tối đa của một hệ thống cao cấp, kiến trúc này hướng đến việc tối ưu số lượng token xử lý trên mỗi USD chi phí đầu tư và vận hành. Cách tiếp cận này phù hợp với thực tế rằng không phải mọi tác vụ suy luận đều cần bộ tăng tốc đắt tiền nhất. Những mô hình có yêu cầu khác nhau về bộ nhớ, thông lượng và độ trễ có thể được phân bổ lên các nền tảng phần cứng phù hợp hơn. Nhờ khả năng thay đổi CPU và GPU linh hoạt, nhà vận hành có thêm lựa chọn để cân bằng giữa hiệu năng, giá thành và nguồn cung. Theo Astera Labs, các thiết kế tham chiếu Orion dự kiến được cung cấp thông qua đối tác OEM và ODM từ quý I/2027. Danh mục bao gồm các thành phần như khay tính toán Orion-CT, khay fabric Orion-FT, khay bộ nhớ Orion-MT, bảng tính toán Orion-CB và bảng liên kết Orion-LB. Các thành phần có thể được sử dụng trong một rack hoàn chỉnh hoặc lựa chọn riêng theo nhu cầu triển khai. Trong dài hạn, Astera Labs dự kiến mở rộng lộ trình Orion sang những chuẩn kết nối mở khác, bao gồm UALink. Điều này có thể giúp hệ thống thích ứng với sự thay đổi của hệ sinh thái bộ tăng tốc AI, dù khả năng tương thích và hiệu năng thực tế vẫn cần được xác nhận trên từng cấu hình cụ thể. Orion cho thấy xu hướng phát triển hạ tầng AI đang dịch chuyển từ những hệ thống khép kín, gắn với một nền tảng duy nhất sang kiến trúc mô-đun có khả năng tùy biến cao hơn. Nếu đạt được mục tiêu về khả năng tương thích và hiệu quả chi phí, thiết kế này có thể mang lại thêm lựa chọn cho doanh nghiệp muốn mở rộng năng lực suy luận mà không phải đầu tư vào một cấu hình phần cứng cố định trong nhiều năm.
NVIDIA được cho là đang lên kế hoạch phát hành GeForce RTX 5080 với 24GB bộ nhớ GDDR7 trong quý I/2027, thay thế phiên bản 16GB hiện tại. Nếu thông tin từ các nguồn rò rỉ chính xác, đây có thể trở thành mẫu card GeForce cao cấp nhất còn được cung cấp trong bối cảnh nguồn GPU RTX 5090 được cho là đang có sự điều chỉnh. Tuy nhiên, kế hoạch ra mắt và thông số của sản phẩm mới vẫn chưa được NVIDIA xác nhận.
Frore Systems vừa công bố LiquidJet Diamond, giải pháp tản nhiệt chất lỏng trực tiếp sử dụng các tấm kim cương tích hợp để xử lý những điểm nóng có mật độ nhiệt cực cao trên GPU AI thế hệ mới. Theo công bố của hãng, hệ thống có thể hỗ trợ mật độ nhiệt cục bộ lên đến 770 W/cm², giảm nhiệt độ GPU tối đa 22°C và cải thiện hiệu suất tạo token trên mỗi watt điện từ 30% đến 35% so với một số giải pháp coldplate truyền thống. Công nghệ này hướng đến các bộ tăng tốc AI công suất rất lớn, bao gồm NVIDIA Rubin và dòng AMD Instinct MI400, MI500. Frore dự kiến trình diễn giải pháp làm mát cho bộ tăng tốc NVIDIA Rubin công suất 2.300W tại sự kiện OCP Global Summit diễn ra từ ngày 12 đến 16/10/2026. Các con số hiệu năng hiện được công bố bởi nhà sản xuất, vì vậy cần được xem là kết quả theo điều kiện thử nghiệm và mô hình của hãng, chưa phải kết quả kiểm chứng độc lập trên mọi hệ thống thực tế.
AMD đang tìm cách mở rộng quan hệ chiến lược với Samsung Electronics nhằm đảm bảo nguồn cung bộ nhớ phục vụ các hệ thống AI thế hệ mới. Đổi lại, Samsung được cho là muốn biến quan hệ cung cấp bộ nhớ hiện tại thành cơ hội nhận thêm đơn hàng gia công chip logic. Hai bên đã ký biên bản ghi nhớ về hợp tác bộ nhớ vào tháng 3/2026, đồng thời xác nhận đang thảo luận khả năng hợp tác trong lĩnh vực sản xuất bán dẫn. Tuy nhiên, chưa có thông báo chính thức về việc AMD chuyển các đơn hàng chip tiên tiến từ TSMC sang Samsung.
Intel chính thức công bố thêm thông số cho GPU trung tâm dữ liệu D-Series, trước đây có tên mã Crescent Island, tại OCP Global Summit 2026. Được phát triển chuyên biệt cho AI inference, bộ tăng tốc này có thể hỗ trợ tới 480GB bộ nhớ LPDDR5X, băng thông 1,5TB/s và hiệu năng tính toán FP8 tối đa 1,3 petaflops trong mức công suất 350W. Với dung lượng bộ nhớ lớn và thiết kế PCIe làm mát bằng khí, Intel hướng sản phẩm đến các mô hình ngôn ngữ lớn, ngữ cảnh dài và hệ thống AI agent cần xử lý nhiều yêu cầu đồng thời.
d-Matrix công bố Squadron, nền tảng cụm máy tính AI có thể mở rộng tới 1.024 bộ tăng tốc Corsair XPU, hướng đến các trung tâm dữ liệu cần xử lý suy luận với độ trễ thấp và hiệu quả năng lượng cao. Được phát triển cùng Arista, Broadcom và Supermicro, hệ thống hỗ trợ triển khai nhiều rack làm mát bằng khí, đồng thời có thể kết hợp với GPU NVIDIA để phân chia các công đoạn xử lý AI theo kiến trúc phần cứng phù hợp.
GlobalFoundries (GF) công bố FDX Fusion, nền tảng sản xuất bán dẫn FD-SOI thế hệ mới hướng đến hiệu năng xử lý số thuộc lớp 7nm, đồng thời tích hợp các chức năng analog, RF và bộ nhớ nhúng trên cùng nền tảng. Công nghệ này được phát triển cho AI biên, robot, ô tô và tự động hóa công nghiệp, với kế hoạch sản xuất tại Dresden, Đức vào năm 2028. Đây là bước tiến mới của GF trong phân khúc chip tiên tiến, nhưng không đồng nghĩa hãng đang khôi phục quy trình 7nm FinFET từng hủy bỏ năm 2018.
ASUS giới thiệu XA P2N-E2 tại OCP Global Summit 2026, mẫu máy chủ 2U sử dụng hai bộ xử lý NVIDIA Vera, hướng đến AI agent, reinforcement learning và xử lý dữ liệu. Thay vì chỉ tập trung vào sức mạnh GPU, hệ thống được thiết kế để tăng tốc những công việc như thực thi mã, gọi công cụ, điều phối tác vụ và vận hành nhiều môi trường AI đồng thời.
AMD giới thiệu Helion, nền tảng hạ tầng AI dạng rack được thiết kế cho kỷ nguyên AI Agent, kết hợp bộ xử lý EPYC thế hệ mới, tùy chọn GPU Instinct MI350P và kiến trúc phần cứng mở. Hệ thống hướng đến các trung tâm dữ liệu và doanh nghiệp cần triển khai hàng nghìn AI Agent đồng thời, từ thực thi tác vụ, viết mã đến vận hành quy trình tự động hóa phức tạp.
