NVIDIA và Groq đang phát triển thế hệ LPU tiếp theo sử dụng công nghệ 3D Stacked DRAM thay thế SRAM thuần túy. Mục tiêu là tăng dung lượng bộ nhớ lên hàng TB để xử lý các mô hình AI có tham số cực lớn, đồng thời duy trì băng thông cao.
Sau thương vụ mua lại trị giá 20 tỷ USD, Groq đã trở thành một phần không thể thiếu trong chiến lược AI của NVIDIA. Sản phẩm chủ lực hiện tại là NVIDIA Groq 3 LPX, một bộ tăng tốc suy luận (inference) được thiết kế riêng cho nền tảng Vera Rubin. Theo dữ liệu chính thức từ NVIDIA, mỗi rack LPX tích hợp 256 chip LPU, cung cấp tổng dung lượng SRAM là 128 GB và băng thông SRAM lên tới 40 PB/s. Kiến trúc hiện tại của Groq 3 LPU dựa hoàn toàn vào SRAM (Static Random-Access Memory) trên chip, mang lại tốc độ truy xuất dữ liệu cực nhanh (150 TB/s cho mỗi chip) nhưng bị giới hạn nghiêm ngặt về dung lượng. Mỗi chip chỉ chứa 500 MB SRAM, thấp hơn rất nhiều so với 288 GB HBM trên các GPU Rubin cao cấp. Điều này buộc hệ thống phải phân tán mô hình AI qua hàng chục hoặc hàng trăm chip để chạy các mô hình có kích thước lớn. Mặc dù hiệu năng suy luận của Groq 3 LPX được đánh giá cao với tốc độ 3.400 tokens/giây trong các bài test độc lập, sự phụ thuộc vào SRAM tạo ra một rào cản kỹ thuật lớn khi các mô hình AI ngày càng phình to. Đây chính là động lực để Groq và NVIDIA nghiên cứu thế hệ tiếp theo với một phương pháp tiếp cận bộ nhớ hoàn toàn khác.
Theo nguồn tin từ Wccftech và các chuyên gia trong ngành bán dẫn, Groq đang lên kế hoạch chuyển đổi thế hệ LPU tiếp theo từ kiến trúc SRAM thuần túy sang sử dụng DRAM (Dynamic Random-Access Memory) được đóng gói theo công nghệ 3D Stacked (3DS). Thay vì đặt bộ nhớ bên ngoài hoặc sử dụng SRAM diện tích lớn, công nghệ này cho phép xếp chồng nhiều lớp DRAM theo chiều dọc trên cùng một chip. Công nghệ 3D Stacked DRAM hoạt động tương tự như HBM (High Bandwidth Memory) hiện nay, sử dụng TSV (Through-Silicon-Vias) để kết nối các lớp bộ nhớ. Lợi thế cốt lõi của DRAM so với SRAM là khả năng cung cấp dung lượng lưu trữ lớn hơn nhiều lần trong cùng một diện tích bề mặt (die area). Trong khi SRAM nhanh nhưng tốn diện tích, DRAM chậm hơn một chút nhưng lại có mật độ bit cao hơn đáng kể. Quyết định này đánh dấu sự thay đổi chiến lược từ 'tối ưu hóa tốc độ tuyệt đối' sang 'cân bằng giữa dung lượng và tốc độ'. Với sự phát triển của các mô hình AI có hàng nghìn tỷ tham số, việc thiếu dung lượng bộ nhớ đang trở thành nút thắt cổ chai lớn hơn cả tốc độ tính toán. Groq hy vọng sẽ giữ lại một phần băng thông cao của SRAM thông qua kiến trúc 3D, đồng thời mở rộng dung lượng lên hàng TB.
Trong suy luận AI (inference), đặc biệt là với các mô hình MoE (Mixture of Experts) hoặc các mô hình có cửa sổ ngữ cảnh (context window) hàng triệu token, việc truy cập trọng số (weights) và bộ nhớ KV-cache liên tục là yếu tố quyết định hiệu năng. SRAM, dù nhanh, không thể chứa toàn bộ trọng số của một mô hình lớn như DeepSeek V3 hay GPT-4 class trên một chip duy nhất. Bằng cách sử dụng 3D Stacked DRAM, Groq có thể tăng dung lượng bộ nhớ trên mỗi chip lên hàng chục hoặc hàng trăm GB. Điều này giảm thiểu nhu cầu phân tán dữ liệu qua mạng giữa các chip (scale-up bandwidth), vốn là nguồn gây ra độ trễ (latency) và tiêu thụ năng lượng. Mặc dù băng thông của DRAM thấp hơn SRAM, nhưng công nghệ 3D stacking giúp rút ngắn khoảng cách vật lý giữa bộ nhớ và đơn vị xử lý, giúp bù đắp một phần đáng kể về tốc độ. Ngoài ra, việc giảm diện tích bề mặt chip (surface area) nhờ đóng gói 3D cũng giúp cải thiện hiệu quả năng lượng (power efficiency). Đây là yếu tố then chốt trong các trung tâm dữ liệu AI, nơi chi phí điện năng và làm mát chiếm tỷ trọng lớn. Groq dự kiến sẽ cung cấp cả phiên bản DRAM và SRAM để khách hàng lựa chọn tùy theo nhu cầu cụ thể về độ trễ hay dung lượng.
Việc Groq chuyển sang DRAM sẽ thay đổi cục diện cạnh tranh trong lĩnh vực suy luận AI. Hiện tại, đối thủ chính của NVIDIA/Groq là Cerebras với kiến trúc Wafer-Scale Engine (WSE) sử dụng SRAM khổng lồ. Cerebras đang chuẩn bị ra mắt thế hệ WSE-3T với dung lượng và băng thông được cải thiện đáng kể, đồng thời hợp tác với AMD và AWS để cung cấp các giải pháp lai (heterogeneous). Nếu Groq thành công trong việc tích hợp 3D Stacked DRAM, họ sẽ có lợi thế về chi phí trên mỗi GB bộ nhớ so với các giải pháp SRAM thuần túy. Điều này đặc biệt quan trọng cho các ứng dụng Agentic AI, nơi các tác nhân (agents) cần xử lý lượng dữ liệu ngữ cảnh khổng lồ và liên tục. NVIDIA đã chứng minh rằng sự kết hợp giữa GPU Rubin (cho prefill) và LPU (cho decode) có thể tăng gấp 35 lần thông lượng suy luận trên mỗi megawatt. Tuy nhiên, thách thức lớn nhất vẫn là độ trễ. DRAM luôn chậm hơn SRAM, và nếu không được tối ưu hóa tốt thông qua kiến trúc 3D và bộ điều khiển bộ nhớ (memory controller), hiệu năng suy luận có thể giảm so với thế hệ Groq 3 hiện tại. Đây là cuộc đua công nghệ giữa 'tốc độ' và 'dung lượng', nơi NVIDIA và Groq đang đặt cược vào việc dung lượng sẽ là yếu tố quyết định trong tương lai gần của AI.
Theo lộ trình dự kiến, thế hệ LPU tiếp theo của Groq sẽ được tích hợp sâu hơn vào nền tảng NVIDIA Vera Rubin. Sự kết hợp này sẽ tạo ra một kiến trúc lai (heterogeneous) mạnh mẽ, nơi GPU xử lý các tác vụ tính toán nặng (prefill) và LPU xử lý các tác vụ suy luận độ trễ thấp (decode) với dung lượng bộ nhớ lớn hơn. Với sự hỗ trợ từ NVIDIA, Groq có khả năng tiếp cận các tiến trình sản xuất tiên tiến và công nghệ đóng gói tiên tiến (advanced packaging) cần thiết cho 3D Stacked DRAM. Điều này giúp họ vượt qua các hạn chế về công nghệ mà một công ty khởi nghiệp đơn lẻ khó có thể tự mình thực hiện. Tóm lại, việc chuyển từ SRAM sang 3D Stacked DRAM không phải là sự từ bỏ tốc độ, mà là một bước tiến hóa cần thiết để đáp ứng nhu cầu của các mô hình AI ngày càng lớn. Trong bối cảnh các mô hình AI hướng tới hàng nghìn tỷ tham số và cửa sổ ngữ cảnh hàng triệu token, dung lượng bộ nhớ sẽ trở thành tài nguyên quý giá nhất, và Groq đang đi đúng hướng để nắm bắt cơ hội này.
Nguồn tổng hợp:
- wccftech.com - NVIDIA-Acquired Groq Is Moving Its Next-Gen LPUs From SRAM To 3D Stacked DRAM, Betting On Capacity Over Speed As Models Keep Growing
- nvidia.com - NVIDIA Groq 3 LPX
- developer.nvidia.com - Inside NVIDIA Groq 3 LPX: The Low-Latency Inference Accelerator for the NVIDIA Vera Rubin Platform
- tomshardware.com - How Nvidia's $20 billion Groq 3 LPU deal reshapes the Nvidia Vera Rubin Platform — Samsung 4nm process serves as bedrock for SRAM-based AI accelerator chip
- theregister.com - What Nvidia's first Groq 3 LPU benchmarks tell us about its $20B gamble
Lenovo Yoga Pro 15 RTX Spark: Laptop Windows on ARM đầu tiên với chip NVIDIA RTX Spark N1X, 128GB RAM thống nhất, GPU Blackwell 6144 CUDA Cores và màn hình OLED 165Hz.
Elon Musk xác nhận SpaceX đang lắp đặt 200.000 GPU Nvidia GB300 mỗi tháng. Mục tiêu đạt 13-20 GW công suất tính toán AI vào cuối 2027, chuyển đổi sang kiến trúc Vera Rubin.
QNAP giới thiệu hai thiết bị mở rộng lưu trữ JBOD sử dụng chuẩn USB4: TL-D810TC4 (8 bay) và TL-R1210TC4-RP (12 bay). Hỗ trợ tốc độ 40 Gbps, tương thích đa nền tảng, tối ưu cho biên tập video và lưu trữ doanh nghiệp.
CEO Michael Dell cảnh báo khủng hoảng thiếu hụt chip bộ nhớ HBM và DRAM sẽ kéo dài đến 2029-2030. Dell đang đối mặt với nút thắt cổ chai nghiêm trọng khi có 95 tỷ USD đơn hàng AI chưa thể giao do thiếu linh kiện.
AMD và Intel chính thức hợp tác chuẩn hóa phần mềm AI trên CPU x86 thông qua oneDNN và bộ mở rộng ACE. Động thái này giúp giảm phân mảnh hệ sinh thái, tối ưu hiệu năng PyTorch và hỗ trợ các định dạng dữ liệu AI mới như FP8, BF16.
AMD chỉ trích chỉ số TOPS không phản ánh đúng hiệu năng thực tế trong Physical AI. Khám phá kiến trúc Kria AI với độ trễ dưới 0.1 giây và khả năng vượt trội so với NVIDIA Jetson T5000.
ByteDance, Alibaba và Tencent đặt hàng 3 triệu GPU Nvidia RTX Pro 5500 trị giá 35 tỷ USD để phát triển AI, dù chỉ 10% đơn hàng khả thi do quy định xuất khẩu Mỹ.
Hai pallet GPU Zotac RTX 5090 trị giá 470.000 USD đã biến mất tại sân bay Guarulhos, Brazil. Nhà phân phối Oderço kêu gọi giải thích sau khi không nhận được phản hồi từ các cơ quan chức năng.
