Không có thông báo nào

Axelera Europa: Chip AI 629 TOPS của châu Âu muốn đưa inference từ Edge lên Server

Axelera AI vừa chính thức đưa Europa vào thế hệ sản phẩm mới, đánh dấu bước chuyển từ AI edge sang các hệ thống enterprise và server. Với tối đa 629 TOPS INT8, mức tiêu thụ 45 W và kiến trúc Digital In-Memory Computing, Europa hướng tới bài toán AI inference với yêu cầu cao hơn nhưng vẫn đặt trọng tâm vào hiệu năng trên mỗi watt.

Trong cuộc đua phát triển phần cứng AI, phần lớn sự chú ý hiện nay tập trung vào những GPU khổng lồ dành cho trung tâm dữ liệu. Tuy nhiên, một hướng phát triển khác đang ngày càng rõ ràng: đưa khả năng suy luận AI đến gần nơi dữ liệu được tạo ra và giảm sự phụ thuộc vào cloud.

Axelera AI, startup bán dẫn có trụ sở tại Eindhoven, Hà Lan, đang theo đuổi hướng đi này. Sau thế hệ Metis dành chủ yếu cho edge AI, công ty đã đưa Europa từ giai đoạn công bố sản phẩm sang triển khai thương mại, với mục tiêu mở rộng sang workstation, edge server và hệ thống enterprise.

629 TOPS trong mức điện năng 45 W

Europa là một AI Processing Unit (AIPU) được Axelera thiết kế cho inference thay vì huấn luyện mô hình. Con chip sử dụng 8 AI core thế hệ thứ hai, tích hợp công nghệ Digital In-Memory Computing (D-IMC) cùng các vector engine. Tổng hiệu năng đạt tối đa 629 TOPS ở INT8, trong khi TDP được công bố ở mức 45 W. Để đặt con số này vào bối cảnh, Europa có hiệu năng lý thuyết INT8 tương đương khoảng 629 nghìn tỷ phép toán mỗi giây. Đây là con số đáng chú ý đối với một accelerator chỉ tiêu thụ khoảng 45 W, nhưng TOPS không thể được dùng đơn độc để kết luận hiệu năng thực tế. Hiệu quả còn phụ thuộc vào model, độ chính xác, bộ nhớ, phần mềm và loại workload. Axelera trang bị cho Europa 128 MB L2 SRAM và giao tiếp DRAM với băng thông lên tới 200 GB/s. Con chip cũng hỗ trợ INT4, INT8 và INT16. Ngoài các AI core, Europa còn có 16 RISC-V vector processing cores và bộ giải mã video tích hợp. Việc đưa các thành phần xử lý này lên cùng chip nhằm giảm lượng dữ liệu phải di chuyển giữa accelerator và CPU, đồng thời giải phóng CPU cho các tác vụ logic khác của hệ thống.

Axelera Europa

Khác biệt nằm ở Digital In-Memory Computing

Một trong những điểm quan trọng nhất trong kiến trúc của Axelera là Digital In-Memory Computing. Trong các kiến trúc AI thông thường, dữ liệu phải liên tục di chuyển giữa bộ nhớ và các đơn vị tính toán. Khi workload AI ngày càng lớn, việc di chuyển dữ liệu có thể tiêu tốn đáng kể năng lượng và tạo ra nút thắt về băng thông. D-IMC của Axelera đưa việc tính toán ma trận đến gần nơi dữ liệu được lưu trữ hơn. Mục tiêu là giảm data movement và cải thiện hiệu quả năng lượng của inference. Đây cũng là nền tảng mà Axelera sử dụng xuyên suốt dòng sản phẩm của mình. Công ty cho biết kiến trúc này có khả năng mở rộng từ các thiết bị edge nhỏ cho tới các hệ thống server lớn hơn.

Digital In-Memory Computing

Từ Metis lên Europa

Europa không phải sản phẩm AI đầu tiên của Axelera. Thế hệ trước là Metis, được thiết kế chủ yếu cho các workload AI tại edge như computer vision, camera thông minh, robot và hệ thống công nghiệp. Một chip Metis đạt tối đa 214 TOPS INT8, với mức công suất trung bình khoảng 4–8 W theo thông số hiện tại của Axelera. Công ty định vị Metis cho các thiết bị như NUC, PC, workstation và edge server nhỏ. Europa nâng cấp đáng kể quy mô xử lý. Các con số trên là thông số do Axelera công bố; khả năng thực tế sẽ phụ thuộc vào workload và cấu hình hệ thống. Sự thay đổi này cho thấy Europa không đơn thuần là Metis nhanh hơn. Axelera đang mở rộng kiến trúc sang một phân khúc khác.

Axelera Metis

Europa nhắm tới AI tạo sinh và Vision-Language Model

Axelera định vị Europa cho nhiều loại workload hơn computer vision truyền thống. Danh sách ứng dụng bao gồm: - Generative AI - Vision-Language Models - AI agent - Computer vision - Robotics - Industrial automation - Smart city - Security - Healthcare - Retail - Automotive infotainment Theo Axelera, Europa có thể chạy các workload AI tạo sinh phục vụ nhiều người dùng đồng thời trên một edge server. Công ty cũng trình diễn khả năng chạy Qwen3-VL-8B cho phân tích video bằng ngôn ngữ tự nhiên ngay trên thiết bị, không cần gửi dữ liệu lên cloud. Đây là hướng đi đặc biệt đáng chú ý đối với các doanh nghiệp có dữ liệu nhạy cảm. Thay vì: Camera → Cloud → AI inference → kết quả Hệ thống có thể thực hiện: Camera → Europa → AI inference → kết quả Điều này có thể giảm độ trễ, giảm lượng dữ liệu phải truyền lên cloud và hỗ trợ yêu cầu về quyền riêng tư.

Axelera AI

Giới thiệu sản phẩm

Điểm đáng chú ý nhất từ Europa không nằm ở riêng con số 629 TOPS. Nó nằm ở hướng phát triển mà Axelera đang theo đuổi. AI đang chuyển từ giai đoạn chủ yếu tập trung vào training các mô hình ngày càng lớn sang một giai đoạn mà hàng triệu hệ thống phải chạy inference liên tục. Camera, robot, xe, nhà máy, bệnh viện, cửa hàng và server doanh nghiệp đều có thể trở thành nơi chạy AI. Trong những môi trường này, không phải lúc nào một GPU lớn cũng là lựa chọn tối ưu. Europa đang tìm cách lấp khoảng trống giữa accelerator edge siêu tiết kiệm điện và GPU/server accelerator truyền thống: đủ mạnh để chạy các workload AI phức tạp hơn, nhưng vẫn giữ mức điện năng và kích thước phù hợp với những hệ thống có giới hạn về nhiệt, điện và không gian. Nếu Axelera thực hiện được bước tiếp theo với Titania, kiến trúc D-IMC của hãng sẽ có cơ hội mở rộng từ các thiết bị edge lên server và cuối cùng là các hệ thống HPC. Khi đó, Europa sẽ không chỉ là một sản phẩm 629 TOPS. Nó sẽ trở thành một mắt xích trong chiến lược lớn hơn của một startup châu Âu nhằm xây dựng nền tảng AI inference có khả năng mở rộng từ edge đến data center.

Axelera Europa
Nguồn tham khảo: TechPowerUpAxelera AIThe Register
Cộng đồng: