Không có thông báo nào

OpenArt Arena xếp hạng AI theo từng công việc: Seedance 2.5 dẫn đầu video, GPT Image 2 mạnh về thiết kế đồ họa

Khi số lượng mô hình AI tạo ảnh và video ngày càng tăng, câu hỏi “mô hình nào tốt nhất?” đang trở nên khó trả lời nếu không xác định rõ công việc cần thực hiện. Một mô hình có thể mạnh về dựng video điện ảnh nhưng chưa chắc tạo quảng cáo sản phẩm tốt, trong khi một mô hình khác lại có lợi thế về typography, logo hoặc chỉnh sửa hình ảnh.

Để giải quyết vấn đề này, OpenArt vừa ra mắt OpenArt Arena, một hệ thống benchmark công khai chuyên đánh giá các mô hình AI theo từng nhóm công việc sáng tạo như thiết kế đồ họa, quảng cáo, dựng phim, motion design, chỉnh sửa video và lip sync. Thay vì gom tất cả vào một bảng xếp hạng duy nhất, Arena chia kết quả thành nhiều bảng riêng cho từng nhu cầu.

Không còn chỉ hỏi “AI nào tốt nhất?”

OpenArt Arena đánh giá mô hình bằng cách cho các chuyên gia sáng tạo và nhóm người dùng được gọi là “tastemakers” so sánh trực tiếp hai kết quả mà không biết chúng được tạo bởi mô hình nào. Người đánh giá lựa chọn kết quả tốt hơn dựa trên từng tiêu chí cụ thể, sau đó OpenArt sử dụng phương pháp thống kê Bradley–Terry để tổng hợp thành điểm xếp hạng. Điểm đáng chú ý là tiêu chí được thay đổi theo từng loại công việc. Chẳng hạn, bảng Ads của video chú trọng khả năng hiển thị chính xác chữ và logo, tính nhất quán của sản phẩm, độ chân thực của sản phẩm và logic giữa sản phẩm với bối cảnh. Trong khi đó, Lip Sync đánh giá riêng khả năng đồng bộ khẩu hình khi nói, hát, nhiều nhân vật và nhiều ngôn ngữ. Với Graphic Design, các tiêu chí gồm độ bám phong cách, độ chính xác của chữ, bố cục và typography. Cách tiếp cận này đặc biệt phù hợp với các đội ngũ quảng cáo và sáng tạo. Một agency có thể cần một model để tạo key visual, một model khác để dựng quảng cáo video và một model thứ ba để xử lý lip sync. Việc lựa chọn không nhất thiết phải xoay quanh một mô hình duy nhất.

Seedance 2.5 đang dẫn đầu nhiều hạng mục video

Trong bảng xếp hạng video hiện tại của OpenArt Arena, Seedance 2.5 của ByteDance đứng đầu bảng tổng thể với 1.081 điểm, tiếp theo là Wan 3.0 của Alibaba với 1.047 điểm và Seedance 2.0 với 1.044 điểm. Seedance 2.5 cũng đứng đầu nhiều nhóm công việc quan trọng. Ở quảng cáo video (Ads), model đạt 1.072 điểm; ở Film đạt 1.132 điểm; Animation 1.077 điểm; Motion Design 1.097 điểm và Lip Sync 1.123 điểm. Tuy nhiên, Seedance 2.5 không đứng đầu mọi tác vụ. Ở Video Editing, Wan 3.0 hiện đứng đầu với 1.080 điểm, chỉ nhỉnh hơn Seedance 2.5 ở mức 1.079 điểm. Khoảng cách rất nhỏ này cũng cho thấy không nên coi một vài điểm xếp hạng là bằng chứng về khác biệt chất lượng lớn. OpenArt công bố khoảng tin cậy 95% cho các kết quả và lưu ý rằng những mô hình có khoảng tin cậy chồng lấn không thể được xem là khác biệt rõ ràng chỉ dựa trên thứ hạng. Một điểm đáng chú ý khác với người dùng quan tâm đến MiniMax H3 là model này hiện đứng thứ 7 ở bảng video tổng thể với 1.000 điểm, và cũng đạt 1.000 điểm ở các bảng Ads, Film, Animation, Motion Design, Video Editing và Lip Sync. Điều này cho thấy H3 vẫn nằm trong nhóm được OpenArt đưa vào đánh giá trực tiếp, nhưng hiện chưa đứng ở nhóm dẫn đầu trong các bảng này.

Seedance 2.5 đang dẫn đầu nhiều hạng mục video

Thiết kế đồ họa: GPT Image 2 nổi bật, Seedream 5.0 Pro dẫn đầu tổng thể ảnh

Ở mảng hình ảnh, kết quả phân hóa hơn đáng kể. GPT Image 2 của OpenAI hiện đứng đầu bảng Graphic Design với 1.051 điểm và cũng đứng đầu Image Editing với 1.045 điểm. Đây là những hạng mục đặc biệt liên quan tới công việc thiết kế, chỉnh sửa và xử lý chữ trong hình ảnh. Trong khi đó, Seedream 5.0 Pro của ByteDance đứng đầu bảng Image Overall với 1.051 điểm. Model này cũng dẫn đầu hai nhóm E-commerce với 1.025 điểm và Film với 1.074 điểm. Kết quả này cho thấy không có một mô hình ảnh duy nhất đứng đầu tất cả các loại công việc. GPT Image 2 hiện có lợi thế trong thiết kế đồ họa và chỉnh sửa, trong khi Seedream 5.0 Pro đứng đầu khi OpenArt đánh giá tổng thể và ở một số nhóm hình ảnh chuyên biệt. Đáng chú ý, OpenArt không chỉ công bố điểm số mà còn công khai phương pháp đánh giá. Các bảng được xây dựng từ những prompt lấy từ các tình huống sáng tạo thực tế; mỗi model nhận cùng một yêu cầu và kết quả được đưa vào đánh giá theo quy trình cố định. Danh tính model được ẩn, vị trí trái/phải được xáo trộn và người đánh giá buộc phải chọn một trong hai kết quả. Điều này khiến Arena có giá trị tham khảo khá trực tiếp đối với người dùng thực tế. Thay vì chỉ biết một model “thông minh” hay “mạnh” hơn model khác, người dùng có thể xem nó hoạt động thế nào trong đúng loại công việc mình cần. Tuy vậy, OpenArt Arena vẫn nên được xem là một nguồn tham khảo chứ không phải tiêu chuẩn tuyệt đối. OpenArt đồng thời là một nền tảng thương mại cung cấp quyền truy cập vào nhiều model được đưa lên bảng xếp hạng. Vì vậy, với các doanh nghiệp có yêu cầu cụ thể về thương hiệu, chi phí, bản quyền, dữ liệu riêng tư hoặc khả năng triển khai, việc tự kiểm thử trên chính workflow của mình vẫn rất quan trọng. Với người làm thiết kế đồ họa, quảng cáo video và AI video, điểm đáng chú ý nhất từ Arena là xu hướng chuyển từ câu hỏi “model nào mạnh nhất?” sang “model nào phù hợp nhất với công việc này?”. Khi các model ngày càng chuyên biệt, một workflow thực tế có thể sử dụng nhiều model khác nhau thay vì phụ thuộc vào một lựa chọn duy nhất.

GPT Image 2 vs Seedream 5.0 Pro

Nguồn: venturebeat

Cộng đồng: