Startup Hàn Quốc tạo máy chủ AI 'hiệu quả hơn Nvidia H100'

Theo FuriosaAI, mỗi hệ thống RNGD Server có sức mạnh tính toán 4 petaflop (triệu tỷ phép tính mỗi giây) và 384 GB bộ nhớ HBM3, nhưng chỉ tiêu thụ 3 kW khi hoạt động. Trong khi đó, máy chủ Nvidia DGX H100 có thể tiêu thụ hơn 10 kW cho cùng mức hiệu năng. Có nghĩa, một rack trung tâm dữ liệu tiêu chuẩn, thường giới hạn ở mức 15 kW, có thể chứa 5 máy chủ RNGD, trong khi chỉ có thể lắp vừa một máy chủ DGX H100.

FuriosaAI cho biết thiết kế này khắc phục một rào cản lớn đối với doanh nghiệp, vì hầu hết trung tâm dữ liệu hiện đều giới hạn ở mức 8 kW điện năng mỗi rack hoặc ít hơn, do đòi hỏi hệ thống làm mát và cấp điện phức tạp. Công ty tuyên bố việc áp dụng RNGD Server cho phép doanh nghiệp mở rộng quy mô hiệu quả, đồng thời duy trì khả năng tương thích với API của OpenAI.

Startup của Hàn Quốc FuriosaAI, nổi tiếng vì từng từ chối lời đề nghị mua lại với giá 800 triệu USD từ Meta, được đánh giá đang tạo ra bước đột phá trong bối cảnh nhu cầu về cơ sở hạ tầng AI tăng cao. Công ty đặt mục tiêu cung cấp cho doanh nghiệp giải pháp phần cứng có thể chạy mô hình ngôn ngữ lớn mà không phải chịu chi phí nâng cấp trung tâm dữ liệu tốn kém hay hóa đơn năng lượng khổng lồ.

FuriosaAI cũng vừa hoàn thành vòng gọi vốn series C trị giá 125 triệu USD và mở rộng quan hệ đối tác với LG AI Research. LG sử dụng phần cứng RNGD để chạy mô hình Exaone của mình và cho biết đạt được hiệu suất suy luận trên mỗi watt cao hơn gấp đôi so với GPU truyền thống. Trước đó, FuriosaAI cũng hợp tác với OpenAI trình diễn chatbot mã nguồn mở gpt-oss 120B chạy theo thời gian thực chỉ trên hai bộ tăng tốc RNGD.

Máy chủ RNGD đang được các khách hàng thử nghiệm và dự kiến cho đặt hàng đầu năm 2026.

Huy Đức (theo TechRadar)