Chuyên gia OpenAI ca ngợi giải pháp suy luận AI từ AMD và Cerebras: Hiệu suất vượt trội

Cảm ơn bạn đọc của IT đã gửi thông tin đóng góp!

Theo tin từ IT ngày 29 tháng 7, trang tin công nghệ Wccftech hôm qua (28 tháng 7) đã đăng tải bài viết cho biết, nhà nghiên cứu Jeffrey Wang của OpenAI chỉ ra rằng giải pháp suy luận AI do AMD hợp tác cùng Cerebras phát triển có hiệu năng "đáng kinh ngạc".

Như IT đã đưa tin trước đó, giải pháp này chủ yếu nhắm vào các kịch bản suy luận AI có độ trễ cực thấp, kết hợp giải pháp cấp rack Helios của AMD với Wafer-Scale Engine (động cơ cấp tấm wafer) của Cerebras nhằm đối trọng với sự hợp tác giữa Nvidia và Groq.

Theo lộ trình được hai bên tiết lộ, hệ thống rack Helios đóng vai trò là động cơ thông lượng hiệu năng cao, có khả năng mở rộng, chuyên xử lý các câu lệnh (prompt) và cửa sổ ngữ cảnh lớn.

Trong khi đó, Wafer-Scale Engine của Cerebras đảm nhận khâu tạo và giải mã token vốn đòi hỏi băng thông bộ nhớ cao hơn, tập trung vào hiệu suất độ trễ cực thấp. Việc kết hợp hai động cơ tính toán này được dự đoán có thể tăng số lượng token trên mỗi watt mỗi giây lên gấp 5 lần.

Nhà nghiên cứu Jeffrey Wang của OpenAI đánh giá rất cao giải pháp suy luận AI do AMD hợp tác phát triển, ông cho biết:

Chúng tôi đã chạy thử nghiệm một số mô hình OpenAI trên chip Cerebras nội bộ và kết quả rất xuất sắc, tốc độ suy luận vô cùng ấn tượng.

Đối với công việc hàng ngày của chúng tôi, trước đây có thể mất vài phút để hoàn thành một tác vụ, nhưng giờ đây ngay khi vừa chuyển đổi tác vụ, nó đã hoàn tất, điều này giúp cải thiện đáng kể hiệu suất làm việc của chúng tôi.

Đọc thêm:

AMD hợp tác cùng Cerebras đặt cược vào suy luận AI độ trễ thấp: Thông lượng token trên mỗi watt tăng gấp 5 lần

Hợp tác với AMD thúc đẩy phần cứng suy luận AI mang lại tín hiệu tích cực, cổ phiếu Cerebras Systems tăng 11% trong phiên hôm nay

Tuyên bố quảng cáo: Các liên kết chuyển hướng bên ngoài trong bài viết (bao gồm nhưng không giới hạn ở siêu liên kết, mã QR, mật khẩu, v.v.) được sử dụng để truyền tải thêm thông tin, tiết kiệm thời gian lựa chọn, kết quả chỉ mang tính chất tham khảo, tất cả các bài viết của IT đều bao gồm tuyên bố này.