Nghiên cứu · Rohan Paul
So sánh LLM chạy nội bộ: Mô hình MoE nhỏ gọn đánh bại các 'ông lớn' trong tác vụ gọi công cụ
Thử nghiệm trên MacBook Pro cho thấy mô hình LFM2.5-8B-A1B vượt trội hơn hẳn gpt-oss-20b trong việc gọi công cụ, với tốc độ nhanh gấp đôi và độ chính xác tuyệt đối dù tiêu tốn ít tài nguyên hơn.
Tóm tắt
Thử nghiệm trên MacBook Pro cho thấy mô hình LFM2.5-8B-A1B vượt trội hơn hẳn gpt-oss-20b trong việc gọi công cụ, với tốc độ nhanh gấp đôi và độ chính xác tuyệt đối dù tiêu tốn ít tài nguyên hơn.
Vì sao đáng chú ý
Tin tức thực tế, có số liệu so sánh cụ thể trên phần cứng phổ thông, rất hữu ích cho cộng đồng phát triển AI tại địa phương.
Nội dung dịch chi tiết
Trong một thử nghiệm chạy cục bộ trên MacBook Pro M5 Max (64GB RAM), mô hình LFM2.5-8B-A1B của Liquid đã cho thấy hiệu suất vượt trội so với gpt-oss-20b của OpenAI trong các tác vụ lập kế hoạch du lịch đòi hỏi thực hiện 7 lệnh gọi công cụ.
Mô hình LFM2.5-8B-A1B chỉ tiêu tốn 4,8GB bộ nhớ và hoàn thành xuất sắc toàn bộ 7/7 lệnh gọi công cụ. Tốc độ xử lý đạt 266 token/giây, với tổng thời gian thực hiện là 6,9 giây.
Ngược lại, mô hình gpt-oss-20b tiêu tốn tới 11GB bộ nhớ nhưng chỉ hoàn thành được 3/7 lệnh gọi công cụ. Tốc độ xử lý của mô hình này đạt 146 token/giây và mất 15 giây để hoàn thành tác vụ.
Kết quả này chứng minh rằng một mô hình MoE với quy mô tham số hoạt động nhỏ hơn (1B) có thể đánh bại các mô hình lớn hơn gấp 2,5 lần trong các tác vụ thông minh như gọi công cụ, nhờ vào quá trình huấn luyện được tối ưu hóa chính xác hơn.
Ý chính từ bài gốc
- LFM2.5-8B-A1B hoàn thành 7/7 lệnh gọi công cụ, trong khi gpt-oss-20b chỉ đạt 3/7.
- Mô hình LFM2.5-8B-A1B tiết kiệm bộ nhớ hơn đáng kể (4,8GB so với 11GB).
- Tốc độ xử lý của LFM2.5-8B-A1B đạt 266 tok/s, nhanh hơn mức 146 tok/s của gpt-oss-20b.
- Mô hình MoE với tham số hoạt động nhỏ (1B) có thể vượt trội hơn mô hình lớn nhờ huấn luyện chính xác.
Bài viết được AI dịch và tổng hợp tự động từ X/Twitter. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.