Mô hình · Berryxia.AI
Mô hình Step 3.7 Flash của StepFun đã được tối ưu hóa cho Apple Silicon qua MLX
Mô hình đa phương thức Step 3.7 Flash hiện đã chạy mượt mà trên Mac với framework MLX. Phiên bản 4bit đạt tốc độ hơn 53 tokens/s và hỗ trợ ngữ cảnh 32K, mang lại khả năng xử lý AI cục bộ mạnh mẽ và bả
Tóm tắt
Mô hình đa phương thức Step 3.7 Flash hiện đã chạy mượt mà trên Mac với framework MLX. Phiên bản 4bit đạt tốc độ hơn 53 tokens/s và hỗ trợ ngữ cảnh 32K, mang lại khả năng xử lý AI cục bộ mạnh mẽ và bảo mật.
Vì sao đáng chú ý
Tin tức kỹ thuật quan trọng cho người dùng Mac, chứng minh khả năng chạy mô hình đa phương thức mạnh mẽ trên thiết bị cá nhân với hiệu suất ấn tượng.
Nội dung dịch chi tiết
Ivan Fioravanti vừa thông báo về việc chuyển đổi thành công mô hình Step 3.7 Flash của StepFun sang dự án mlx-vlm. Việc tích hợp này cho phép mô hình hoạt động trên khung MLX, hỗ trợ các khả năng hiểu hình ảnh và tạo văn bản trực tiếp trên thiết bị.
Các thử nghiệm cho thấy phiên bản lượng tử hóa 4bit của mô hình có thể vận hành ổn định trên các máy Mac sử dụng chip Apple Silicon với dung lượng RAM 128GB. Hệ thống hỗ trợ độ dài ngữ cảnh lên tới 32K.
Về hiệu suất, mô hình đạt tốc độ tạo văn bản vượt mức 53 tokens/giây. Ngoài ra, khả năng phân tích ảnh chụp màn hình của mô hình cũng được đánh giá là chính xác và hiệu quả.
Sự kiện này đánh dấu bước tiến quan trọng trong việc đưa các mô hình AI đa phương thức chất lượng cao lên máy tính cá nhân. Người dùng Mac giờ đây có thể tận dụng sức mạnh AI cục bộ mà vẫn đảm bảo được tính riêng tư và hiệu năng xử lý tối ưu.
Ý chính từ bài gốc
- Mô hình Step 3.7 Flash đã được chuyển đổi thành công sang dự án mlx-vlm.
- Hỗ trợ khả năng hiểu hình ảnh và tạo văn bản trên khung MLX.
- Phiên bản 4bit hỗ trợ ngữ cảnh 32K trên máy Mac 128GB RAM.
- Tốc độ tạo văn bản đạt hơn 53 tokens/giây.
- Khả năng phân tích ảnh chụp màn hình chính xác và hiệu quả.
- Cho phép chạy AI đa phương thức cục bộ trên Mac với tính bảo mật cao.
Bài viết được AI dịch và tổng hợp tự động từ X/Twitter. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.