Nghiên cứu
KV Cache không cần 'chọn lọc kỹ'? Phương pháp xóa ngẫu nhiên đạt hiệu suất tương đương, tăng tốc độ suy luận tới 43%
(giờ Việt Nam)
Tóm tắt AI
Nghiên cứu mới từ Salesforce và UIUC cho thấy việc xóa ngẫu nhiên các token trong KV Cache mang lại hiệu quả tương đương các thuật toán phức tạp, đồng thời giúp tăng đáng kể tốc độ suy luận nhờ giảm tải tính toán.
Bản dịch AI
Tăng 3,9 lần hiệu suất rollout RL! GT/CMU giới thiệu hệ thống suy luận ThunderAgent, giải quyết tình trạng nghẽn KV cache bằng cơ chế lập lịch "nhận diện chương trình".
Thông lượng của các hệ thống suy luận hiện đại sẽ giảm đáng kể (Hình 1a). Đồng thời, trong bối cảnh học tăng cường (RL)... một baseline mạnh mẽ trong thiết lập thu thập dữ liệu và tạo chiến lược RL. Hình 5 | Tỷ lệ hit của KV cache...
NeuralTalk
Cắt giảm 75% KV cache, tốc độ giải mã tăng vọt 6 lần! Kimi Linear đã thay đổi cơ chế Attention như thế nào nhờ "cổng phân giải chi tiết" (fine-grained gating)?
KV cache (Key-Value Cache) sẽ tăng trưởng tuyến tính, chiếm dụng lượng lớn VRAM, tốc độ giải mã... Hiệu suất đáng kinh ngạc với thông lượng giải mã ngữ cảnh lên tới hàng triệu Token tăng gấp 6 lần. Đằng sau đó là...
Công nghệ tiên phong AIGC
Huafang công bố mô hình MOE mạnh nhất thế giới! DeepSeek-V2
Đồng thời, lượng VRAM tiêu thụ (KV Cache) chỉ bằng 1/5 đến 1/100 so với các mô hình Dense cùng cấp, giúp giảm đáng kể chi phí trên mỗi token. Khi triển khai thực tế trên máy chủ 8 card H800, thông lượng đầu vào...
Ghi chú học tập của A Ze
Đột phá nút thắt I/O lưu trữ trong suy luận Agentic LLM! Đại học Bắc Kinh, Đại học Thanh Hoa phối hợp cùng DeepSeek đề xuất giải pháp DualPath: Tải KV cache theo đường dẫn kép.
Tăng thông lượng! GT/CMU giới thiệu hệ thống suy luận ThunderAgent, sử dụng "nhận diện chương trình"... LLM Inference via Dual-Path KV Cache Loading. Bài báo này đề xuất...
NeuralTalk
Khi đàn ông mệt mỏi sẽ tìm đến người tình, khi phụ nữ mệt mỏi sẽ...
Sức khỏe tinh thần doanh nghiệp Weilong: Nguồn nguyên liệu được tuyển chọn kỹ lưỡng, nghiên cứu phát triển sản phẩm khoa học và nghiêm ngặt... là sợi dây kết nối tình yêu thương, lòng trắc ẩn và sự tử tế. Hãy cùng phá vỡ khoảng cách xa xôi này...
Phụ nữ cần phải đọc nhiều sách
Cạnh vành đai trong Tĩnh An! Dự án Dahua Jing'an Nianhua với các căn hộ 3 ban công diện tích 108-123㎡, tỷ lệ sử dụng thực tế lên tới 96%, tương đương căn hộ 160㎡, giá trung bình khoảng 130.000 NDT/㎡, cơ hội sở hữu tài sản đắc địa tại Daning!
43%, công nhân kỹ thuật chiếm 40% cả nước32. Trong đó, có 65 nhà máy kéo sợi bông, chiếm khoảng... là một trong những khu vực phát triển kinh tế năng động nhất, có mức độ mở cửa cao nhất và năng lực đổi mới mạnh mẽ nhất tại Trung Quốc...
Danh sách bất động sản Jiujiu
5 hành động quyến rũ nhất của phụ nữ mà 99% đàn ông không thể cưỡng lại!
Sức khỏe tinh thần doanh nghiệp Weilong: Nguồn nguyên liệu được tuyển chọn kỹ lưỡng, nghiên cứu phát triển sản phẩm khoa học và nghiêm ngặt... là sợi dây kết nối tình yêu thương, lòng trắc ẩn và sự tử tế. Hãy cùng phá vỡ khoảng cách xa xôi này...
Phụ nữ cần phải đọc nhiều sách
"30 Chưa Phải Là Hết": 12 sự thật đau lòng mà ai cũng cần thấu hiểu trong đời!
Sức khỏe tinh thần doanh nghiệp Weilong: Nguồn nguyên liệu được tuyển chọn kỹ lưỡng, nghiên cứu phát triển sản phẩm khoa học và nghiêm ngặt... là sợi dây kết nối tình yêu thương, lòng trắc ẩn và sự tử tế. Hãy cùng phá vỡ khoảng cách xa xôi này...
Phụ nữ cần phải đọc nhiều sách
12 Trang tiếp theo
Tìm thấy khoảng 12 kết quả
Bài viết được AI dịch và tổng hợp tự động từ Jiqizhixin. Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.