TransNormal-2 giải quyết lỗi tái tạo của VAE trong ước tính bề mặt 3D bằng cách tối ưu hóa giám sát tiềm ẩn và hiệu chỉnh cạnh, giúp tăng độ chính xác hình học đáng kể cho các mô hình khuếch tán.
Nghiên cứu giới thiệu Causal Visual Recurrent Reasoning (CVRR), phương pháp buộc mô hình AI phải sử dụng các trạng thái ẩn để suy luận hình ảnh thay vì dựa vào các chuỗi suy nghĩ văn bản, giúp tăng độ chính xác và tính minh bạch trong xử lý đa phương thức.
Kalman Delta Networks (KDNs) cải tiến cơ chế attention tuyến tính bằng cách áp dụng bộ lọc Kalman để quản lý độ bất định trong bộ nhớ, giúp mô hình tối ưu hóa việc ghi nhớ thông tin dựa trên bằng chứng tích lũy thay vì chỉ dựa vào token hiện tại.
SimpleMemVLA loại bỏ các module bộ nhớ phức tạp, thay vào đó truyền trực tiếp lịch sử video vào backbone để xử lý, giúp mô hình VLA ghi nhớ thông tin dài hạn hiệu quả hơn mà không cần nén dữ liệu.
Nghiên cứu SMELT từ Đại học Thanh Hoa và ByteDance giải mã hiệu năng của Looped Transformer bằng cách so sánh công bằng về chi phí tính toán, tham số và KV cache, khẳng định tiềm năng của việc tái sử dụng các lớp mạng thay vì chỉ tăng quy mô mô hình.
Nghiên cứu này khám phá cách các mô hình ngôn ngữ lớn tổ chức các thao tác suy luận như phân tích mục tiêu và suy diễn trong không gian biểu diễn ẩn, chứng minh rằng các thao tác này có cấu trúc hình học riêng biệt và không phụ thuộc vào từ vựng.
Elvis Saravia@omarsar0NoRA (Normalized Low-Rank Adaptation) giới thiệu một thay đổi đơn giản nhưng hiệu quả trong cấu trúc LoRA, giúp cải thiện khả năng hội tụ mà không làm tăng chi phí tính toán.
ShallowStream là khung làm việc mới giúp giảm chi phí tính toán khi xử lý video trực tuyến bằng cách kết hợp xử lý nông (shallow) cho các khung hình đầu vào và chỉ đi sâu (deep) khi cần thiết, giúp tối ưu hóa bộ nhớ KV cache.
Nghiên cứu này chứng minh rằng layer dropout vẫn cực kỳ hữu ích cho các LLM hiện đại nếu được cấu hình đúng, giúp giảm loss và tăng hiệu suất huấn luyện mà không làm mất độ chính xác.
Nghiên cứu chỉ ra rằng việc lượng tử hóa trạng thái trong mạng hồi quy (RNN) có thể gây sai số nghiêm trọng khi dự đoán các thông số sinh học. Việc lưu trữ trạng thái 4-bit làm tăng sai số dự báo lên gấp hàng trăm lần so với mô hình gốc.
QCell là mô hình dựa trên truy vấn mới giúp tách biệt các tế bào chồng lấp trong ảnh hiển vi bằng cách tái tổ hợp biểu diễn tiềm ẩn và căn chỉnh đối lập, giúp nhận diện cấu trúc tế bào chính xác hơn.
OpenAI Astra đạt ngưỡng năng lực an ninh mạng 'cấp độ quan trọng', có khả năng tự phát hiện lỗ hổng zero-day nhờ kỹ thuật 'độ sâu tuần hoàn' mới, khiến giới chuyên gia lo ngại về khả năng kiểm soát AI.
ZipTok3D là phương pháp tokenizer 3D mới giúp tái tạo hình học chất lượng cao từ các chuỗi token cực ngắn bằng cách sử dụng tiền tố thông tin phân cấp và cơ chế giải mã lặp lại.
CRISP là phương pháp mới giúp tăng tốc giai đoạn tiền xử lý (prefilling) cho LLM bằng cách định tuyến thông minh dựa trên cấu trúc phân bổ trọng số attention, thay thế các cơ chế cũ kém hiệu quả.
Nghiên cứu này xác định bốn yếu tố then chốt để tối ưu hóa khả năng đọc và hiểu văn bản trực tiếp từ điểm ảnh, giúp khắc phục các hạn chế về độ phân giải và khả năng đa ngôn ngữ của các mô hình hiện nay.
Nghiên cứu chỉ ra rằng các mô hình ngôn ngữ lớn (LLM) ẩn chứa cấu trúc ký hiệu Tensor Product Representation. Bằng phương pháp DISCOVER, các tác giả đã thay thế biểu diễn vector của 7 mô hình (như Llama-3.1, Qwen3) bằng các phương trình ký hiệu mà vẫn giữ nguyên hành vi của mô hình.
LayerRecall là cơ chế định tuyến bộ nhớ mới giúp mô hình video AI truy xuất và chèn dữ liệu lịch sử vào các lớp mạng phù hợp, giải quyết vấn đề mất tính nhất quán khi tạo video dài.
ABot-Recon là mô hình tái dựng 3D trực tuyến đột phá, chỉ sử dụng bộ nhớ đệm 11 khung hình gần nhất để duy trì độ ổn định mà không cần bộ nhớ dài hạn phức tạp, giúp tối ưu hóa tài nguyên tính toán cho các video cực dài.
Francois Chollet@fcholletFiguring out the origins of cosmic rays (e.g. supernova, black hole…) from ground-based detector a…
DịchCác nhà vật lý thiên văn đang ứng dụng Keras để thay thế phương pháp trích xuất đặc trưng thủ công, cho phép mô hình hóa trực tiếp các dạng sóng không-thời gian nhằm truy vết nguồn gốc tia vũ trụ từ siêu tân tinh và hố đen.
Các nhà vật lý thiên văn đang ứng dụng Deep Learning và Keras để xử lý dữ liệu khổng lồ từ các đài quan sát, giúp tăng độ nhạy của thiết bị và phát hiện các tín hiệu vũ trụ bất thường.
Thêm 1 nguồn khác đưa tinX: Francois Chollet (@fchollet)Gated Recurrent Transformer giải quyết bài toán cân bằng giữa khả năng biểu đạt và bộ nhớ bằng cách sử dụng các khối lặp lại có kiểm soát, cho phép mô hình chuyên biệt hóa dữ liệu đầu vào mà không cần tăng số lượng tham số đáng kể.
DREAM là kiến trúc điều phối mới giúp hệ thống gợi ý hiểu rõ ý định người dùng theo thời gian thực thông qua cơ chế phân tầng thông minh, giúp tối ưu hóa hiệu suất mà không cần thay thế hạ tầng cũ.
TorchMorph là tiện ích mở rộng nhẹ cho PyTorch, cung cấp 22 toán tử tối ưu hóa bằng CUDA, hỗ trợ xử lý hình thái học nhị phân/thang độ xám và vận chuyển tối ưu trên tensor lên tới 8 chiều.
RIBOSPAN là mô hình nền tảng RNA 1,6 tỷ tham số, hỗ trợ độ dài ngữ cảnh lên tới 10.240 nucleotide, cho phép phân tích chính xác các cấu trúc RNA phức tạp ở độ phân giải đơn nhân.
Microsoft Research@MSFTResearchSkala 1.1, the updated deep-learning exchange-correlation functional from Microsoft Research, provid…
DịchMicrosoft Research vừa ra mắt Skala 1.1, bản cập nhật hàm trao đổi-tương quan dựa trên học sâu, giúp nâng cao độ chính xác và khả năng tiếp cận trong nghiên cứu hóa học tính toán.
Francois Chollet@fcholletIf you're 17 (or any age) and you want to learn to build LLMs from scratch, read chapters 15-16 of D…
DịchTác giả Francois Chollet gợi ý chương 15-16 trong cuốn 'Deep Learning with Python' là tài liệu tuyệt vời để hiểu cách xây dựng LLM, đặc biệt là giải thích sâu sắc về cơ chế chú ý (attention).
Nghiên cứu đề xuất phương pháp chuyển đổi siêu tham số hiệu quả, giúp dự đoán tốc độ học tối ưu cho các mô hình MoE khổng lồ mà không cần tốn kém tài nguyên tính toán.
Ma Dongxi NLP@dongxi_nlpPretraining Recurrent Networks without Recurrence
DịchBài báo giới thiệu phương pháp huấn luyện mạng RNN thông qua mô hình giáo viên Transformer, giúp tối ưu hóa khả năng biểu diễn trạng thái dự đoán và học giám sát hàm chuyển đổi bộ nhớ.
Microsoft Research@MSFTResearchSkala 1.1, the updated deep-learning exchange-correlation functional from Microsoft Research, provid…
DịchMicrosoft Research vừa cập nhật Skala 1.1, hàm trao đổi-tương quan dựa trên học sâu, giúp tăng độ chính xác và khả năng tiếp cận trong nghiên cứu hóa học tính toán cùng hệ thống theo dõi hiệu suất thời gian thực.
Microsoft Research ra mắt Skala 1.1, mô hình học sâu giúp tăng độ chính xác và khả năng tiếp cận trong tính toán hóa học, đồng thời thiết lập chuẩn mực mới cho hiệu suất mô phỏng DFT.
ModelMap cho phép bạn xem sơ đồ cấu trúc động của bất kỳ mô hình nào trên Hugging Face mà không cần tải xuống trọng số. Công cụ hỗ trợ các mô hình phổ biến như Qwen, DeepSeek và Kimi, giúp việc phân tích kiến trúc trở nên trực quan và nhanh chóng.
MoE-ViE tối ưu hóa khả năng hiểu hình ảnh và video bằng kiến trúc chuyên gia hỗn hợp (MoE), đạt hiệu suất vượt trội với độ trễ thấp hơn 24% so với các mô hình cùng kích thước, thiết lập chuẩn mực mới cho các mô hình đa phương thức.
HiFi-BRep giới thiệu khung làm việc đột phá giúp loại bỏ nhiễu trong thiết kế CAD, cho phép dự đoán đồng thời hình học và cấu trúc liên kết với độ chính xác vượt trội so với các phương pháp hiện nay.
Rohan Paul@rohanpaul_aiSome newer efficient LLMs (using "hybrid Transformer") are cutting back on expensive attention layer…
DịchCác mô hình LLM kiến trúc lai sử dụng lớp tuần hoàn giá rẻ thay thế phần lớn lớp Attention, nhưng các lớp Attention còn lại đóng vai trò quyết định. Nghiên cứu chỉ ra sự xuất hiện của các giá trị nội tại cực đại trước các lớp này, ảnh hưởng trực tiếp đến hiệu suất và cấu trúc mô hình.
Dion3 cải tiến thuật toán Muon bằng cách giảm chi phí tính toán và truyền tin thông qua thuật toán Gram Newton-Schulz mới và chiến lược megabatching, giúp tăng tốc huấn luyện mà vẫn giữ nguyên hiệu suất.
Marionette cải thiện tính nhất quán trong game bằng cách tách biệt việc dự đoán trạng thái 3D của nhân vật với quá trình kết xuất hình ảnh, giúp kiểm soát chuyển động và hình học chính xác hơn so với các mô hình tạo ảnh pixel truyền thống.
Bài viết phân tích lý do tại sao các mô hình tuần hoàn (recurrent models) thường gặp lỗi khi cố gắng suy nghĩ sâu hơn, đồng thời giải thích cách Transformer hiện nay đang dùng phương pháp 'vừa nói vừa nghĩ' để vượt qua giới hạn tính toán.
Maglev giới thiệu kiến trúc Transformer hồi quy mới sử dụng bộ nhớ cố định, kết hợp ưu điểm của cơ chế chú ý cửa sổ trượt và khả năng huấn luyện song song, giúp cải thiện hiệu suất dự đoán token so với các mô hình truyền thống.
RibAssist 3D sử dụng hai góc chiếu CT trực giao để tự động phát hiện và định vị chính xác các vết gãy xương sườn trong không gian 3D, giúp giảm tải đáng kể công việc cho bác sĩ chẩn đoán hình ảnh.
CMD giới thiệu khung làm việc DMD nhân quả, giúp đồng bộ hóa sự giám sát của giáo viên với quá trình tạo video của học sinh, từ đó tối ưu hóa hiệu suất tạo video ngắn và dài, đồng thời cải thiện khả năng kiểm soát camera theo thời gian.