Đội ngũ SGLang giới thiệu cách sử dụng API /v1/score để tối ưu hóa các mô hình ra quyết định, cho phép chỉ định trực tiếp token nhãn thay vì dựa vào logprobs của phản hồi.
Arena@arenaThe redesigned Arena Leaderboard Overview is live! The frontier is moving quickly, so we built a ce…
DịchArena vừa nâng cấp bảng xếp hạng với giao diện mới, tích hợp luồng dữ liệu thời gian thực, phân loại theo chuyên môn (Coding, Agent, Image) và đánh giá nhanh các mô hình mới như GPT-6 Sol hay Claude Opus 5.5.
Infer-forge là hệ thống kỹ thuật nội bộ giúp chuẩn hóa quy trình triển khai mô hình AI thông qua các cấu trúc Harness, Loop và Graph, đảm bảo tính nhất quán và khả năng kiểm chứng cho các hệ thống suy luận phức tạp.
Nhóm LMSYS đã tối ưu hóa mô hình MoE 1.6 nghìn tỷ tham số DeepSeek-V4-Pro trên GPU H20, đạt tốc độ 271 tokens/s, thu hẹp đáng kể khoảng cách hiệu năng so với chip B300.
Miles v0.1 là hệ thống toàn diện đầu tiên giúp tối ưu hóa quy trình huấn luyện hậu kỳ cho các mô hình AI tiên tiến, mang đến giải pháp kỹ thuật thực tế và hiệu quả.