Vận hành mô hình trong thực tế: Tối ưu hóa suy luận, vRAM và chi phí, hạ tầng Serving (vLLM, Ollama).
Aravind Srinivas (Perplexity CEO)@AravSrinivas· 2 nguồnCEO Aravind Srinivas thông báo Portable Computer của Perplexity đã hỗ trợ chạy cục bộ trên Linux với GPU NVIDIA RTX (yêu cầu VRAM từ 24GB trở lên), phiên bản Windows sẽ sớm ra mắt.
Nvidia giới thiệu công cụ mã nguồn mở PAIR, cho phép kết nối các máy tính trong mạng nội bộ để tạo thành hệ thống xử lý AI cục bộ, hỗ trợ tốt cho Ollama và LM Studio.
- một trong 'tứ đại gia' GPU Trung Quốc - vừa công bố kết quả IPO trên sàn STAR Market với giá 142,18 NDT/cổ phiếu. Số vốn huy động được hơn 6,1 tỷ NDT sẽ tập trung phát triển chip AI thế hệ thứ 5 và thứ 6.
Tại hội nghị kết quả kinh doanh, Moore Threads tuyên bố đã làm chủ toàn bộ quy trình AI hiện thân, từ tạo dữ liệu tổng hợp, huấn luyện mô hình lớn, mô phỏng đến triển khai phần cứng tại biên.
Perplexity vừa mã nguồn mở Lily, công cụ suy luận hiệu năng cao viết bằng Rust và Metal, được thiết kế chuyên biệt để chạy mô hình Qwen3.6-35B-A3B trên chip Apple Silicon mà không cần phụ thuộc vào PyTorch hay MLX.
NLP@dongxi_nlpVideo Delta Net (VDN) đạt tốc độ tạo video vượt thời gian thực nhờ cơ chế Hybrid Attention, giúp tăng tốc Minimax-H3 lên tới 90 lần. Dự án đã mã nguồn mở toàn bộ checkpoint và mã nguồn, cho phép tạo video 768p dài 14 giây chỉ trong 11 giây trên 8 GPU B200.
Rohan Paul@rohanpaul_aiNghiên cứu trên 8.500 plugin cho thấy 74% các thay đổi được gắn nhãn 'tài liệu' thực chất là mã lệnh điều khiển runtime của Claude. Điều này gây ra sự thiếu đồng bộ nghiêm trọng giữa tài liệu hướng dẫn và logic thực thi của AI.
Các hãng ASUS, Galaxy và Gigabyte đồng loạt điều chỉnh tăng giá card đồ họa RTX 50 series từ 150-500 tệ do nguồn cung VRAM khan hiếm và ưu tiên năng lực sản xuất cho GPU AI.
Meta tạo nên cú lội ngược dòng ngoạn mục khi Muse Spark 1.3 đạt hiệu năng ngang ngửa GPT-5.6-Sol, đồng thời tối ưu chi phí đào tạo xuống hơn 90%.
Ethan Mollick@emollickEthan Mollick chia sẻ prompt giúp Fable 5.1 tạo bản đồ 3D tương tác về các con tàu trong sử thi Iliad, kết hợp dữ liệu khảo cổ và hình ảnh thực tế thông qua quy trình kiểm thử bởi AI.
Xiaomi 18 Fold gây ấn tượng với pin 6000mAh, chip AI Xuanjie O3 hiệu năng cực mạnh và RAM LPDDR6 thế hệ mới. Thiết bị còn được trang bị hệ điều hành HyperOS 4 tập trung vào trải nghiệm AI toàn diện.
Đội ngũ phát triển RPCS3 quyết định không hỗ trợ DLSS 5 sau khi thử nghiệm cho thấy công nghệ này làm giảm 50-60% hiệu năng, khẳng định không chạy theo các tính năng tối ưu kém.
AI Notes@AYi_AInotesBài viết phân tích sự tiến hóa của phần cứng AI trong thập kỷ qua, cho rằng việc chuyển dịch từ CPU, GPU sang LPU thực chất là đánh đổi tính đa năng của chip để lấy hiệu suất độ trễ thấp và tối ưu hóa bộ nhớ.
Hugging Face chia sẻ cách dùng thư viện TRL để tinh chỉnh mô hình LiquidAI trên GPU miễn phí. Chỉ với 500 mẫu và 100 bước huấn luyện, hiệu suất đạt chuẩn IFStruct đã cải thiện đáng kể từ 22.6% lên 29.7%.
Đội ngũ Qwen vừa phát hành mã nguồn mở zg, một công cụ tìm kiếm cục bộ tích hợp ripgrep, BM25 và tìm kiếm vector vào một giao diện duy nhất, hỗ trợ chạy mượt mà không cần GPU.
Exynos 2700 được cho là sẽ sử dụng tiến trình SF2P 2nm của Samsung với cấu trúc 10 nhân CPU đột phá và hỗ trợ RAM LPDDR6, hứa hẹn mang lại hiệu năng vượt trội cho dòng Galaxy S27.
Alexandr Wang (Scale AI /Meta AI )@alexandr_wangNhà sáng lập Scale AI chia sẻ bài kiểm tra cho thấy Muse Spark 1.3 hoàn thành tác vụ chỉ trong 1 phút với chi phí gần như bằng 0, trong khi Fable 5.1 mất tới 70 phút và tốn 13 USD cho cùng một yêu cầu.
Alexandr Wang (Scale AI /Meta AI )@alexandr_wangMuse Spark 1.3 của Meta đạt 62 điểm, ngang bằng Claude Fable 5 và vượt qua nhiều đối thủ mạnh, trong khi chi phí vận hành rẻ hơn gấp nhiều lần, đưa Meta vào nhóm dẫn đầu về mô hình AI.
Kim@kimmonismus· 3 nguồnMeta vừa trình làng Muse Spark 1.3, phiên bản thứ tư trong năm tháng qua. Biến thể 'max' đạt 62 điểm trên bảng xếp hạng Artificial Analysis, khẳng định vị thế cạnh tranh mạnh mẽ với các mô hình hàng đầu hiện nay.
NLP@dongxi_nlp· 5 nguồnGemini 3.8 vừa trình làng với hiệu năng ấn tượng. Các chuyên gia nhận định Google đang áp dụng lại chiến lược cũ: tung bản nâng cấp vào cuối hè, sau đó đẩy mạnh gói Ultra vào cuối năm để giữ chân người dùng.
Podcast của GitHub cùng các chuyên gia giải thích những thuật ngữ mới nổi trong quy trình phát triển AI, giúp lập trình viên nắm bắt nhanh các khái niệm kỹ thuật hiện đại.
Mark Zuckerberg@finkdMuse Spark 1.3 vừa được phát hành với hiệu năng tiệm cận các mô hình tiên tiến nhất, nhưng sở hữu mức giá vận hành cực kỳ tối ưu, gần như không đáng kể.
Kỹ sư GitHub chia sẻ 4 chiến lược tối ưu hóa, từ việc nén dữ liệu đầu vào đến tinh chỉnh quy trình xử lý tác vụ, giúp giảm đáng kể chi phí suy luận mà vẫn đảm bảo hiệu suất lập trình.
Google vừa giới thiệu Gemini 3.8 Flash, bao gồm phiên bản tiêu chuẩn và phiên bản chuyên dụng cho an ninh mạng (Cyber), đánh dấu bước đi chiến lược trong việc phổ cập các mô hình AI hiệu năng cao.
Elvis Saravia@omarsar0Elvis Saravia chia sẻ cách khắc phục văn phong quá hoa mỹ của Claude bằng cách thêm chỉ dẫn 'Please remove all mannered prose' vào hệ thống. Đây là kỹ thuật từ tài liệu chính thức giúp câu văn trở nên trực diện và tự nhiên hơn.
Josh Woodward@joshwoodwardPhó chủ tịch Google Labs Josh Woodward khẳng định Gemini 3.8 Flash đạt hiệu suất vượt trội trên benchmark DeepSWE V1.1, mang lại giá trị tối ưu về cả chất lượng lẫn chi phí cho người dùng.
Google giới thiệu kỹ thuật 'harness' giúp bao bọc LLM bằng các thành phần xác định như sandbox và công cụ kiểm chứng, cho phép AI tự động tạo và sửa lỗi code an toàn mà không cần con người can thiệp.
Kim@kimmonismusCác bài kiểm tra hiệu năng mới nhất cho thấy Gemini 3.8 Flash đạt kết quả ấn tượng, vượt qua các đối thủ sừng sỏ như Claude 3.5 Sonnet và Opus 3 trong môi trường Terminal Bench 2.
Anthropic cập nhật prompt hệ thống cho Claude, nghiêm cấm tái tạo lời bài hát, tác phẩm có bản quyền và nhân vật thương hiệu, ngoại trừ các tác phẩm xuất bản trước năm 1929.