Sản phẩm
Ra mắt litelm: Thư viện rút gọn từ LiteLLM với chỉ 2.900 dòng code
(giờ Việt Nam)
Tóm tắt AI
Dự án mã nguồn mở litelm vừa được ra mắt, lược bỏ các tính năng dư thừa từ LiteLLM để tập trung vào định tuyến mô hình, dịch tin nhắn và xử lý luồng với cấu trúc siêu nhẹ, chỉ phụ thuộc vào openai và httpx.
Bản dịch AI
Tính năng định tuyến (routing) + chuyển đổi (translation) của litellm trong khoảng 2.900 dòng mã và 2 phụ thuộc (openai, httpx).
litellm định tuyến các lệnh gọi LLM giữa các nhà cung cấp và chuyển đổi giữa các định dạng tin nhắn. Phần cốt lõi đó bị chôn vùi dưới hơn 100.000 dòng mã (LOC) của máy chủ proxy, các lớp bộ nhớ đệm, theo dõi chi phí và hàng tá tính năng mà hầu hết người dùng không bao giờ đụng đến. litelm chỉ trích xuất đúng đường dẫn gọi — định tuyến mô hình, chuyển đổi tin nhắn, streaming, sử dụng công cụ (tool use), embeddings — và không gì khác. Không có lớp Router, không proxy, không bộ nhớ đệm.
Cài đặt
Cách sử dụng
Mọi hàm đều có biến thể bất đồng bộ (async): acompletion, aembedding, aresponses, atext_completion.
API mô phỏng theo litellm — cùng tên hàm, cùng đối số, cùng kiểu phản hồi. Nếu bạn đang sử dụng litellm, việc chuyển đổi chỉ đơn giản là thay thế s/litellm/litelm/ trong các câu lệnh import của bạn.
Những gì bao gồm / Những gì bị loại bỏ
Các nhà cung cấp
Định tuyến đến 19 nhà cung cấp thông qua cú pháp "provider/model-name". Bất kỳ endpoint nào tương thích với OpenAI đều hoạt động thông qua api_base.
Khóa API
Thiết lập biến môi trường cho nhà cung cấp của bạn:
Hoặc truyền trực tiếp:
Xử lý lỗi
Tất cả lỗi từ nhà cung cấp đều được ánh xạ vào hệ thống phân cấp ngoại lệ của litelm:
Gọi công cụ (Tool Calling)
Nhà cung cấp tùy chỉnh / cục bộ
Bất kỳ máy chủ nào tương thích với OpenAI đều hoạt động thông qua api_base:
Tính minh bạch trong phát triển
litelm là phần mềm do con người định hướng và có sự hỗ trợ của AI. Phần lớn mã nguồn được viết bằng Claude Code sử dụng Claude Opus 4.6/4.7. Mã nguồn được viết từ ngày 14/05/2026 trở đi được thực hiện thông qua Pi sử dụng GPT-5.5. Các tuyên bố về tính tương thích dựa trên các bài kiểm tra và đánh giá của người bảo trì, không phải do AI tự viết.
Xác nhận từ phía thượng nguồn (Upstream)
Xác nhận của người bảo trì, ngày 11/09/2026: Các thay đổi về định tuyến/định dạng của LiteLLM đã được xem xét từ commit 649eb2d đến 9a715df2. Quá trình kiểm định đã phân loại 360 commit trên đường dẫn cốt lõi, kiểm tra các bài kiểm tra từ thượng nguồn để tìm các hành vi liên quan tiềm ẩn và khắc phục các lỗ hổng tương thích bằng phương pháp kiểm thử trước (test-first). Các bài kiểm tra phạm vi cục bộ: 262 bài đạt, 55 bài bỏ qua; tất cả 45 bài kiểm tra trực tiếp với nhà cung cấp hiện có và tất cả 10 bài kiểm tra nhanh (smoke tests) DSPy cũng đều đạt với cấu hình phụ thuộc hiện tại.
Điều này chỉ xác nhận bề mặt định tuyến/định dạng/DSPy đã công bố của litelm, không phải là sự tương thích hoàn toàn với litellm.
Trạng thái
Alpha. 262 bài kiểm tra riêng đã đạt. Cơ sở LiteLLM 9a715df2 hiện tại có 75 bài kiểm tra được chuyển đổi thành công và không còn lỗi xác nhận/thời gian chạy nào cần xử lý.
Đã xác minh khả năng thay thế trực tiếp (drop-in) cho DSPy — tất cả 7 đường dẫn thực thi đã được chứng minh hoạt động (Predict, CoT, typed signatures, streaming, embeddings, tool use, multi-output).
Kiểm thử
Các bài kiểm tra trực tiếp yêu cầu khóa API trong tệp.env.test. Mặc định sẽ bị bỏ qua; chạy với tham số -m live.
Bài viết được AI dịch và tổng hợp tự động từ Hacker News Nổi bật (buzzing.cc bản dịch tiếng Trung). Liên kết bài gốc ở phía trên. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.