Sản phẩm
Ra mắt llm-chat-completions-server 0.1a0: Chạy API OpenAI cục bộ cực nhanh
(giờ Việt Nam)
Tóm tắt AI
Simon Willison vừa giới thiệu plugin llm-chat-completions-server, cho phép bạn khởi chạy máy chủ tương thích với OpenAI API tại cổng 9001, giúp truy cập toàn bộ các mô hình LLM đã cài đặt trên máy tính cá nhân.
Bản dịch AI
Một mục tiêu chính của các nhật ký dựa trên nội dung (content-addressable logs) trong LLM 0.32rc1 là khả năng hỗ trợ các yêu cầu theo kiểu OpenAI Chat Completion, trong đó mỗi tin nhắn gửi đến sẽ mở rộng cuộc hội thoại trước đó, như sau:
Ở đây, trạng thái cuộc hội thoại được theo dõi bởi client, vì vậy mỗi yêu cầu này sẽ ngày càng dài hơn. Thiết kế lược đồ mới trong LLM được thiết kế để loại bỏ trùng lặp các yêu cầu này bằng cách sử dụng mã băm (hash) của từng phần tin nhắn riêng lẻ.
Để kiểm tra điều đó, tôi đã xây dựng plugin này:
Việc chạy plugin này sẽ khởi động một máy chủ localhost trên cổng 9001, cung cấp toàn bộ tập hợp các mô hình LLM của bạn (từ bất kỳ plugin nào bạn đã cài đặt) thông qua một endpoint tương thích với ChatGPT Completions.
GPT-5.6 Sol đã viết toàn bộ nội dung này - hóa ra nó nắm rất rõ cấu trúc của OpenAI Chat Completions API.
Bài viết được AI dịch và tổng hợp tự động từ Simon Willison Blog. Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.