LangSmith ra mắt tính năng Fine-Tuning, hỗ trợ CLI smithtune để tinh chỉnh mô hình trên Baseten Loops

Tóm tắt

Nhóm nghiên cứu ứng dụng của LangChain huấn luyện các mô hình đứng sau LangSmith Engine trên Baseten Loops. Họ tinh chỉnh một mô hình mã nguồn mở dựa trên các dấu vết (traces) tác nhân từ LangSmith để nó có thể chẩn đoán lỗi trong kho lưu trữ GitHub được kết nối của người dùng, và chúng tôi đã viết về công việc đó vào đầu tháng này.

Quy trình làm việc đó hiện đã mở cho bất kỳ ai đang xây dựng trên LangSmith. LangChain đã công bố LangSmith Fine-Tuning hôm nay tại sự kiện Interrupt ở New York. Nó chạy trên smithtune, một CLI mã nguồn mở mà bạn có thể tự sử dụng hoặc giao cho một tác nhân lập trình (coding agent).

CLI đọc các dấu vết LangSmith của bạn và biến các lần chạy thành công thành một tập dữ liệu tinh chỉnh có giám sát (supervised fine-tuning dataset). Quá trình huấn luyện sau đó chạy trên Baseten Loops. Sau khi LangSmith đánh giá điểm kiểm tra (checkpoint) mới, smithtune deploy sẽ đưa nó lên một triển khai Baseten Dedicated Inference.

Huấn luyện trên Baseten

Với Baseten là nhà cung cấp dịch vụ huấn luyện, smithtune thực hiện huấn luyện thông qua Loops Python SDK trên các GPU chuyên dụng trong không gian làm việc Baseten của riêng bạn. Các điểm kiểm tra được lưu trên Baseten trong suốt quá trình chạy, vì vậy việc triển khai không bao giờ đòi hỏi phải tải xuống các trọng số rồi tải lên một nơi khác.

Trước khi lên lịch chạy, CLI sẽ kiểm tra xem không gian làm việc của bạn được phép huấn luyện những mô hình nào. Điều này chủ yếu hữu ích khi một tác nhân lập trình đang nhập các lệnh. Nó có thể thấy những gì khả dụng và sẽ không xếp hàng một công việc không thể bắt đầu.

Bạn sử dụng khóa API Baseten của riêng mình, và chi phí huấn luyện cũng như suy luận sẽ được tính vào tài khoản Baseten của bạn.

Bắt đầu

Mã nguồn có tại github.com/langchain-ai/smithtune. Việc huấn luyện trên Baseten cần một tài khoản đã bật Loops, và vì Loops đang trong giai đoạn truy cập sớm, bạn có thể cần yêu cầu quyền truy cập cho không gian làm việc của mình trước.

Nếu một tác nhân lập trình sẽ chạy smithtune, kỹ năng tác nhân trong kho lưu trữ sẽ trỏ đến docs.baseten.co/agent-setup. Trang đó thiết lập tác nhân của bạn với các kỹ năng tác nhân của chúng tôi và máy chủ MCP tài liệu Baseten.