LangServe ra mắt giao diện Playground và tính năng tùy chỉnh tham số

Tuần trước, chúng tôi đã ra mắt LangServe, một phương thức giúp triển khai các chuỗi (chains) và tác nhân (agents) một cách dễ dàng và sẵn sàng cho môi trường thực tế (production-ready). Cụ thể, nó lấy một chuỗi và nhanh chóng khởi chạy máy chủ FastAPI với các điểm cuối (endpoints) hỗ trợ streaming và batch, đồng thời cung cấp cách thức để truyền phát các bước trung gian.

Tuần này, chúng tôi bổ sung thêm một số tính năng mới – playground (sân chơi thử nghiệm) và khả năng cấu hình (configurability). Cả hai đều tập trung vào cùng một ý tưởng: các kiến trúc phổ biến, thử nghiệm và cộng tác.

Playground

Giờ đây, khi sử dụng LangServe để triển khai chuỗi của mình, bạn sẽ nhận được trải nghiệm playground miễn phí. Trong playground này, bạn có thể thay đổi giá trị của một số tham số có thể cấu hình (sẽ nói rõ hơn ở phần sau), cũng như thử nghiệm các đầu vào khác nhau và nhận phản hồi được truyền phát theo thời gian thực.

Ảnh chụp màn hình bên dưới là từ playground của WebLangChain, bạn có thể truy cập tại đây.

Tại sao tính năng này lại hữu ích?

Thứ nhất, nó cung cấp ngay lập tức một giao diện người dùng (UI) đơn giản cho các chuỗi và tác nhân của bạn. Mặc dù đơn giản, giao diện này vẫn có những thành phần cần thiết như:

Điều này giúp bạn có thể chia sẻ liên kết với đồng nghiệp và để họ tương tác trực tiếp trên giao diện, tạo điều kiện thuận lợi cho việc cộng tác trong một nhóm lớn hơn. Cụ thể, chúng tôi hình dung đây là cách để các kỹ sư dễ dàng cung cấp phương thức cho những người không chuyên về kỹ thuật tương tác với các chuỗi/tác nhân của họ (mà không cần phải kết nối với giao diện người dùng phía trước).

Thứ hai, nó cung cấp một cách để thử nghiệm với các tham số khác nhau. Trong các ví dụ về WebLangChain, chúng tôi đã hiển thị nhiều mô hình khác nhau (Anthropic và OpenAI) cũng như nhiều bộ truy xuất (retrievers) khác nhau:

Điều này giúp bất kỳ ai - dù là kỹ thuật hay không chuyên - đều có thể thử nghiệm các thành phần khác nhau một cách cực kỳ dễ dàng.

Khả năng cấu hình (Configurability)

Một tính năng mới giúp việc thử nghiệm này trở nên khả thi là cấu hình các runnable. Cụ thể, gần đây chúng tôi đã thêm cú pháp cho phép bất kỳ thành phần nào (hoặc các phần của thành phần) đều có thể cấu hình được. Bạn có thể thực hiện việc này dù có sử dụng LangServe hay không - đây chỉ là một phần của LangChain Expression Language. Xem cookbook của chúng tôi tại đây.

Hiện tại, chúng tôi đã hiển thị cấu hình này ở một vài nơi. Đầu tiên, như đã thấy ở trên, chúng tôi đã dễ dàng hiển thị nó trong playground. Tuy nhiên, cấu hình này có thể được sử dụng bên ngoài playground. Chúng tôi cũng đã tích hợp nó vào ứng dụng WebLangChain chính của mình.

Với khả năng cấu hình, bạn có thể lưu các phiên bản cấu hình khác nhau thông qua URL. Điều này có thể được sử dụng theo một vài cách. Với WebLangChain, chúng tôi hiển thị điều này cho người dùng cuối để họ có thể sử dụng cấu hình đó trong giao diện. Chúng tôi hình dung tính năng này được sử dụng nhiều hơn cho các ứng dụng nội bộ, nơi bạn muốn cho phép người dùng nội bộ lựa chọn giữa các tùy chọn cấu hình khác nhau. Chúng tôi cũng hiển thị chức năng này trong playground, như hình bên dưới, nơi bạn có thể sao chép URL cho một cấu hình nhất định.

Lưu ý rằng đối với các tùy chọn cấu hình, cấu hình hiện tại chưa được lưu trữ vĩnh viễn. Chúng tôi đang thử nghiệm alpha một nền tảng triển khai nơi cấu hình được lưu trữ vĩnh viễn - và có thể lưu trữ cho nhiều người dùng khác nhau. Nếu bạn quan tâm, vui lòng liên hệ [email protected].

Các kiến trúc phổ biến

Chúng tôi nhận thấy rằng đang xuất hiện nhanh chóng các kiến trúc phổ biến cho các ứng dụng LLM. Những kiến trúc này khá dễ khái quát hóa và có thể được tham số hóa theo một vài cách khác nhau. Quan sát này đang thúc đẩy phần lớn công việc của chúng tôi.

Ví dụ, hãy xem ứng dụng WebLangChain của chúng tôi từ tuần trước. Đây là một kiến trúc nhận thức nhắm vào việc truy xuất tăng cường thế hệ (retrieval augmented generation), và các cách nó có thể được cấu hình là:

Chúng tôi nhận thấy rằng kiến trúc của ứng dụng thường đòi hỏi nhiều công sức kỹ thuật để thiết lập và vận hành. Nhưng sau đó, phần lớn cấu hình được thực hiện tốt nhất trong một loại GUI nào đó. Điều này cho phép cộng tác dễ dàng hơn.

Thông tin chi tiết này - cùng với niềm tin rằng đây là con đường tốt để phát triển ứng dụng - đang thúc đẩy rất nhiều công việc của chúng tôi theo hướng này.