LlamaIndex ra mắt legal-kb: Ứng dụng tham chiếu cho tác vụ truy xuất tài liệu pháp lý thông minh

LlamaIndex vừa công bố legal-kb, một ứng dụng tham chiếu công khai trên GitHub. Đây được mô tả là một cơ sở tri thức dành cho các tài liệu pháp lý, được vận hành bởi LlamaIndex Index v2 (Nền tảng LlamaParse). Dự án này minh họa một mô hình mà đội ngũ phát triển gọi là Retrieval Harness (Khung truy xuất) dành cho truy xuất tác tử (agentic retrieval).

Phương pháp này khác biệt so với truy xuất một lần (single-shot retrieval). Thay vì chỉ thực hiện một tìm kiếm embedding cho mỗi truy vấn, một tác tử (agent) sẽ được cung cấp các công cụ theo kiểu hệ thống tệp (filesystem-style). Sau đó, nó có thể thu thập dữ liệu từ một cơ sở tri thức lớn và không ngừng phát triển để giải quyết nhiệm vụ. Các công cụ này mô phỏng những thao tác mà các kỹ sư đã quen thuộc: tìm kiếm ngữ nghĩa và từ khóa, lệnh grep regex, tìm kiếm tệp và đọc tệp.

legal-kb là gì?

legal-kb là một ứng dụng web TanStack Start hoàn chỉnh, không phải là một thư viện. Bạn đăng nhập, tạo dự án, tải tệp lên và trò chuyện với một tác tử. Mỗi dự án được phản chiếu dưới dạng một LlamaCloud Index v2 được quản lý. Các tệp tải lên sẽ được phân tích cú pháp và lập chỉ mục tự động trong nền. Sau đó, tác tử trò chuyện sẽ truy vấn chỉ mục đó trực tiếp trong mỗi lượt phản hồi.

Retrieval Harness, giải thích một cách đơn giản

Khung này cung cấp một đường ống dữ liệu (data pipeline) bền vững cho các tài liệu của bạn. Nó kết nối với một nguồn dữ liệu, lập chỉ mục và giữ cho dữ liệu đó luôn được cập nhật. Trên nền tảng đường ống đó, nó cung cấp một bộ công cụ cho tác tử.

Các công cụ này được thiết kế cố ý để gần giống với các thao tác trên hệ thống tệp. Một tác tử có thể liệt kê tệp, đọc tệp, grep nội dung bên trong tệp hoặc chạy tìm kiếm kết hợp (hybrid search). Vì các công cụ này mang tính tổng quát, bạn có thể tích hợp khung này vào các tác tử của riêng mình.

Bốn công cụ của tác tử

Tác tử trong src/lib/agent.ts được cung cấp bốn công cụ. Mỗi công cụ ánh xạ tới một API truy xuất của Index v2. Bảng dưới đây liệt kê các công cụ này theo cách triển khai thực tế.

Lời nhắc hệ thống (system prompt) bắt buộc phải tuân theo một trình tự. Tác tử phải gọi findFiles trước để xác định danh mục tài liệu. Sau đó, nó thu hẹp phạm vi bằng retrieve và xác nhận từ ngữ chính xác bằng readFile hoặc grepFile trước khi trích dẫn.

Cơ chế hoạt động bên trong

Các tệp tải lên tuân theo một đường ống rõ ràng trong src/lib/files.ts. Các byte được đẩy vào thư mục nguồn LlamaCloud của dự án. Một hàng File và ProjectFile được ghi vào PostgreSQL thông qua Prisma. Quá trình đồng bộ hóa chỉ mục được kích hoạt nhưng không chờ đợi; giao diện người dùng (UI) sẽ thăm dò trạng thái cho đến khi sẵn sàng.

Việc lập phiên bản được giới hạn trong cặp (dự án, tên tệp). Việc tải lại nda.pdf vào cùng một dự án sẽ tạo ra các phiên bản v1, v2, v3 song song. Lớp truy xuất sẽ lọc dựa trên trường siêu dữ liệu phiên bản. Điều này cung cấp khả năng kiểm soát phiên bản cho chính cơ sở tri thức.

Tác tử sử dụng ToolLoopAgent từ Vercel AI SDK 6. Bạn có thể chọn OpenAI hoặc Anthropic cho mỗi lượt và sử dụng khóa API của riêng mình. Quá trình suy luận được truyền phát (streamed): các mô hình Claude sử dụng tư duy mở rộng (extended thinking); các mô hình suy luận của OpenAI sử dụng mức độ nỗ lực suy luận trung bình.

Dưới đây là cái nhìn tóm tắt nhưng chính xác về công cụ retrieve và tác tử.

Các câu trả lời đi kèm với trích dẫn trực quan. Mỗi đoạn văn bản được truy xuất sẽ có một ID ngắn, ví dụ như cite:c7f2qa. Tác tử tham chiếu ID đó trong văn bản và giao diện người dùng sẽ hiển thị một thẻ trích dẫn có thể nhấp vào. Khi nhấp vào, nó sẽ mở ảnh chụp màn hình trang nguồn với các khung hình chữ nhật bao quanh đoạn văn bản được trích dẫn.

RAG ngây thơ (Naive RAG) so với Retrieval Harness tác tử

Khung này là một mô hình thực thi khác biệt so với RAG một lần. Sự so sánh dưới đây tập trung vào hành vi.

Các trường hợp sử dụng, kèm ví dụ

Thiết kế này nhắm đến các lĩnh vực mà tác tử cần điều hướng qua các tập tài liệu lớn. Pháp lý và công nghệ tài chính (fintech) là những ví dụ được nêu ra.

Triển khai tham chiếu

Những điểm chính cần lưu ý

Hãy xem qua GitHub Repo của chúng tôi. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter, tham gia SubReddit ML với hơn 150 nghìn thành viên và đăng ký nhận bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, bản phát hành sản phẩm hoặc hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Michal Sutter là một chuyên gia khoa học dữ liệu với bằng Thạc sĩ Khoa học về Khoa học Dữ liệu từ Đại học Padova. Với nền tảng vững chắc về phân tích thống kê, học máy và kỹ thuật dữ liệu, Michal xuất sắc trong việc chuyển đổi các tập dữ liệu phức tạp thành những thông tin chi tiết có thể hành động được.