TinyFish ra mắt BigSet: Hệ thống đa tác tử mã nguồn mở tự động tạo dữ liệu từ mô tả văn bản

Nội dung dịch chi tiết

Việc xây dựng tập dữ liệu từ web thường là một quy trình phức tạp, đòi hỏi phải thiết lập trình thu thập dữ liệu (scraper), thiết kế lược đồ và xử lý các thay đổi từ trang web nguồn. BigSet ra đời để giải quyết trực tiếp quy trình này bằng cách đóng vai trò là lớp trung gian giữa yêu cầu dữ liệu và bảng kết quả cuối cùng.

Người dùng chỉ cần nhập một câu mô tả, ví dụ: "Các công ty YC đang tuyển kỹ sư, kèm theo giai đoạn gọi vốn, địa điểm và số lượng vị trí tuyển dụng". Hệ thống sẽ tự động suy luận các cột cần thiết, điều phối các tác nhân để tìm kiếm thông tin trên web, loại bỏ dữ liệu trùng lặp và tạo ra tệp CSV hoặc XLSX có thể tải xuống. Quá trình này thường mất từ 2 đến 5 phút.

Kiến trúc của BigSet bao gồm hai tầng tác nhân thông minh. Đầu tiên, mô hình Claude Sonnet sẽ suy luận lược đồ dữ liệu. Sau đó, một tác nhân điều phối sử dụng TinyFish Search để xác định các thực thể phù hợp. Cuối cùng, các tác nhân con sẽ được triển khai song song để thu thập chi tiết cho từng hàng dữ liệu, với ngân sách giới hạn cho mỗi tác nhân để đảm bảo hiệu quả.

BigSet được thiết kế để tự lưu trữ (self-hosted) thông qua Docker. Hệ thống yêu cầu API từ TinyFish (để tìm kiếm và thu thập dữ liệu), OpenRouter (để chạy các mô hình LLM) và Clerk (để quản lý xác thực người dùng). Người dùng có thể thiết lập lịch làm mới tự động cho các tập dữ liệu, giúp bảng thông tin luôn được cập nhật mà không cần thao tác thủ công.

Công nghệ cốt lõi của BigSet bao gồm Next.js 16, Fastify, TypeScript và Convex. Hệ thống cũng cung cấp các tập dữ liệu mẫu như giá bán lẻ GPU hoặc giá của các mô hình AI tiên phong để người dùng có thể bắt đầu trải nghiệm ngay lập tức sau khi cài đặt.