Phylo ứng dụng mô hình mã nguồn mở trên Fireworks để thúc đẩy nghiên cứu khoa học

Tóm tắt nhanh

Thách thức

Giải pháp

Kết quả

Phylo là một phòng thí nghiệm nghiên cứu ứng dụng đang xây dựng Biomni Lab, môi trường sinh học tích hợp đầu tiên. Dự án này phát triển từ Biomni, một dự án mã nguồn mở khởi nguồn tại Stanford vào năm 2024 và hiện được hơn 50.000 nhà khoa học trên khắp thế giới sử dụng. Biomni Lab cung cấp cho các nhà sinh học những tác nhân (agents) có khả năng lập kế hoạch, thực thi và ghi chép nghiên cứu trên hàng trăm cơ sở dữ liệu và công cụ tích hợp, giúp các nhà khoa học tăng tốc chu kỳ từ giả thuyết đến phân tích lên tới 40 lần.

Biomni Lab được xây dựng bởi một đội ngũ sáng lập nhỏ trước khi ra mắt công chúng. Phylo hiện có hàng chục thành viên và đang phát triển nhanh chóng. Tianwei She, một kỹ sư sáng lập, đã gắn bó từ ngày đầu tiên và làm việc trên toàn bộ bề mặt sản phẩm, backend, hệ thống điều khiển tác nhân (agent harness) và quy trình đánh giá (evaluation pipeline) để kiểm soát chất lượng tác nhân.

Chi phí cho LLM chiếm phần lớn cơ cấu chi phí của Phylo, vì vậy việc lựa chọn mô hình và chiến lược định giá được xử lý cùng nhau như một quyết định duy nhất: việc chọn mô hình sẽ định hình cấu trúc chi phí của sản phẩm.

Biomni Lab được thiết kế theo hướng bất khả tri về mô hình (model-agnostic). Phylo đánh giá mọi mô hình tiên phong (frontier model) dù là độc quyền hay mã nguồn mở, sau đó cấu hình mặc định cho từng loại tác vụ dựa trên các tiêu chuẩn riêng về chất lượng, độ trễ và chi phí. Người dùng cũng có quyền truy cập vào trình chọn mô hình tùy chỉnh, nơi họ có thể chọn mô hình cụ thể mà họ ưu tiên. Fireworks phục vụ phía mô hình mã nguồn mở cho lựa chọn đó.

Các tác nhân chạy trong nhiều giờ đến nhiều ngày

Các nhà sinh học sử dụng Biomni Lab trong các công việc như tổng quan tài liệu, lên ý tưởng, tạo giả thuyết, thiết kế thí nghiệm và phân tích dữ liệu. Đây là những quy trình tác nhân dài hạn với một tác vụ duy nhất chạy trong nhiều giờ hoặc nhiều ngày trên các tập dữ liệu từ hàng chục đến hàng trăm gigabyte. Tác nhân sẽ khởi chạy nhiều máy, kết nối với các cụm HPC để thực hiện công việc tin sinh học đòi hỏi tính toán cao, và gọi các mô hình nền tảng sinh học chuyên biệt để thiết kế protein và dự đoán cấu trúc. Tác nhân sẽ tự quyết định tài nguyên nào cần thiết cho một tác vụ cụ thể và theo thứ tự nào.

Phylo chạy các bài kiểm tra BiomniBench nội bộ để đo lường mức độ hiệu quả của từng mô hình trong việc xử lý các tác vụ phân tích dữ liệu này. Các mô hình mã nguồn mở tiên phong đạt điểm số rất cao. Các mô hình mở hiện đã đủ khả năng cho nhiều công việc y sinh, và việc phục vụ chúng một cách hiệu quả đồng nghĩa với việc Phylo có thể mang khả năng đó đến với nhiều nhà khoa học hơn.

Từ mô hình độc quyền đến mô hình mã nguồn mở

Phylo bắt đầu với các mô hình độc quyền. Hai yếu tố đã làm thay đổi kiến trúc này.

Đầu tiên là kinh tế. Biomni Lab được định giá dựa trên mức sử dụng, với gói miễn phí có giới hạn sử dụng. Sinh học tác nhân tiêu thụ token với tốc độ mà ít khối lượng công việc nào sánh kịp, và cơ sở người dùng đang tăng nhanh. Chi phí suy luận (inference cost) không chỉ là một mục nhỏ trong hóa đơn cơ sở hạ tầng. Nó quyết định hạn ngạch sử dụng, và hạn ngạch đó quyết định khối lượng công việc khoa học mà một nhà sinh học có thể thực hiện trước khi chạm ngưỡng thanh toán.

Thứ hai là nhu cầu người dùng. Các nhà sinh học muốn kiểm soát mô hình nào thực hiện công việc của họ. Đến lúc đó, đã có đủ các mô hình mã nguồn mở mạnh mẽ để mang lại cho họ một lựa chọn thực sự.

Việc tự lưu trữ mô hình (self-hosting) chưa bao giờ được cân nhắc. Với một đội ngũ nhỏ đang giải quyết một vấn đề khoa học hóc búa, việc vận hành một hệ thống phục vụ (serving stack) không phải là nơi dành cho các giờ kỹ thuật. Phylo đã đánh giá nhiều nhà cung cấp dịch vụ suy luận, sau đó thực hiện đánh giá kỹ thuật kéo dài nhiều tuần trên nhiều mô hình tại Fireworks.

Mô hình nhanh, câu trả lời nhanh, không trở ngại

Ba yếu tố đã củng cố mối quan hệ đối tác với Fireworks: tốc độ Phylo đưa các mô hình mới vào sản xuất, tốc độ phản hồi của các kỹ sư Fireworks khi có sự cố, và sự thuận tiện mà nền tảng mang lại cho các kỹ sư của chính họ.

Tiếp cận mô hình ngay ngày đầu ra mắt (Day-zero)

Phylo chuyển sang các mô hình mã nguồn mở mới chỉ trong vài ngày kể từ khi phát hành, điều này đòi hỏi một nền tảng cung cấp các mô hình hiện đại nhất ngay khi chúng ra mắt. Chu kỳ diễn ra như sau:

Vì Fireworks thường là nhà cung cấp dịch vụ suy luận đầu tiên cung cấp các mô hình mở SOTA (tiên tiến nhất) mới nhất với chất lượng mà Phylo yêu cầu, chu kỳ đó có thể hoàn thành chỉ trong 24 giờ.

Tiếp cận kỹ thuật trực tiếp

Các câu hỏi về thiết lập tài khoản, tối ưu hóa mô hình và các tùy chọn triển khai đều được các kỹ sư Fireworks giải đáp trong vài giờ, với chi tiết kỹ thuật cụ thể, thay vì phải lên lịch cho các cuộc họp. Khi Phylo gặp vấn đề về gọi công cụ (tool-call) bị lỗi trong quá trình sản xuất, cả hai đội đã cùng điều tra song song và chia sẻ kết quả.

Trải nghiệm nhà phát triển ổn định trong môi trường sản xuất

API và bảng điều khiển của Fireworks rất trực quan đối với các kỹ sư của Phylo ngay từ lần tích hợp đầu tiên, điều này rất quan trọng đối với một đội ngũ thường xuyên thay đổi mô hình và chạy đánh giá trên nhiều mô hình cùng lúc. Phylo chạy trên các endpoint serverless của Fireworks để mang lại sự linh hoạt tối đa và dễ sử dụng khi doanh nghiệp phát triển.

Chất lượng tiên phong, nhiều giá trị khoa học hơn trên mỗi đô la

Phylo đã chuyển sang các mô hình mở trước giai đoạn tăng trưởng mạnh nhất, vì vậy hiệu quả đạt được tăng lên khi cơ sở người dùng nhân rộng. Bốn kết quả tiếp theo đã xuất hiện.

Nhiều công việc hơn trên mỗi hạn ngạch, giữ chân người dùng tốt hơn

Chi phí thấp hơn cho mỗi tác vụ đồng nghĩa với việc cùng một hạn ngạch sử dụng sẽ mua được nhiều quyền truy cập hơn. Các nhà sinh học đang tiêu thụ hạn ngạch của họ nhiều hơn trước, và sự gắn kết sâu sắc đó đang cải thiện tỷ lệ giữ chân khách hàng cho doanh nghiệp.

Độ trễ được cải thiện cùng với chi phí

Phylo đã làm việc với Fireworks để đánh giá một endpoint serverless chế độ nhanh (fast-mode) và giảm khoảng một nửa thời gian đến token đầu tiên trong so sánh đối chiếu. Trong một quy trình tác nhân dài hạn, khoản tiết kiệm đó lặp lại ở mỗi vòng lặp của tác nhân.

Các mô hình mở đã vượt trội trong công việc y sinh

Các đánh giá của Phylo cho thấy các mô hình mã nguồn mở tiên phong xử lý tốt nhiều tác vụ y sinh ở tiêu chuẩn chất lượng mà các nhà khoa học yêu cầu. Việc phục vụ trí tuệ đó một cách hiệu quả chính là cách mang các tác nhân có năng lực đến với nhiều nhà khoa học hơn, thay vì chỉ giới hạn cho một số ít người có khả năng chi trả cho chi phí tính toán.

Các mô hình mã nguồn mở tiên phong xử lý phần lớn các tác vụ sinh học trong Biomni Lab. Các mô hình độc quyền vẫn là mặc định cho các vấn đề khó nhất. Đây là lý do tại sao nền tảng được xây dựng xung quanh việc đánh giá nhanh các mô hình SOTA từ các phòng thí nghiệm hàng đầu, bất kể mô hình đó là mở hay đóng, thay vì đặt cược vào bất kỳ mô hình hay công ty đơn lẻ nào.

Từ suy luận đến đào tạo

Việc sử dụng suy luận mã nguồn mở tăng trưởng cùng với cơ sở người dùng, và Phylo dự định luôn là đơn vị tiên phong tiếp cận các mô hình mới, thử nghiệm chúng ngay khi phát hành.

Quy mô tạo ra tín hiệu đào tạo của riêng nó. Biomni Lab tạo ra hàng triệu dấu vết người dùng mỗi tháng, mỗi dấu vết là một bản ghi về nơi mô hình hiện tại thành công và nơi nó còn thiếu sót trong công việc sinh học thực tế. Dữ liệu đó cho thấy chính xác những thất bại nào quan trọng đối với các nhà khoa học. Việc hậu đào tạo (post-training) một mô hình mở dựa trên dữ liệu đó là bước đi tự nhiên tiếp theo, và điều này khả thi vì các mô hình mở đã trở nên đủ tốt để xây dựng dựa trên đó.

Công ty có kế hoạch chuyển từ việc tiêu thụ các mô hình mở sang tùy chỉnh chúng, sử dụng việc đào tạo trên Fireworks để xây dựng trí tuệ chuyên biệt cho các vấn đề sinh học khó nhất.

Lời khuyên cho các nhà sáng lập: Hãy dành thời gian của bạn cho vấn đề mà chỉ bạn mới có thể giải quyết.