Phòng thí nghiệm tương lai: Khi khoa học trở thành trung tâm dữ liệu khổng lồ

Hãy tưởng tượng một nhà kho tối tăm. Những dãy kệ chất đầy thiết bị với dây nhợ, ống dẫn và linh kiện điện tử nhô ra ngoài. Trung tâm dữ liệu AI tiếp theo ư? Không. Đây là giấc mơ của Lila Sciences về tương lai của khoa học. Một nhà kho tối tăm chứa đầy robot được AI dẫn dắt và các thiết bị phòng thí nghiệm, liên tục tạo ra các thí nghiệm mới 24/7, hướng tới một siêu trí tuệ khoa học.

Phòng thí nghiệm tự động của họ có sức hút gần như thôi miên. Họ có những khay đĩa lơ lửng di chuyển trên các đường ray kiểu Wall-E, sử dụng các mô hình ngôn ngữ thị giác để điều khiển các máy chạy Windows 95, và tạo ra bộ sưu tập lớn nhất thế giới về các thiết bị đã bị mất hiệu lực bảo hành. Trong quá trình đó, họ đã xây dựng một thư viện khổng lồ gồm các token suy luận khoa học. Hơn 10 nghìn tỷ token, tất cả đều đã được kiểm chứng bằng thực nghiệm.

Không có chế độ bảo hành nào bị mất hiệu lực trong quá trình thực hiện video này.

Nói Lila đầy tham vọng vẫn còn là quá nhẹ. Mục tiêu của họ là một siêu trí tuệ khoa học được kết nối trực tiếp vào phòng thí nghiệm ướt (wet lab). Họ hoàn toàn tin tưởng vào "bài học cay đắng" (the bitter lesson) và luận điểm rút ra từ đó: phòng thí nghiệm là một máy tạo token vô hạn. Sản xuất dữ liệu ở quy mô lớn, và sự cộng hưởng sẽ mang lại cho bạn một bộ suy luận tổng quát có thể giải quyết bất kỳ vấn đề khoa học nào. Họ đang cam kết mạnh mẽ. Sinh học, hóa học, khám phá thuốc và khoa học vật liệu, tất cả cùng một lúc. Thời gian sẽ trả lời liệu điều đó có hiệu quả hay không, nhưng đây là một giả thuyết đầy thú vị.

Trong tập mới nhất, chúng tôi đã ngồi lại với Andy Beam (CTO) và Rafa Gómez-Bombarelli (CSO, khoa học vật lý) của Lila để cùng khám phá những khả năng của nền khoa học do AI vận hành, với phạm vi rộng lớn gần như các mục tiêu của Lila.

Chúng tôi đã đề cập rằng họ thực hiện cả khoa học vật liệu và sinh học chưa nhỉ? Trong cùng một nhà máy khoa học AI? Cùng thời điểm, cùng phòng thí nghiệm, cùng một AI. Cuối cùng cũng có một vị khách có thể giải quyết cuộc tranh luận kéo dài giữa chúng tôi: sinh học hay khoa học vật liệu khó hơn?

Hãy xem để biết câu trả lời!

Internet đã bão hòa, khoa học là lĩnh vực tiếp theo. Tại sao Lila nghĩ phương pháp khoa học là tập dữ liệu quy mô internet cuối cùng chưa được khai thác, và tại sao họ coi RL (học tăng cường) là cơ chế tạo dữ liệu với tự nhiên đóng vai trò là người kiểm chứng.

Phòng thí nghiệm như một trung tâm dữ liệu. Các thiết bị là những nút trên một đồ thị, một lớp vận chuyển "PCI bus" bay từ tính giữa chúng, và việc điều phối giống như một hàng đợi slurm. Andy không thiếu những cách so sánh thú vị.

Tại sao Lila khẳng định họ không phải là một công ty tự động hóa. Họ tối ưu hóa cho sự linh hoạt và khả năng tổng quát hóa hơn là thông lượng thô, điều đó có nghĩa là con người vẫn nằm dưới "đường kẻ API" ở bất cứ nơi nào việc tự động hóa không mang lại hiệu quả kinh tế.

Thí nghiệm của bạn có thời gian chạy. Chúng tôi đã đặt câu hỏi của Escalante Bio cho Andy: nếu khoa học là máy tạo token, thì thời gian chạy cho việc thu thập dữ liệu của bạn là bao nhiêu? Câu trả lời của ông, tóm lại, là bạn không thể bắt ribosome chạy nhanh hơn được. Tại sao Lila đặt cược vào sự lặp lại nhanh chóng qua từng vòng thay vì các sàng lọc đa kênh ồn ào, và cách đội ngũ của Rafa xây dựng lại phép đo hấp phụ khí để chạy nhanh hơn khoảng 2.500 lần.

Điều gì thực sự nằm trong 10 nghìn tỷ token khoa học đó. Không phải là các chuỗi trình tự. Đó là các dấu vết suy luận đã được kiểm chứng bằng thực nghiệm, một loại dữ liệu mà Andy lập luận rằng trên internet chỉ tồn tại với số lượng gần bằng không.

Chiều rộng là con đường dẫn đến chiều sâu. Các tiền đề hóa học phân tử nhỏ chuyển sang khung hữu cơ kim loại (MOF) để thu giữ carbon, và khẳng định rằng mô hình tổng quát đánh bại các mô hình chuyên biệt theo từng mẫu.

Nếu bạn đã có dữ liệu, bạn cần mô hình để làm gì? Câu hỏi kiểu thiền (koan) của Sri Kosuri về mô hình kinh doanh ML-cho-khám phá-thuốc, và câu trả lời của Andy: mô hình lập trình trở nên tốt hơn vì nó cũng đọc cả Shakespeare và các công thức nấu món carnitas.

Sự tình cờ mà họ muốn tự động hóa. Emily Whitehead sống sót sau phương pháp chữa trị CAR-T nhi khoa đầu tiên chỉ vì bác sĩ điều trị cho cô tình cờ biết, từ kinh nghiệm điều trị viêm khớp nhi, loại kháng thể nào sẽ làm giảm phản ứng IL-6 của cô. Nếu tung xúc xắc lại lần nữa, có lẽ bạn đã mất cô ấy. Chiều rộng chính là cách bạn ngừng phụ thuộc vào vận may.

Nước đi 37 (Move 37) cho các chất xúc tác. Các gợi ý mô hình cho chất xúc tác điện hóa không chứa nhóm bạch kim đã đi từ chỗ nhàm chán, đến mức một chuyên gia với 40 bài báo gọi là ngu ngốc, trở thành những chất có hiệu suất tốt nhất mà họ từng tạo ra.

Sáu tháng để có dữ liệu CAR-T in vivo trên linh trưởng không phải người, và mô hình khởi nghiệp ảo không nhân sự (zero-FTE) thương mại đã hình thành từ đó. Để hiểu tại sao con số đó gây kinh ngạc, AbbVie đã trả 2,1 tỷ USD cho Capstan dựa trên sức mạnh của dữ liệu CAR-T in vivo tiền lâm sàng.

Bạn không thể có siêu trí tuệ khoa học nếu bạn chỉ là một người làm bài kiểm tra giỏi. Ken Stanley, tác giả cuốn "Why Greatness Cannot Be Planned", đang điều hành mảng tính mở (open-endedness) tại Lila. RL ở quy mô lớn mang lại cho bạn một bộ giải quyết vấn đề lạnh lùng như người Vulcan. Sự sáng tạo của máy móc là một thứ khác biệt, và đó là phần chưa ai giải quyết được.

Chuỗi suy nghĩ (chain of thought) là một người kể chuyện không đáng tin cậy. Mô hình suy luận trong không gian tiềm ẩn và chỉ phát ra các token. Đôi khi nó bỏ qua hoàn toàn thí nghiệm mà vẫn đúng. Vậy bạn tin tưởng vào suy luận hay người kiểm chứng hơn?

Hack phần thưởng (reward hacking) khi quá trình triển khai là vật lý. Các chuỗi suy nghĩ sụp đổ thành sự lặp lại, và một mô hình đã trở nên khó chịu và chửi thề với nhà khoa học vì cứ yêu cầu nó làm lại bản đồ khay đĩa. Điều gì xảy ra khi một vòng lặp bệnh lý có một phòng thí nghiệm ướt bên trong nó?

Bài học buồn vui lẫn lộn. Sự đảo ngược của Rafa về "bài học cay đắng": trong AI, mở rộng quy mô là một lộ trình. Trong vật liệu, mở rộng quy mô là một bộ lọc, bởi vì chỉ những thứ có thể mở rộng quy mô mới thực sự quan trọng.

Không phải là công ty Flagship điển hình của bạn. Tại sao một vườn ươm công nghệ sinh học nổi tiếng với mô hình một tài sản duy nhất lại tách ra một khoản đặt cược vào nền tảng, và câu nói của Andy rằng nếu Lila tự gọi mình là một công ty dược phẩm sinh học, nó sẽ sở hữu một cụm GPU thuộc top ba.

Những nút thắt mà họ sẽ loại bỏ bằng mệnh lệnh. Mô phỏng từ mô hình sang thực tế (sim-to-real) cho mô phỏng dựa trên vật lý, và thực tế là quá trình huấn luyện RL chạy ở mức khoảng 5% hiệu suất sử dụng FLOP trung bình.