Từ mô phỏng đến thực nghiệm: Đánh giá hiệu suất thiết kế protein bằng AI

Trong hướng dẫn này, chúng tôi sử dụng tập dữ liệu claude-protein-binder-design của Anthropic, bao gồm 1.440 miniprotein binder do AI thiết kế và đã được thử nghiệm trên 16 mục tiêu (targets). Vì dữ liệu phát hành bao gồm cả các dự đoán tính toán và kết quả thực nghiệm từ hai phòng thí nghiệm độc lập, chúng ta có thể đi xa hơn việc chỉ nghiên cứu các thiết kế. Chúng tôi đánh giá mức độ chính xác của các công cụ dự đoán cấu trúc trong việc xác định các binder thành công, liệu việc kết hợp các dự đoán có cải thiện hiệu suất hay không, cách các bảng xếp hạng chuyển đổi thành ngân sách thử nghiệm thực tế và mức độ sai lệch đến từ chính các phương pháp xét nghiệm (assays). Ngoài ra, chúng tôi huấn luyện một bộ phân loại nhận biết mục tiêu (target-aware classifier) để kiểm tra xem các tín hiệu này có thể dự đoán thành công thực nghiệm một cách đáng tin cậy hay không.

Chúng tôi bắt đầu bằng việc chỉ cài đặt những gì runtime còn thiếu, sau đó liệt kê kho lưu trữ một lần và xây dựng bản đồ {subset to path} thay vì mã hóa cứng (hard-coding) vị trí tệp. Điều này rất quan trọng vì cách đặt tên không đồng nhất; tập con wetlab_summary nằm tại data/tables/wetlab/summary.parquet, và việc đoán đường dẫn sẽ dẫn đến lỗi mà không có thông báo. Sau khi có bản đồ, chúng tôi lấy design_summary, mỗi hàng cho một thiết kế, với 1.440 hàng đủ rộng để thực hiện mọi thao tác join cần thiết ở các bước sau.

Chúng tôi xác định tập hợp có thể đánh giá bằng cách lọc dựa trên các kết quả từ nhà cung cấp thay vì cột binder_final, vì cột đó là kiểu bool nên các thiết kế chưa bao giờ được đo lường (120 thiết kế) sẽ được ghi là False thay vì bị thiếu. Từ đó, chúng tôi tính toán tỷ lệ thành công (hit rates) theo mô hình, chiến dịch, trình tạo và mục tiêu, bao bọc mỗi kết quả trong khoảng tin cậy Wilson vì một số nhóm con nằm trong phạm vi mẫu nhỏ (small-n regime) nơi mà phép xấp xỉ chuẩn (normal approximation) không còn chính xác. Biểu đồ mục tiêu là thứ cần đọc đầu tiên: nó cho thấy việc lựa chọn kháng nguyên (antigen) lấn át mọi yếu tố khác mà chúng tôi so sánh.

Chúng tôi chấm điểm tất cả mười công cụ dự đoán dựa trên nhãn thực nghiệm (wet-lab label), trên cả ipSAE và self-consistency DockQ, với các khoảng tin cậy được tính bằng phương pháp bootstrap để chúng ta có thể thấy sự khác biệt nào là thực tế. Sau đó, chúng tôi chuẩn hóa xếp hạng của mỗi cột theo phân vị (percentiles) và tổng hợp chúng, điều này giúp việc so sánh không phụ thuộc vào thang đo trên các chỉ số có phạm vi khác nhau và phân bổ khác nhau tại điểm không. Bản đồ nhiệt Spearman giải thích lý do tại sao việc kết hợp (ensemble) lại hữu ích; nếu các công cụ dự đoán hoàn toàn đồng nhất với nhau thì sẽ không còn gì để khai thác.

Chúng tôi chuyển đổi hiệu suất xếp hạng thành precision@N, vì không có phòng thí nghiệm nào đặt hàng 1.300 cấu trúc và AUC thường che giấu cách một điểm số hoạt động ở đầu danh sách. Bảng làm giàu (enrichment table) sau đó cho chúng ta biết việc phân loại (triage) thực sự mang lại lợi ích gì ở các mức ngân sách 25, 50, 100 và 200. Chúng tôi tiếp nối bằng chỉ số Cohen’s κ và so sánh log-log KD giữa các nhà cung cấp, điều này thiết lập giới hạn trần: nhiễu nhãn (label noise) giới hạn mức độ cao nhất mà bất kỳ chỉ số AUC nào ở trên có thể đạt tới một cách trung thực.

Chúng tôi kiểm tra xem liệu chỉ số biểu hiện (expression titer) có thể phân biệt các binder hay không, và nếu có, chúng tôi biết rằng một phần của mỗi điểm số ở trên thực chất là độ hòa tan (solubility) dưới một cái tên khác. Việc chạy lại sự đồng thuận (consensus) trên các thiết kế chỉ dựa trên biểu hiện sẽ tách biệt chất lượng giao diện khỏi lý sinh. Sau đó, chúng tôi phân tích danh sách tiếp xúc epitope thành các tập hợp dư lượng (residue sets) và đặt câu hỏi, theo từng mục tiêu và ghép cặp giữa các mục tiêu, liệu các binder được xác nhận có hội tụ vào một vùng chung nhiều hơn so với các thiết kế thất bại hay không.

Chúng tôi đặc trưng hóa (featurize) các trình tự theo thành phần, điện tích, tính kỵ nước (hydropathy), entropy và độ dài chuỗi kỵ nước, sau đó khớp mô hình gradient boosting theo hai sơ đồ: phân đoạn ngẫu nhiên (random folds) và phân đoạn theo mục tiêu (target-grouped folds). Khoảng cách giữa chúng chính là sự rò rỉ (leakage), vì các thiết kế nằm trong các mục tiêu với tỷ lệ cơ sở rất khác nhau và việc phân chia ngẫu nhiên cho phép mô hình ghi nhớ những kháng nguyên nào dễ xử lý. Kiểm soát one-hot làm cho điều đó trở nên rõ ràng, và tầm quan trọng của hoán vị (permutation importance) trên một khối mục tiêu bị giữ lại (held-out) cho thấy những gì còn lại khi chúng ta loại bỏ lối tắt đó.

Tóm lại, việc chấm điểm in-silico rất hữu ích nhưng chưa kể hết toàn bộ câu chuyện. Mục tiêu ảnh hưởng mạnh mẽ đến kết quả, vì vậy việc so sánh các mô hình mà không tính đến yếu tố này có thể dễ dàng dẫn đến một cái nhìn sai lệch. Các công cụ dự đoán cấu trúc cho thấy những tín hiệu hữu ích và việc kết hợp chúng mang lại sự cải thiện khiêm tốn, nhưng chúng vẫn chưa đủ tin cậy để sử dụng độc lập. Chúng tôi cũng phát hiện ra rằng sự khác biệt giữa các thí nghiệm và biểu hiện protein có thể làm cho một thiết kế trông như thất bại trong việc liên kết ngay cả khi vấn đề thực sự là do biểu hiện kém. Nhìn chung, chúng tôi rút ra rằng việc đánh giá cẩn thận quan trọng hơn việc theo đuổi các chỉ số cá nhân ấn tượng. Bằng cách nhóm xác thực chéo (cross-validation) theo mục tiêu, chúng tôi có cái nhìn thực tế hơn về khả năng khái quát hóa của các mô hình đối với các mục tiêu mới.

Xem TOÀN BỘ MÃ NGUỒN tại đây. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi và Đăng ký Bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo, Trang Hugging Face, Phát hành sản phẩm hoặc Hội thảo trực tuyến, v.v. của bạn? Hãy kết nối với chúng tôi.

Sana Hassan, thực tập sinh tư vấn tại Marktechpost và là sinh viên bằng kép tại IIT Madras, rất đam mê việc ứng dụng công nghệ và AI để giải quyết các thách thức trong thế giới thực. Với sự quan tâm sâu sắc đến việc giải quyết các vấn đề thực tế, cô mang đến một góc nhìn mới mẻ cho sự giao thoa giữa AI và các giải pháp đời sống.