SimpleDesign: Mô hình đơn nhất đột phá trong thiết kế đồng thời trình tự và cấu trúc protein

Tác giả: Jiarui Lu†**, Yuyang Wang, Yizhe Zhang**, Jiatao Gu**, Navdeep Jaitly**, Joshua M. Susskind, Miguel Ángel Bautista

Protein đóng vai trò nền tảng trong các quá trình sinh học, với chức năng được quyết định bởi sự tương tác phức tạp giữa trình tự axit amin và cấu trúc ba chiều. Việc phát triển các mô hình tạo sinh có khả năng hiểu được mối quan hệ đa phương thức nội tại này là rất quan trọng đối với các lĩnh vực như khám phá thuốc và kỹ thuật protein. Các mô hình hiện có thường dựa vào quy trình đào tạo đa giai đoạn, trong đó các bộ tự mã hóa (autoencoders) thực hiện mã hóa dữ liệu thành các biểu diễn tiềm ẩn (latent representations) được đào tạo ở giai đoạn đầu. Tiếp theo, một mô hình tạo sinh được đào tạo trên biểu diễn tiềm ẩn của (các) bộ tự mã hóa đó, tức là mô hình hóa tạo sinh trong không gian tiềm ẩn. Chúng tôi đưa ra giả thuyết rằng quy trình đào tạo đa giai đoạn này là không cần thiết để đạt được các mô hình đồng thiết kế (co-design) hiệu quả, do đó chúng tôi giới thiệu SimpleDesign, một mô hình thiết kế protein đa phương thức hiệu quả được đào tạo trực tiếp trong không gian dữ liệu. SimpleDesign tận dụng mục tiêu end-to-end một giai đoạn, kết hợp entropy chéo rời rạc cho các trình tự và mục tiêu hồi quy cho các cấu trúc. Để mô hình hóa hiệu quả sự khác biệt giữa các phương thức trình tự và cấu trúc, chúng tôi hiện thực hóa khung làm việc này với các backbone đa phương thức dựa trên Transformer, cho phép xử lý đặc thù theo từng phương thức trong khi vẫn duy trì cơ chế tự chú ý (self-attention) toàn cục trên cả hai phương thức. Chúng tôi đã đào tạo SimpleDesign trên hơn 2 triệu cặp trình tự-cấu trúc, đạt được hiệu suất cạnh tranh trên các tiêu chuẩn đánh giá về đồng thiết kế và tạo trình tự/cấu trúc không điều kiện.

Các bài đọc và cập nhật liên quan.

Các mô hình gấp cuộn protein đã đạt được những kết quả mang tính đột phá kể từ khi AlphaFold2 ra đời, thường được xây dựng thông qua sự kết hợp giữa việc tích hợp chuyên môn lĩnh vực vào các thiết kế kiến trúc và quy trình đào tạo. Tuy nhiên, với sự thành công của các mô hình tạo sinh trên các bài toán khác nhau nhưng có liên quan, việc đặt câu hỏi liệu các thiết kế kiến trúc này có thực sự cần thiết để xây dựng các mô hình hiệu quả hay không là điều tự nhiên. Trong bài báo này, chúng tôi giới thiệu…

Đọc thêm

Các mô hình Flow matching đã nổi lên như một phương pháp mạnh mẽ cho mô hình hóa tạo sinh trên các lĩnh vực như hình ảnh hoặc video, và thậm chí trên dữ liệu không đều hoặc phi cấu trúc như đám mây điểm 3D hoặc cấu trúc protein. Các mô hình này thường được đào tạo theo hai giai đoạn: đầu tiên, một bộ nén dữ liệu được đào tạo, và trong giai đoạn đào tạo tiếp theo, một mô hình tạo sinh Flow matching được đào tạo trong không gian tiềm ẩn của bộ nén dữ liệu đó. Mô hình hai giai đoạn này thiết lập…

Đọc thêm