Kyutai ra mắt MuScriptor: Mô hình Transformer mã nguồn mở chuyển đổi âm nhạc đa nhạc cụ sang MIDI

Automatic Music Transcription (AMT) chuyển đổi bản ghi âm thanh thành các nốt nhạc ký hiệu, thường là MIDI. Việc chuyển đổi nhạc cụ đơn lẻ hiện đã hoạt động khá tốt. Tuy nhiên, việc chuyển đổi một bản phối đầy đủ nhiều nhạc cụ vẫn còn là một thách thức. Nhóm Kyutai và Mirelo hiện đã phát hành MuScriptor để thu hẹp khoảng cách đó. Đây là một mô hình mã nguồn mở (open-weight) được huấn luyện trên các bản ghi âm thực tế, đa nhạc cụ thuộc nhiều thể loại khác nhau.

Bài viết này giải thích cách thức hoạt động của MuScriptor, kết quả từ các bài kiểm tra đánh giá (benchmarks) và cách vận hành mô hình.

MuScriptor là gì?

Về cốt lõi, MuScriptor là một Transformer chỉ giải mã (decoder-only) dành cho việc chuyển đổi âm nhạc. Đầu tiên, nó đọc mel-spectrogram của một đoạn âm thanh ngắn. Sau đó, nó dự đoán các token dạng MIDI về cao độ, thời gian và nhạc cụ theo phương thức tự hồi quy (autoregressive). Về cơ bản, việc chuyển đổi âm nhạc trở thành một tác vụ mô hình hóa ngôn ngữ, tuân theo lược đồ token hóa MT3.

Bản phát hành cung cấp ba biến thể trọng số trên Hugging Face. Kích thước của chúng lần lượt là small (103M), medium (307M, mặc định) và large (1.4B). Mã nguồn suy luận (inference code) sử dụng giấy phép MIT. Các trọng số sử dụng giấy phép CC BY-NC 4.0, do đó việc sử dụng cho mục đích thương mại bị hạn chế.

Quy trình ba giai đoạn hoạt động như thế nào

Ý tưởng chính của MuScriptor nằm ở dữ liệu, không phải kiến trúc. Theo đó, quá trình huấn luyện trải qua ba giai đoạn, mỗi giai đoạn đều được xây dựng dựa trên giai đoạn trước đó.

Hiệu suất

Để đánh giá, nhóm nghiên cứu sử dụng D_Test, bao gồm 372 bản nhạc được giữ lại với các chú giải chính xác. Họ báo cáo các chỉ số không phụ thuộc vào nhạc cụ từ thư viện mir_eval. Trong đó, Multi F1 là chỉ số khắt khe nhất vì nó yêu cầu cả nhạc cụ phải chính xác.

Bảng dưới đây theo dõi từng giai đoạn huấn luyện so với mô hình cơ sở YourMT3+, sử dụng mô hình large (~1.3B).

Rõ ràng là mỗi giai đoạn đều cải thiện kết quả và dữ liệu thực tế đóng vai trò quan trọng nhất. Việc huấn luyện chỉ bằng dữ liệu tổng hợp đạt được chỉ số frame F1 cạnh tranh nhưng lại yếu về chỉ số onset (thời điểm bắt đầu) và multi. Việc bổ sung D_Real giúp nâng tất cả các chỉ số lên khoảng 20 điểm. Cuối cùng, quá trình hậu huấn luyện RL giúp giảm các kết quả âm tính giả và làm sắc nét thời điểm bắt đầu nốt nhạc.

Các bài kiểm tra trên nhiều tập dữ liệu (cross-dataset) cũng cho thấy kết quả tương tự. Ví dụ, chỉ số frame F1 trên Dagstuhl ChoirSet tăng từ 51.0 lên 80.7. Mặc dù vậy, các chỉ số onset và offset vẫn thấp hơn ở các phong cách khó như nhạc hợp xướng (chorals).

Bắt đầu sử dụng

Việc cài đặt chỉ cần một câu lệnh và quá trình suy luận sẽ truyền trực tiếp các sự kiện nốt nhạc.

Đối với các mô hình đã phát hành, hãy giữ cfg_coef ở mức 1 vì chúng đã được hậu huấn luyện bằng RL. Ngoài ra, lệnh uvx muscriptor serve sẽ khởi chạy giao diện web trên trình duyệt với piano roll trực tiếp.

Các trường hợp sử dụng cùng ví dụ

Vì đầu ra là chuẩn MIDI, nhiều quy trình làm việc mới đã được mở ra:

Điểm mạnh và Điểm yếu

Điểm mạnh:

Điểm yếu:

Hãy xem qua Bài báo, Kho lưu trữ GitHub và Trọng số mô hình. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter, tham gia cộng đồng 150k+ ML SubReddit và đăng ký nhận Bản tin của chúng tôi. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá Kho lưu trữ GitHub, Trang Hugging Face, Bản phát hành sản phẩm hoặc Hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.