YuE2 ra mắt: Mô hình tạo nhạc kết hợp lập trình biểu tượng, vượt mặt Suno v5 trên bảng xếp hạng SongBench

Nghe một bài hát, sau đó khám phá giai điệu, nhịp điệu và hợp âm trong bản thiết kế ký hiệu của nó.

Bản nhạc đã chọn

Đang tải bài hát đã chọn…

Bài hát được tạo ra

Bản nhạc ký hiệu

Bản nhạc ABC tương tác. Các nốt nhạc màu đỏ chạy theo bản ghi âm.

Một bài hát quen thuộc có thể mang một hình thái khác. Hãy lắng nghe những thay đổi về giai điệu, lời bài hát, nhịp độ và cách phối khí.

Chỉnh sửa âm nhạc bằng tác nhân (Agentic music editing)

Một bài hát hình thành thông qua một cuộc hội thoại. Đang tải câu chuyện chỉnh sửa…

Tuyển tập các bài hát để nghe, được tổng hợp từ nhiều thể loại và ngôn ngữ khác nhau.

Tìm kiếm Ngôn ngữ Thể loại Tạo mới

Mô hình & Kết quả

YuE2 (best-of-8) đạt 6.9632 trên SongBench, mức trung bình cao nhất được ghi nhận trong số 15 thiết lập được đánh giá trên WildSongBench (192 câu lệnh). Suno v5 đạt 6.8721 trong cùng một so sánh.

Kiến trúc mô hình

Sáng tác bằng ký hiệu, trình diễn bằng âm thanh.

Vector PDF

WildSongBench 192 câu lệnh

So sánh theo

WildSongBench. 192 câu lệnh và 15 thiết lập hệ thống. Bảng này báo cáo các điểm số đánh giá tự động. Best-of-8 chọn một trong tám kết quả được tạo ra dựa trên tính nhạc, khả năng tuân thủ câu lệnh và độ chính xác của lời bài hát.

Hình 1. Chất lượng bài hát kết hợp SongBench và SongEval; sự căn chỉnh văn bản kết hợp MuLan, AllMusicCaps và khả năng tuân thủ câu lệnh. Cả hai trục đều hiển thị các chỉ số so sánh đã được chuẩn hóa. Diện tích bong bóng đại diện cho chất lượng sản phẩm của AudioBox.

MERT2 · Biểu diễn âm nhạc

Học cấu trúc đằng sau âm thanh.

Vector PDF

Trạng thái tiên tiến (SOTA) trên MARBLE

MERT2-30s và MERT2-FS (full-song) đạt SOTA trên 14 trong số 15 chỉ số MARBLE, dẫn đầu về gắn thẻ, nhận diện giọng, thể loại và cảm xúc.

Chỉ số SOTA MERT2-30s & MERT2-FS 14 / 15

Độ chính xác thể loại · GTZAN MERT2-30s · điểm × 100 91.72

Độ chính xác giọng tinh chỉnh · GiantSteps MERT2-FS · điểm × 100 67.05

Số liệu SOTA sử dụng điểm số tốt nhất trong số hai bộ mã hóa MERT2 so với chín mô hình cơ sở đã công bố trong so sánh này. Cả hai bộ mã hóa đều có 632 triệu tham số. MERT2-30s sử dụng ngữ cảnh huấn luyện 30 giây; MERT2-FS sử dụng 300 giây. Đây là các tiêu chuẩn đánh giá biểu diễn ngữ cảnh đầy đủ. MERT2 báo cáo kết quả tốt nhất được quan sát trên các biểu diễn được chọn bằng điểm kiểm tra; mỗi cặp ROC-AUC / AP sử dụng cùng một biểu diễn.

SheetSage2 · Từ âm thanh sang bản nhạc

Nghe một bài hát. Đọc bản soạn thảo của nó.

Vector PDF

Sáu tác vụ phiên âm, một mô hình duy nhất

SheetSage2 đạt SOTA trên 10 trong số 13 chỉ số tiêu chuẩn với một mô hình duy nhất cho các tác vụ phiên âm nhịp, phách mạnh, giọng, hợp âm, cấu trúc và giai điệu.

Chỉ số SOTA Một mô hình · sáu tác vụ phiên âm 10 / 13

Giai điệu giọng hát · RWC-Pop Pitch-class note F1 · điểm × 100 82.51

Nhận diện hợp âm · osu2017 Maj/min · điểm × 100 90.08

Số liệu SOTA đề cập đến các điểm số dẫn đầu so với SheetSage1, Madmom và các hệ thống chuyên biệt cho từng tác vụ trong so sánh này. Kết quả sử dụng một mô hình duy nhất được chọn theo độ lỗi xác thực (validation loss). Melody F1 đo lường các nốt theo lớp cao độ; cấu trúc F1 đo lường ranh giới các phần tại dung sai đã định. Trên Chords1217, ChordFormer sử dụng kiểm chứng chéo năm lần (five-fold cross-validation), trong khi SheetSage2 đánh giá một mô hình cố định trên tất cả 1.217 bản nhạc.

Dữ liệu huấn luyện

Các mô hình của chúng tôi chủ yếu được huấn luyện trên nhạc CC0 và dữ liệu tổng hợp. Tokenwave.AI cung cấp phần lớn dữ liệu huấn luyện tổng hợp của chúng tôi theo giấy phép. Chúng tôi cam kết sử dụng dữ liệu một cách đạo đức và có trách nhiệm.