Zyphra ra mắt ZUNA1.1: Mô hình nền tảng EEG mã nguồn mở hỗ trợ dữ liệu đầu vào linh hoạt

Tuần này, Zyphra đã phát hành ZUNA1.1 theo giấy phép Apache 2.0. Mô hình nền tảng EEG này có khả năng tái tạo, khử nhiễu và tăng mẫu (upsample) dữ liệu trên các bố cục kênh tùy ý. Nó được xây dựng dựa trên ZUNA1, mô hình nền tảng EEG mã nguồn mở trước đó của Zyphra.

Thay đổi chính nằm ở tính linh hoạt, không phải là bước nhảy vọt về độ chính xác thô. Các bản ghi EEG thực tế thường rất phức tạp. Độ dài các phiên ghi khác nhau, và các kênh thường bị nhiễu hoặc mất tín hiệu giữa chừng. Các kiểu lắp đặt điện cực (montage) rất đa dạng, từ băng đô bốn điện cực đến mũ nghiên cứu 256 kênh. ZUNA1 chỉ xử lý các phân đoạn cố định dài năm giây. ZUNA1.1 chấp nhận đầu vào có độ dài thay đổi từ 0,5 đến 30 giây.

ZUNA1.1 là gì?

Để hiểu về tính linh hoạt đó, hãy bắt đầu với những gì mô hình thực hiện.

ZUNA1.1 là một masked diffusion autoencoder với 380 triệu tham số dành cho tín hiệu EEG da đầu. Với một tập hợp con các kênh, nó khử nhiễu các phân đoạn và kênh EEG hiện có. Nó tái tạo các kênh bị thiếu. Nó cũng dự đoán các tín hiệu kênh mới dựa trên tọa độ vật lý trên da đầu.

Số lượng tham số không thay đổi so với ZUNA1. Nó chạy trên GPU phổ thông và hoạt động ổn định trên CPU cho nhiều khối lượng công việc. Trọng số được lưu trữ trên Hugging Face; mã nguồn cho suy luận và tiền xử lý nằm trên GitHub. Cài đặt bằng lệnh pip install zuna. Zyphra cũng cung cấp một trình duyệt EEG Playground miễn phí và phát hành tất cả những thứ này chỉ dành cho mục đích nghiên cứu.

Kiến trúc hoạt động như thế nào

Tính linh hoạt đó dựa trên quá trình token hóa.

ZUNA là một transformer encoder–decoder diffusion autoencoder. Nó chia mỗi kênh thành các phân đoạn 0,125 giây, tương đương với 32 mẫu ở tần số 256 Hz. Mỗi phân đoạn trở thành một token có giá trị liên tục. Các token được tuần tự hóa theo thứ tự kênh × thời gian.

Mã hóa vị trí (positional encoding) là ý tưởng then chốt. Mỗi token mang một mã hóa vị trí xoay 4D trên (x, y, z, t). Đó là tọa độ 3D của điện cực trên da đầu cùng với chỉ số thời gian thô. Vì vị trí, chứ không phải chỉ số mảng, cho mô hình biết kênh nằm ở đâu, nên ZUNA không phụ thuộc vào kênh (channel-agnostic). Nó chấp nhận bất kỳ bố cục điện cực nào và có thể tạo tín hiệu tại các vị trí chưa từng được ghi lại. Khả năng đó cho phép tăng mẫu kênh tùy ý theo vị trí.

Bộ mã hóa (encoder) nén tín hiệu thành một không gian tiềm ẩn (latent). Không gian tiềm ẩn đó điều phối bộ giải mã (decoder) thông qua chuẩn hóa adaptive-RMS. Bộ giải mã được huấn luyện với mục tiêu rectified-flow. Các thay đổi về kiến trúc của ZUNA1.1 tập trung vào sự ổn định khi huấn luyện, chẳng hạn như bổ sung các lớp chuẩn hóa.

Những thay đổi so với ZUNA1

Vì kiến trúc vẫn giữ nguyên, các khác biệt đến từ quá trình huấn luyện.

1. Đầu vào có độ dài thay đổi (0,5–30 giây): ZUNA1.1 lấy mẫu độ dài phân đoạn cho mỗi ví dụ huấn luyện, khớp với lưới token 0,125 giây. Độ dài được rút ra từ bốn nhóm, từ rất ngắn đến dài. Phạm vi trung bình 1,5–10 giây được lấy mẫu quá mức (oversampled) vì đây là điểm vận hành phổ biến nhất. Do số lượng token thay đổi, Zyphra đóng gói nhiều phân đoạn cho mỗi batch lên đến một ngân sách cố định. Flex attention với mặt nạ nhận biết mẫu (sample-aware mask) ngăn các token chú ý chéo giữa các mẫu. Do đó, một mô hình có thể phục vụ cả đoạn 0,5 giây và đoạn 30 giây mà không cần cấu hình lại.

2. Hỗn hợp các tác vụ tái tạo phong phú hơn: ZUNA1 được huấn luyện trên một kiểu dropout: loại bỏ toàn bộ kênh ngẫu nhiên đồng nhất. ZUNA1.1 huấn luyện trên bốn kiểu. Kiểu thứ nhất là dropout toàn bộ kênh, bao phủ các kiểu lắp đặt thưa thớt và điện cực hỏng. Kiểu thứ hai loại bỏ các đoạn thời gian ngắn trên mọi kênh. Kiểu thứ ba loại bỏ các đoạn đó chỉ từ một số kênh, tạo ra các khoảng trống trong không gian và thời gian. Kiểu thứ tư phân tán các giá trị bị thiếu trên các điểm riêng lẻ.

3. Tiền xử lý nhận biết chất lượng và kho dữ liệu lớn hơn: ZUNA1 đưa ra các quyết định về chất lượng kênh ở cấp độ toàn bộ bản ghi, dẫn đến việc loại bỏ các tín hiệu có thể sử dụng được. Thay vào đó, ZUNA1.1 tính toán điểm chất lượng cho mỗi kênh, mỗi giây, với ngưỡng được thiết lập tại thời điểm tải. Điều đó đã tăng kho dữ liệu từ khoảng 2 triệu lên khoảng 3,5 triệu giờ kênh dữ liệu EEG công khai. Nhóm Zyphra cũng tính toán trước hai biến thể bộ lọc cho mỗi bản ghi: bandpass 0,1–45 Hz và highpass 0,01 Hz cùng với notch. Khái quát hóa trên các chiến lược tiền xử lý là một mục tiêu đã nêu, không phải là kết quả đã được kiểm chuẩn.

Kết quả

Do đó, câu hỏi đặt ra là liệu tính linh hoạt có làm giảm độ chính xác hay không.

Trên các tác vụ kiểm tra (held-out tasks), ZUNA1.1 đạt được NMSE tái tạo tốt hơn hoặc về cơ bản tương đương với ZUNA1. Cả hai đều vượt trội rõ rệt so với phương pháp nội suy spherical-spline cổ điển từ MNE. Để so sánh công bằng, các tập đánh giá đó đã sử dụng chính xác các mẫu năm giây.

Zyphra cũng đã thực hiện một bài kiểm tra dựa trên vùng não. Các điện cực từ một vùng não bị xóa, sau đó được tái tạo từ bảy vùng còn lại. Thiết lập đó thực tế hơn so với việc loại bỏ kênh ngẫu nhiên. ZUNA1.1 vượt trội hơn cả spherical-spline và ZUNA1 trong trường hợp này.

Trình giải thích tương tác

Để làm cho các cơ chế đó trở nên cụ thể, bản demo bên dưới mô phỏng quy trình từ đầu đến cuối.

Tóm lại, các bản phát hành khác nhau chủ yếu ở quá trình huấn luyện, không phải kiến trúc.

Cách vận hành

Về mặt thực tế, reconstruct_fif chạy trực tiếp trên các tệp.fif mà không cần chuyển đổi qua lại.pt. Quy trình bốn bước cũ vẫn được cung cấp kèm theo.

Lưu ý các cài đặt mặc định. segment_sec là 5.0, vì vậy phạm vi 0,5–30 giây cần được thiết lập rõ ràng. Vị trí điện cực được đọc từ chính tệp đó. Đối số montage chỉ là phương án dự phòng khi không có vị trí, và các kênh không có tọa độ 3D sẽ bị loại bỏ.

Mục tiêu tái tạo là một tập hợp hợp nhất. Nó kết hợp các kênh xấu (bad channels) và chú thích BAD_ của chính tệp MNE với bất kỳ yêu cầu nào ở trên. Hai thư mục sẽ được ghi. full_reconstruction/ chứa đầu ra của mô hình ở mọi nơi. hybrid/ giữ lại bản gốc và chỉ điền vào các ô được suy luận, cộng với một tệp _mask.npz.

Các trường hợp sử dụng với ví dụ

Vì việc tạo mặt nạ (masking) hiện đã linh hoạt, một số mô hình thực tế đã được mở ra.

Hãy xem Trọng số mô hình, Kho lưu trữ GitHub và Chi tiết kỹ thuật. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi và Đăng ký Bản tin của chúng tôi. Khoan đã! bạn có dùng Telegram không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá Kho lưu trữ GitHub HOẶC Trang Hugging Face HOẶC Bản phát hành sản phẩm HOẶC Hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Asif Razzaq là CEO của Marktechpost Media Inc.. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Nỗ lực gần đây nhất của ông là ra mắt Nền tảng truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với việc đưa tin chuyên sâu về học máy và học sâu, vừa đảm bảo tính kỹ thuật vừa dễ hiểu đối với đông đảo khán giả. Nền tảng này tự hào với hơn 2 triệu lượt xem hàng tháng, minh chứng cho sự phổ biến của nó đối với độc giả.