Apple giới thiệu phương pháp chưng cất thặng dư hạng thấp giúp nén mô hình mà không thay đổi trọng số gốc

Tác giả: Keitaro Sakamoto†**, Pierre Ablin, Federico Danieli, Marco Cuturi

Chất lượng của các mô hình ngôn ngữ mã nguồn mở (open-weight language models) đã được cải thiện đáng kể trong những năm gần đây. Việc chia sẻ trọng số giúp thúc đẩy mạnh mẽ quá trình ứng dụng mô hình bằng cách cho phép chúng hoạt động trên nhiều nền tảng phần cứng và phần mềm khác nhau. Điều này cũng tạo điều kiện cho các hoạt động nghiên cứu và thử nghiệm cởi mở hơn, cho phép người dùng sử dụng chúng làm các điểm kiểm tra (checkpoints), tinh chỉnh (fine-tune) theo nhu cầu và có khả năng phân phối lại. Tuy nhiên, trong một số trường hợp, những lo ngại về việc sửa đổi các trọng số này cho các mục đích trái phép có thể lớn hơn lợi ích của việc trao quyền tự do cho người dùng. Việc phòng thủ chống lại sự thích ứng như vậy không hề đơn giản: vì một kẻ tấn công thích ứng theo định nghĩa có thể quan sát tất cả các trọng số và kiến trúc, chúng có thể đảo ngược các biện pháp phòng thủ cấu trúc đơn giản và sử dụng tối ưu hóa để vượt qua các cơ chế khóa cơ bản nhất. Trong nghiên cứu này, chúng tôi khai thác tính bất đối xứng giữa suy luận và huấn luyện của vi phân tự động (automatic differentiation) như một trục phòng thủ mới. Chúng tôi đề xuất DLR-Lock, một phương pháp mà nhà cung cấp mô hình cố tình thay thế mỗi MLP đã được huấn luyện trước trong mô hình của họ bằng một mạng dư thừa hạng thấp sâu (deep low-rank residual network - DLR-Net) với số lượng tham số tương đương, buộc bộ nhớ kích hoạt phải tăng tuyến tính theo độ sâu trong quá trình lan truyền ngược (backpropagation). Các DLR-Net được huấn luyện hiệu quả thông qua chưng cất theo mô-đun (module-wise distillation). Chúng tôi chỉ ra rằng, ngoài chi phí bộ nhớ này, DLR-Lock còn tạo ra những sai lệch về kiến trúc làm phức tạp hóa bối cảnh tối ưu hóa của việc tinh chỉnh tiêu chuẩn, đồng thời quá trình truyền ngược gây ra chi phí lớn hơn đáng kể so với quá trình truyền xuôi. Phương pháp phòng thủ của chúng tôi thành công trong việc chống lại những kẻ tấn công thích ứng có hiểu biết đầy đủ về chiến lược phòng thủ, trong khi vẫn bảo toàn được các khả năng ban đầu của mô hình. Các thí nghiệm trên LLM đã xác nhận những tuyên bố này.

Các bài đọc và cập nhật liên quan.

Bài báo này đã được chấp nhận tại hội thảo Efficient Systems for Foundation Models thuộc ICML 2024.

Trong nghiên cứu này, chúng tôi tìm hiểu mức độ hiệu quả của các trọng số đã học trong mạng thần kinh khi tận dụng không gian khả dụng của chúng. Khái niệm này liên quan đến năng lực (capacity), nhưng đồng thời kết hợp cả sự tương tác giữa kiến trúc mạng và tập dữ liệu. Hầu hết các trọng số đã học dường như đều có hạng đầy đủ (full rank), do đó không phù hợp để phân rã hạng thấp (low rank decomposition). Điều này…

Đọc thêm

Bài báo này đã được chấp nhận tại hội thảo “Reinforcement Learning for Real Life” thuộc NeurIPS 2022.

Những tiến bộ trong học tăng cường (reinforcement learning - RL) đã truyền cảm hứng cho các hướng đi mới trong tự động hóa thông minh cho phòng thủ mạng. Tuy nhiên, nhiều tiến bộ trong số đó hoặc đã phát triển nhanh hơn khả năng ứng dụng vào bảo mật mạng, hoặc chưa xem xét đến những thách thức liên quan đến việc triển khai chúng trong thế giới thực. Để hiểu rõ các vấn đề này, nghiên cứu này đánh giá…

Đọc thêm