Viện nghiên cứu Chí Tri đề xuất phương pháp giải mã mô hình lớn mới: Phân tách trọng số với chi phí dữ liệu dưới 1%

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

15-08-2026 14:42:23 Nguồn: QbitAI

Hiểu về các mô hình ngôn ngữ lớn (LLM) mà không cần huấn luyện thêm mạng thay thế

Tác giả: Yunzhong, từ Aofeisi

QbitAI | Kênh chính thức QbitAI

Trong lĩnh vực nghiên cứu khả năng giải thích cơ chế của các mô hình ngôn ngữ lớn, luôn tồn tại một thực tế đầy nghịch lý:

Để hiểu được một mô hình đã được huấn luyện hoàn chỉnh, các nhà nghiên cứu thường phải huấn luyện trước một bộ biểu diễn thưa (sparse representation) mới.

Các phương pháp như Transcoder, mô-đun đặc trưng thưa (sparse feature modules) sẽ học một tập hợp các đơn vị nội tại mới, sử dụng chúng để xấp xỉ quá trình tính toán của một lớp hoặc một mô-đun nhất định trong mô hình gốc, sau đó tìm kiếm các mạch tác vụ (task circuits) bằng cách giữ lại hoặc loại bỏ các đơn vị này.

Những phương pháp này đã thúc đẩy sự phát triển của khả năng giải thích cơ chế, nhưng cũng mang lại một chi phí bổ sung không nhỏ: các biểu diễn mới cần dữ liệu và quá trình tối ưu hóa, hơn nữa, nếu mô-đun thay thế không tái hiện đầy đủ mô-đun gốc, các phân tích sau đó có thể đồng thời giải thích cả hành vi của mô hình lẫn sai số thay thế.

Nói một cách đơn giản, các nhà nghiên cứu muốn mở một "hộp đen", nhưng thường phải huấn luyện một "hộp đen nhỏ" khác trước.

Vấn đề không chỉ nằm ở chi phí huấn luyện. Các mạch tác vụ cần tìm ra một tập hợp các phép tính nội tại có thể can thiệp độc lập: khi chỉ giữ lại chúng, khả năng liên quan vẫn tồn tại; khi loại bỏ chúng, hiệu suất của mô hình sẽ giảm đáng kể.

Các biểu diễn thay thế dạng huấn luyện thường cần phải khớp (fit) riêng biệt cho từng mô hình, từng lớp và từng checkpoint khác nhau, khiến cho việc phân tích mạch quy mô lớn và có hệ thống trở nên khó khăn hơn.

Một giải pháp lý tưởng hơn nên là vừa duy trì được hành vi của mô hình gốc, vừa cung cấp các đơn vị có thể can thiệp độc lập, đồng thời có thể được xây dựng trực tiếp từ các trọng số có sẵn với chi phí thấp hơn.

Viện Nghiên cứu Đổi mới Zhizhi (IQuest Research) cùng các cộng sự từ Safe AI Forum, Đại học Oxford, Đại học Stanford và Đại học Thanh Hoa đã đề xuất một lộ trình trực tiếp hơn:

Không cần huấn luyện thêm một mạng thay thế độc lập nào nữa, mà trực tiếp "tách" các đơn vị có thể can thiệp từ các trọng số đã được huấn luyện sẵn.

Phương pháp này có tên là Phân rã trọng số thưa (Sparse Weight Decomposition - SWD).

Nó phân rã một ma trận trọng số dày (dense weight matrix) thành hai ma trận thưa, đồng thời biến chiều trung gian mà cả hai cùng chia sẻ thành các đơn vị nút thắt (bottleneck units) có thể được đánh giá, lựa chọn và loại bỏ (ablation) một cách độc lập. Nhờ đó, các nhà nghiên cứu có thể trích xuất trực tiếp các mạch tác vụ trên trọng số.

Bài báo đã đưa ra ba kết quả đáng chú ý:

Địa chỉ bài báo: https://arxiv.org/abs/2608.03913

△ Tổng quan về phương pháp SWD. Các trọng số dày trong mô hình tiền huấn luyện được phân rã thành hai nhân tử thưa, các tọa độ trung gian được chia sẻ trở thành các đơn vị nút thắt có thể đánh giá, lựa chọn và loại bỏ độc lập.

Tách trực tiếp trọng số thành các "đường dẫn thưa"

Điểm xuất phát của SWD rất đơn giản. Đối với ma trận trọng số dày W trong mô hình tiền huấn luyện, hãy tìm hai ma trận thưa A và B sao cho:

W ≈ AB.

A và B chia sẻ m chiều trung gian. Chiều thứ i trước tiên đọc một vô hướng từ đầu vào thông qua cột thứ i của A, sau đó ghi vào đầu ra thông qua hàng thứ i của B. Như vậy, một cột và một hàng cùng cấu thành một đơn vị nút thắt, tức là một đường dẫn đọc-ghi rank-one cố định.

Bạn có thể hình dung nó giống như việc thêm một nhóm "trạm trung chuyển" vào một mạng lưới giao thông cực kỳ dày đặc: mỗi trạm trung chuyển chỉ kết nối với một số ít lối vào và lối ra. Các nhà nghiên cứu không chỉ có thể thấy một đường dẫn đọc từ đâu và ghi vào đâu, mà còn có thể đóng riêng lẻ đường dẫn đó để quan sát sự thay đổi trong hành vi của mô hình.

Khó khăn thực sự nằm ở chỗ làm thế nào để giảm đáng kể các kết nối mà vẫn giữ được tác động của trọng số gốc đối với kích hoạt của mô hình. SWD sử dụng đầu vào lớp được tạo ra từ một lượng nhỏ văn bản hiệu chuẩn để tối ưu hóa sai số đầu ra trước và sau khi phân rã; trong quá trình giải, các nhân tử được cập nhật luân phiên, duy trì ngân sách khác không thông qua ngưỡng cứng (hard threshold) và khớp lại các giá trị trọng số được giữ lại. Sau khi phân rã hoàn tất, mỗi đơn vị nút thắt có thể tham gia vào việc quy gán tác vụ (task attribution), xếp hạng và loại bỏ giống như các đặc trưng thưa, nhưng không cần phải huấn luyện thêm một mạng thay thế thần kinh độc lập.

△ Từ phân rã trọng số đến trích xuất mạch. Bước 1: Phân rã trọng số dày thành các nhân tử thưa A và B; Bước 2: Xếp hạng các đơn vị nút thắt theo quy gán tác vụ và chọn các đơn vị top-k để tạo thành mạch tác vụ.

Đã có SVD, tại sao vẫn cần SWD?

Vì mục tiêu là phân rã trực tiếp trọng số, một câu hỏi tự nhiên được đặt ra: Tại sao không sử dụng trực tiếp Phân rã giá trị kỳ dị (SVD)?

SVD cũng có thể biểu diễn một ma trận dưới dạng tổng của các thành phần rank-one và không cần dữ liệu huấn luyện. Các phương pháp gần đây như NaNA cũng đã chứng minh rằng các thành phần SVD có thể được sử dụng để xếp hạng và can thiệp tác vụ.

Tuy nhiên, đối với phân tích mạch, số lượng đơn vị ít không đồng nghĩa với việc số lượng đường dẫn tính toán thực tế ít.

Hướng đọc và hướng ghi của các thành phần SVD thường là dày (dense). Ngay cả khi chỉ giữ lại một vài thành phần, chúng vẫn có thể kết nối với hầu hết các chiều đầu vào và đầu ra.

Trong khi đó, SWD áp đặt tính thưa lên từng kết nối đọc-ghi của mỗi đơn vị: một số ít đơn vị cũng tương ứng với một số ít kết nối đang hoạt động.

Nhóm nghiên cứu cũng đã xây dựng hai đối chứng dày có khả năng khôi phục chính xác các trọng số gốc của GPT-2: full-rank SVD giữ lại tất cả các giá trị kỳ dị, và Random-B sử dụng cơ sở trực giao ngẫu nhiên.

Cả hai phương pháp phân rã đều có thể tái hiện chính xác ma trận gốc về mặt số học, nhưng trong cùng một quy trình quy gán và loại bỏ, chúng cần nhiều kết nối hoạt động hơn để đạt được hiệu suất tác vụ tương đương với SWD.

Nhóm đối chứng này cho thấy ưu điểm của SWD không chỉ đơn giản là "tách ma trận ra", mà điểm mấu chốt thực sự là mỗi đơn vị đều có cấu trúc đọc-ghi thưa.

△ Đối chứng phân rã dày chính xác. Cả Full-rank SVD và Random-B đều có thể khôi phục chính xác trọng số gốc, nhưng cần nhiều kết nối hoạt động hơn SWD để đáp ứng các yêu cầu về tính đầy đủ hoặc tính cần thiết.