Giải mã hiện tượng nhiễu trọng số trong các mô hình ngôn ngữ nhỏ

Đã xuất bản

Ngày 21 tháng 8 năm 2026

Giới thiệu

Một hy vọng đầy tham vọng đối với khả năng diễn giải cơ học (mechanistic interpretability) là đọc một mạng thần kinh giống như cách chúng ta đọc một chương trình máy tính, từ đó cung cấp mô tả độc lập với ngữ cảnh (hoặc toàn cục) về quá trình tính toán của nó. Các thành phần toàn cục tự nhiên nhất của một mạng chính là trọng số (weights); chúng mô tả tác động trực tiếp của mỗi đơn vị lên đơn vị khác trong mọi ngữ cảnh mà chúng xuất hiện.

Tuy nhiên, các mô hình tận dụng sự chồng chất (superposition) để tối đa hóa khả năng biểu diễn các mạch (circuits) khác nhau, và điều này đặt ra hai thách thức chính đối với việc đọc trực tiếp các trọng số. Thứ nhất, cơ sở của các nơ-ron mang tính đa nghĩa (polysemantic): mỗi kích hoạt nơ-ron đóng góp vào nhiều đặc trưng (features) của quá trình tính toán và chúng thực hiện điều đó theo cách phụ thuộc vào ngữ cảnh. Các kỹ thuật học từ điển (dictionary learning) và các phương pháp khác giải quyết tính đa nghĩa bằng cách mở rộng cơ sở của các nơ-ron thành nhiều thành phần đơn nghĩa (monosemantic) hơn, và trọng số của mô hình có thể được biểu diễn lại dưới dạng các tác động toàn cục giữa các thành phần này, được gọi là trọng số ảo (virtual weights).

Nhưng ngay cả khi chúng ta tìm thấy một cơ sở đặc trưng hoàn hảo cho transformer, các đặc trưng đó vẫn sẽ được ghi và đọc thông qua các phép chiếu chiều thấp (low-dimensional projections), và do đó các trọng số ảo giữa các đặc trưng sẽ buộc phải rơi vào trạng thái chồng chất. Sự chồng chất trọng số như vậy được giả định là dẫn đến các trọng số nhiễu (interference weights): các tương tác tuyến tính của các thành phần mô hình có thể diễn giải được thông qua luồng dư (residual stream) chiều thấp, vốn không liên quan hoặc gây hại cho hành vi của mô hình. Các trọng số nhiễu được cho là gây khó khăn cho việc diễn giải các tính toán của mô hình, ngay cả khi bản thân các biểu diễn là có thể diễn giải được, bởi vì các thành phần không bao giờ tương tác trên phân phối dữ liệu vẫn có thể được kết nối bởi các trọng số ảo lớn gợi ý một vai trò chức năng. Nếu có thể xác định chính xác các trọng số nhiễu, chúng ta có thể hy vọng loại bỏ chúng và khôi phục một mô hình thưa (sparse model) mà các trọng số còn lại phản ánh đúng các mạch mà mô hình thực sự muốn học.

Trước đây, chúng tôi đã xác định các trọng số nhiễu trong một mô hình đồ chơi (toy model) đơn giản dựa trên một phép chiếu chiều thấp duy nhất, và nhận thấy rằng tác động của một trọng số lên hàm mất mát (loss) dự đoán liệu nó có thuộc về mạch mà mô hình được huấn luyện để thực hiện hay không. Ghi chú đó thảo luận về nhiều định nghĩa khác nhau của trọng số nhiễu. Chúng tôi sử dụng định nghĩa ở trên: các tương tác tuyến tính của các thành phần mô hình có thể diễn giải được thông qua luồng dư chiều thấp, vốn không liên quan hoặc gây hại cho hành vi của mô hình. Điều này tương đương với "định nghĩa 2" trong bài "A Toy Model of Interference Weights". Lựa chọn này ngụ ý rằng chúng tôi phân loại các trọng số riêng lẻ là nhiễu thay vì tìm kiếm sự khác biệt tiềm ẩn giữa trọng số của mô hình và các trọng số "thực" ("định nghĩa 1"). Trong Claude 3.5 Haiku, chúng tôi cũng quan sát thấy rằng nhiều trọng số ảo không được sử dụng trên hàng triệu token (nghĩa là đặc trưng nguồn và đích của chúng không bao giờ đồng kích hoạt, xem phần Phụ lục liên quan của Circuit Tracing), và các thống kê đồng kích hoạt có thể làm giảm trọng số của các kết nối giữa các cặp đặc trưng không liên quan; chúng tôi cho rằng đây là các trọng số nhiễu mà không có bằng chứng thêm. Cho đến nay, chúng tôi vẫn thiếu một transformer đã qua huấn luyện mà tại đó chúng tôi có thể chỉ ra các trọng số nhiễu cụ thể, mô tả đặc điểm của chúng và kết nối chúng với hiệu suất.

Tại đây, chúng tôi huấn luyện một transformer một lớp, phân rã nó thành các trọng số ảo giữa các token, vị trí, đặc trưng và logit, đồng thời nghiên cứu cách các trọng số đó kết hợp để tạo ra hành vi của mô hình trên phân phối dữ liệu. Điều này cung cấp một thiết lập tự nhiên tối thiểu để phân tích các trọng số nhiễu, mà chúng tôi tiếp cận bằng cách chấm điểm trọng số dọc theo hai trục. Hiệu quả (effectiveness) của một trọng số là độ lớn tác động của nó lên đầu ra của mô hình. Sự hữu ích (helpfulness) của một trọng số là độ lớn và dấu của tác động của nó lên hàm mất mát. Đây là phép đo tương tự từ công trình mô hình đồ chơi. Sự hữu ích rất chính xác để tìm ra các trọng số nhiễu, nhưng tốn kém để tính toán. Một trọng số phải có hiệu quả thì mới có sự hữu ích, nhưng không có mối liên hệ vốn có nào giữa hiệu quả của một trọng số và dấu của sự hữu ích của nó.

Mô hình 1L của chúng tôi có thể hoàn thành các từ như ACETYLCHOLINE "uh-SEE-tul-KOH-leen", chất dẫn truyền thần kinh tại mọi khớp thần kinh cơ. Ví dụ này được lấy từ tập huấn luyện của transformer, bao gồm một số tiêu đề bài báo học thuật viết hoa, dự đoán rằng token "E" cuối cùng theo sau "IN". Một thuật ngữ trong dự đoán đó là đường dẫn từ "IN" đến các logit thông qua luồng dư, trong đó trọng số ảo lớn nhất bình chọn để hoàn thành từ với "utions". Token này không bao giờ theo sau "IN" trong tập huấn luyện, vì vậy mỗi khi trọng số ảo này ảnh hưởng đến đầu ra, nó chỉ làm cho hàm mất mát của mô hình tệ hơn. Điều này ngụ ý vai trò của sự chồng chất trọng số vì không có lý do gì trọng số này lại lớn nếu các trọng số ảo của mô hình được huấn luyện trực tiếp. Mặc dù các công trình trước đây đã mô tả sự xuất hiện và khả năng xác định của các trọng số nhiễu trong một thiết lập đồ chơi, nơi một mạng thần kinh được huấn luyện để mô phỏng một mô hình lớn hơn, thưa hơn, đúng thực tế, thì ghi chú này là nơi đầu tiên, theo hiểu biết của chúng tôi, một trọng số nhiễu như thế này đã được chứng minh bên trong một transformer đã qua huấn luyện bằng cách đo lường tác động của chúng lên hàm mất mát huấn luyện.

Mở rộng kết quả này, chúng tôi trình bày ba phát hiện chính. Thứ nhất, các trọng số hữu ích và có hại nằm rải rác trên toàn bộ phạm vi độ lớn của trọng số ảo. Do đó, những nỗ lực ngây thơ nhằm đọc các mạch chức năng từ các trọng số thô có thể bỏ lỡ những trọng số thực hiện các mạch quan trọng trong khi lại làm nổi bật các kết nối gây nhầm lẫn không bao giờ quan trọng trên dữ liệu thực. Thứ hai, các trọng số ảo không hiệu quả rất nhiều và có thể dễ dàng loại bỏ: cắt tỉa 70% trọng số kém hiệu quả nhất chỉ làm hàm mất mát của mô hình tệ hơn 0,01 nats, và cắt tỉa 85% tốn 0,1. Các trọng số hiệu quả nhất hầu hết đều hữu ích, và chúng vượt xa hiệu quả của bất kỳ trọng số có hại nào theo một bậc độ lớn. Thứ ba, số lượng trọng số ảo hữu ích trong cơ sở này vẫn có vẻ lớn. Như một tiêu chuẩn thô, mô hình trọng số ảo của chúng tôi chứa nhiều trọng số hữu ích hơn cả số tham số trong transformer gốc, ngay cả khi bị giới hạn ở những trọng số hiệu quả và hữu ích nhất. Các trọng số còn lại có thể vẫn dễ diễn giải hơn mô hình gốc, nhưng chúng tôi nghi ngờ rằng một mô hình tương tự trong một cơ sở tốt hơn có thể cung cấp thêm độ thưa và khả năng diễn giải.

Một ví dụ tạo động lực

Chúng ta có thể phân rã dự đoán hoàn thành ACETYLCHOLINE thành các đường dẫn riêng biệt cung cấp cho đầu ra và đọc xem mỗi đường dẫn đóng góp những gì. Khi làm như vậy, không rõ trọng số nào thực hiện các mạch chức năng cho mô hình (cải thiện dự đoán trong một số ngữ cảnh, nếu không phải ngữ cảnh này), và trọng số nào đóng vai trò là nhiễu chỉ đơn thuần được dung nạp.

Transformer một lớp của chúng tôi (xem Phụ lục để biết chi tiết huấn luyện) có một phân rã đơn giản mà chúng tôi sử dụng để minh họa vấn đề cơ bản. Logit cho bất kỳ token ứng viên nào là tổng các đóng góp dọc theo ba đường dẫn: đường dẫn trực tiếp từ đầu vào hiện tại (kết hợp token đầu vào và nhúng vị trí), đường dẫn chú ý (attention path), và đường dẫn MLP. Chúng tôi tính toán đóng góp của mỗi đường dẫn riêng biệt: lấy tác động của nó lên luồng dư và nhân với unembedding (đây là logit lens áp dụng cho mỗi đường dẫn). Chúng tôi sẽ sử dụng các phân rã chi tiết hơn sau này.

Không có đường dẫn nào xếp hạng "E" là đầu ra hàng đầu. Mỗi đường dẫn đặt đóng góp lớn nhất của nó vào một token khác nhau và không chính xác: đường dẫn trực tiếp ưu tiên "␣Mrs", đường dẫn chú ý ưu tiên "ely", và đường dẫn MLP ưu tiên "ATION". Thay vào đó, "E" là phần tiếp nối duy nhất mà mọi đường dẫn đều chấm điểm khá cao. Chúng tôi hiển thị vị trí của các bình chọn này giữa các hiệu ứng từ vựng khác và cách chúng tương tác trong Phụ lục.

Điều khiến chúng tôi quan tâm nhất về các đường dẫn kết hợp này là một vài trong số các bình chọn mâu thuẫn đến từ các kết nối trông có vẻ gây nhầm lẫn. Bình chọn mạnh nhất của MLP sẽ hoàn thành từ này thành ACETYLCHOLINATION, vốn không phải là một thuật ngữ kỹ thuật thực sự. Dự đoán của chú ý ("ely") là chữ thường, mặc dù mọi token cho đến nay đều là chữ hoa. Và, như chúng tôi đã nhấn mạnh, "utions" dường như không nên theo sau "IN" trong bất kỳ ngữ cảnh nào. Có thể có những lời giải thích hợp lý cho các kết nối này, nhưng làm sao chúng ta biết được? Chúng ta giả định rằng mô hình biết điều gì đó mà chúng ta không biết? Hay đây là những trọng số nhiễu đóng góp nhiễu vào hành vi của mô hình, chỉ tồn tại do những thỏa hiệp được thực hiện trong quá trình nén luồng dư?

Trong các phần sau, chúng tôi sẽ chỉ ra cách định lượng hiệu quả và sự hữu ích của mỗi trọng số giúp trả lời những câu hỏi này. Các trọng số không hiệu quả hoặc có hại không phải là những bài học hợp lệ mà mô hình đã học được; chúng là các trọng số nhiễu mà mô hình mang theo bên cạnh các mạch thực tế của nó.

Mô hình trọng số ảo

Phân rã ở trên hữu ích cho việc minh họa, nhưng các đường dẫn chú ý và MLP quá phức tạp để cho phép một mô tả có thể diễn giải được vì chúng là các phép biến đổi phụ thuộc vào ngữ cảnh. Chúng ta có thể cân nhắc chia nhỏ chúng thành các thành phần, nhưng các nơ-ron MLP có xu hướng đa nghĩa (một số bằng chứng cho thấy các tương tác token thông qua chú ý là có thể diễn giải được, mặc dù một số bằng chứng dựa trên các mô hình không có MLP). Thay vào đó, chúng tôi viết lại mô hình từ các tương tác toàn cục của nó bằng cách sử dụng các thành phần đơn nghĩa hơn, lắp một bộ chuyển mã (transcoder) vào đầu vào và đầu ra của MLP và giữ lại phân rã gốc của lớp chú ý thành các đầu (heads). Sau khi mở rộng phân rã kết quả của mô hình thành các trọng số ảo, chúng tôi có thể so sánh các phép đo định lượng của mình với khả năng diễn giải định tính cho từng trọng số.

Cơ sở chúng tôi sử dụng bao gồm các token, vị trí, đặc trưng chuyển mã và logit đầu ra. Đầu vào đi vào mô hình trọng số ảo (mô hình VW) dưới dạng mã hóa one-hot nối tiếp của từ vựng và mã hóa one-hot của vị trí vào một trục [từ vựng, vị trí] duy nhất có kích thước d_{v^′} = 5.120 (trong đó kích thước từ vựng là 4096 và độ dài ngữ cảnh là 1024). Bộ chuyển mã của chúng tôi có 4.096 đặc trưng (d_f) và mô hình VW đầy đủ giữ lại 4.096 logit đầu ra (d_v) giống như transformer gốc. Mỗi kết nối trong mô hình VW nằm trong một trong sáu họ, mỗi họ là một tích của các ma trận triệt tiêu chiều dư (d_m = 256), được hiển thị bên dưới.

Các họ trọng số này mô tả các tương tác của các đơn vị cơ sở giữa các phi tuyến tính phức tạp hơn — năm trong số các họ cấu thành các bản đồ tuyến tính vào logit hoặc đặc trưng và họ QK là bản đồ song tuyến tính duy nhất, tạo ra mô hình chú ý điều kiện hóa hai họ OV. Vì transformer của chúng tôi không có chuẩn hóa, mỗi đường dẫn là một tích cố định của các ma trận. Mô hình VW tái tạo chính xác quá trình chuyển tiếp (forward pass) của transformer gốc với một số hạng sai số cho bộ chuyển mã và sự kết hợp thích hợp của các ma trận này.

Việc hiện thực hóa tất cả sáu họ làm tăng số lượng tham số từ 2,9M lên khoảng 331M, gấp khoảng 100 lần, vì mỗi cặp điểm cuối hiện mang trọng số rõ ràng của riêng nó thay vì chia sẻ luồng dư. Việc thực hiện quá trình chuyển tiếp tương đương cũng đòi hỏi một số chi tiết bổ sung để quản lý mã hóa đầu vào và các đường dẫn OV tách biệt, và chúng tôi mô tả các chi tiết này trong Phụ lục.

Hiệu quả và sự hữu ích

Bây giờ chúng ta đã có tập hợp các trọng số ảo, hai câu hỏi giúp chúng ta xác định các trọng số nhiễu trong số đó: Trọng số có tác động đáng kể trong mô hình không? Và nếu có, nó làm giảm hay tăng hàm mất mát? Chúng tôi làm rõ từng câu hỏi trước khi sử dụng chúng để kiểm tra các trọng số ảo trong phần tiếp theo.

Chúng tôi định nghĩa hiệu quả là độ lớn tác động của trọng số lên hàm mà mô hình tính toán. Chúng tôi đo lường nó như một ước tính bậc hai của phân kỳ KL giữa các đầu ra của mô hình có và không có trọng số (sử dụng thước đo Fisher). Viết a cho vectơ các thuộc tính của một trọng số đối với các logit và p cho xác suất đầu ra của mỗi token, chúng ta có thể viết điều này là

\textrm{fisher}(w) = \tfrac{1}{2}\,\mathop{\mathbb{E}}_{x \sim \mathcal{D}}\!\left[\,\textrm{Var}_p(a)\,\right] = \tfrac{1}{2}\,\mathop{\mathbb{E}}_{x \sim \mathcal{D}}\!\left[\,a^TFa\,\right],

trong đó F=\textrm{diag}(p) - pp^T là ma trận thông tin Fisher của softmax đối với các logit. Vì giá trị này được biểu thị bằng nats, nó có thể so sánh được trên tất cả sáu họ trọng số, cho dù chúng nhắm mục tiêu trực tiếp vào một logit hay nhắm vào các thành phần bên trong mô hình. Phụ lục đưa ra dạng thức của thước đo cho mỗi đường dẫn. Chúng tôi ước tính giá trị này cho mọi trọng số ảo trong mô hình trên ~537M token của tập dữ liệu huấn luyện.

Hiệu quả đo lường tác động nào của trọng số sống sót sau sự can thiệp từ mọi đường dẫn khác. Một trọng số ảo có thể lớn nhưng vẫn không hiệu quả vì mục tiêu của nó không bao giờ hợp lý khi nguồn của nó đang hoạt động và các đường dẫn cạnh tranh bình chọn áp đảo nó. Đối với ACETYLCHOLINE, đóng góp Tokens→Logits của "IN" cho "E" đã sống sót sau các bình chọn cạnh tranh và đóng góp khối xác suất vào một mục tiêu hợp lý. Mặc dù "utions" mang trọng số ảo thô lớn hơn, nhưng phần hoàn thành đó đã bị các đường dẫn khác bình chọn thấp đến mức trọng số ảo không đóng góp nhiều vào phân phối xác suất đầu ra.

Hiệu quả cho biết trọng số làm thay đổi dự đoán bao nhiêu, không phải liệu nó có làm cho các dự đoán đó chính xác hơn hay không. Đối với điều đó, chúng tôi đo lường sự hữu ích: mức thay đổi trung bình của hàm mất mát khi trọng số bị loại bỏ khỏi quá trình chuyển tiếp. Nếu hàm mất mát tăng khi chúng tôi loại bỏ một trọng số, trọng số đó đang giúp mô hình hướng tới câu trả lời đúng; nếu hàm mất mát giảm, nó có hại.

Việc khôi phục dấu của sự hữu ích của một trọng số với ý nghĩa thống kê đòi hỏi rất nhiều dữ liệu, vì một trọng số đơn lẻ thường giúp ích trên một số token và gây hại trên các token khác (Phụ lục). Sự hữu ích có thể được tính toán rẻ cho các họ trọng số nhắm vào các logit (Phụ lục), nhưng đối với phần còn lại thì rất tốn kém. Chúng tôi tính toán sự hữu ích trung bình cho các tập hợp con trọng số trong các ví dụ của mình trên toàn bộ tập huấn luyện và đính kèm khoảng tin cậy 95% (Gaussian) cho mỗi trọng số. Chúng tôi đã chạy các phép đo tương tự cho một mẫu ngẫu nhiên của toàn bộ quần thể trên 1B token. (Một số hình ảnh mô tả phân phối của hiệu quả và sự hữu ích trong Phụ lục để tham khảo).

Các phép đo ERA (expected residual attribution) và TWERA (target-weighted) trong công trình trước đây của chúng tôi có thể được coi là các đại diện của hiệu quả, với giả định rằng các tác động lớn trong nội bộ mô hình lan truyền đến các đầu ra của hàm. Chúng tôi không khuyến khích độc giả suy diễn quá nhiều về sự thay đổi của chúng tôi từ ERA hoặc TWERA sang hiệu quả Fisher. Sự thay đổi này là một cải tiến (nó làm giảm các tác động âm tính giả bằng cách xem các thuộc tính nào đạt đến phân phối đầu ra, và các dương tính giả bằng cách sử dụng ước tính bậc hai giúp tính đến các gradient bão hòa, và chúng tôi cũng sử dụng một biến thể phản thực tế cho một số trọng số giúp xử lý sự ức chế), nhưng các thước đo này khá giống nhau (Phụ lục), chúng tôi đã thử một vài biến thể liên quan, và chúng tôi không nghĩ rằng việc làm sắc nét thêm thước đo này có đòn bẩy cao so với, ví dụ, việc tìm kiếm các cơ sở tốt hơn. Sau này, chúng tôi sẽ gợi ý rằng các trọng số hữu ích chiếm hàng chục phần trăm của mô hình VW, và việc cắt tỉa theo hiệu quả Fisher đạt được mật độ tương tự trước khi hàm mất mát bị ảnh hưởng. Vì sự hữu ích là thước đo trực tiếp nhất trên mỗi trọng số và Fisher đã cắt tỉa đến mật độ tương tự, một thước đo sắc nét hơn có rất ít dư địa để cải thiện.

Hiệu quả làm nổi bật các trọng số hữu ích nhưng không cô lập chúng

Sau khi định nghĩa hiệu quả và sự hữu ích, giờ đây chúng ta có thể sử dụng chúng để xác định các trọng số nhiễu và diễn giải các phần của mô hình VW. Chúng tôi thực hiện qua bốn ví dụ. Ví dụ đầu tiên quay lại ACETYLCHOLINE để xác nhận rằng trọng số Tokens→Logit gây nhầm lẫn từ "IN" thực tế là nhiễu và để chỉ ra rằng hiệu quả có thể lọc các trọng số nhiễu khỏi các tác động nổi bật nhất. Ba ví dụ tiếp theo chứng minh các bài học liên quan đến tác động: đôi khi các trọng số ảo có độ lớn lớn nhất thực sự hữu ích; các trọng số hiệu quả Fisher nhất có xu hướng hữu ích nhưng đôi khi có hại; và các họ trọng số không nhắm vào các logit có hiệu quả Fisher thấp hơn những họ nhắm vào logit, nhưng các họ này vẫn cho thấy các mô hình định tính tương tự liên quan đến độ lớn trọng số, hiệu quả và sự hữu ích. Chúng tôi đi qua ví dụ cuối cùng chi tiết hơn, vì hiệu quả tỏ ra hữu ích trong việc diễn giải các mạch liên quan.

Như đã đề cập trước đó, trọng số ảo Tokens→Logits lớn nhất từ "IN" trỏ vào "utions". Tuy nhiên, hiệu quả Fisher của trọng số đó thấp hơn khoảng ba bậc độ lớn so với các trọng số hiệu quả nhất từ cùng một token. Nó cũng có hại; trên toàn bộ tập huấn luyện của mô hình, "utions" không bao giờ theo sau "IN". Mỗi khi trọng số này thay đổi phân phối đầu ra, nó đẩy các dự đoán theo hướng sai.

Việc sắp xếp lại các trọng số của "IN" theo hiệu quả Fisher không chỉ loại bỏ "utions", nó còn đưa "E" từ ACETYLCHOLINE lên vị trí thứ hai. Việc sắp xếp theo hiệu quả dễ diễn giải hơn trên một vài trọng số hàng đầu, và đối với các trọng số này, nó phần lớn đồng ý với việc sắp xếp trực tiếp theo sự hữu ích. Các trọng số hiệu quả nhất từ "IN" đều là các phần tiếp nối chữ hoa nhất quán với các ngữ cảnh viết hoa toàn bộ nơi "IN" có xu hướng xuất hiện, và chúng có tính hợp lý về mặt ngữ âm. "T", được xếp hạng hàng đầu, thực sự có nhiều khả năng theo sau "IN" hơn là "E".

Ngoài việc sắp xếp trọng số theo hiệu quả hoặc sự hữu ích, chúng ta có thể sử dụng các phép đo này để kiểm tra các trọng số ảo lớn nhất sau khi lọc chúng theo ngưỡng của một trong hai giá trị. Các trọng số ảo mô tả tác động trực tiếp của mỗi đơn vị lên đơn vị khác trên toàn cục, vì vậy chúng tôi coi việc lọc các trọng số theo loại ngưỡng này là nỗ lực tạo ra một phiên bản của mô hình không có trọng số nhiễu. Đối với ví dụ này, việc lọc theo sự hữu ích hoặc hiệu quả sẽ loại bỏ các trọng số nhiễu dự kiến và để lại cho chúng ta các phần tiếp nối chữ hoa. Chúng tôi sẽ nghiên cứu thao tác lọc này chi tiết hơn sau này khi cố gắng nghiên cứu mô hình VW như một tổng thể.

Thu nhỏ từ một vài trọng số hàng đầu ra toàn bộ phân phối cho thấy những gì việc sắp xếp theo hiệu quả thực hiện ở mức tổng hợp. Chúng tôi đồng biến thiên trọng số ảo và hiệu quả Fisher với sự hữu ích. Bất kỳ trọng số nào có khoảng tin cậy 95% bao gồm số không đều được tô màu xám là "không đáng kể" (điều này có nghĩa là một số giá trị hữu ích nhỏ vẫn sẽ được coi là đáng kể. Xem Phụ lục để phân tích kích thước hiệu ứng).

Trọng số ảo cho thấy mối quan hệ yếu với sự hữu ích (bảng 1 và 2); đối với tập hợp này, trọng số ảo làm nổi bật ít các kết nối quan trọng nhất. Hiệu quả Fisher có mối quan hệ rõ ràng hơn nhiều với sự hữu ích (bảng 3). Các trọng số có hiệu quả tăng dần phân tách thành các trọng số hữu ích và có hại, với trọng số hữu ích nhất mở rộng đến các giá trị hiệu quả lớn nhất. Tuy nhiên, lưu ý rằng biểu đồ hiệu quả cho thấy không có tính hai đỉnh rõ ràng: không có sự phân chia sạch sẽ thành các trọng số "hiệu quả" và "không hiệu quả", chỉ có một dải liên tục của các trọng số hiệu quả hơn và kém hiệu quả hơn. Chúng tôi cũng trực quan hóa điều này bằng cách sử dụng CDF thực nghiệm trong Phụ lục.

Hai phép đo có thang đo rất khác nhau: trọng số ảo xuất hiện xấp xỉ phân phối chuẩn, trong khi hiệu quả Fisher xấp xỉ phân phối log-chuẩn, thay đổi theo 10 bậc độ lớn. Độ lớn trung vị của trọng số ảo xấp xỉ một phần ba độ lớn của trọng số lớn nhất, trong khi hiệu quả trung vị của một trọng số ảo thấp hơn 10.000 lần so với hiệu quả tối đa.

Ví dụ này có thể gợi ý rằng các trọng số ảo lớn chôn vùi các trọng số quan trọng nhất, nhưng điều đó không phải lúc nào cũng đúng. Thật vậy, nhiều phương pháp phân tích phổ biến như logit lens dựa vào các trọng số ảo có thể diễn giải được. Chúng tôi cũng dễ dàng tìm thấy các trường hợp mà trọng số ảo ngây thơ hoạt động tốt trong việc làm nổi bật các kết nối hữu ích. Dưới đây, chúng tôi hiển thị một đặc trưng tiếng Trung có các trọng số ảo lớn nhất trỏ vào "" (tương đương với dấu chấm trong văn viết Đông Á), một cụm các token byte như "\xe5\xae" và "\xe4\xbb" (các byte đầu của các ký tự CJK đa byte mà đặc trưng dự đoán). Các trọng số có độ lớn cao này khá hữu ích. Các trọng số âm mạnh nhất của đặc trưng triệt tiêu các token chữ Latinh hiện đại như "␣European" và "␣fran", vốn trực quan cho một đặc trưng văn bản tiếng Trung. Việc sắp xếp hoặc lọc hầu như không thay đổi bức tranh: các trọng số hàng đầu lại là các tiền tố byte CJK ("\xe5", "\xe6", "\xe7"). Mô hình này khớp với các đặc trưng chúng tôi đã mô tả trước đây trong "Towards Monosemanticity"; so với cơ sở nơ-ron, trọng số thường dễ diễn giải hơn trong cơ sở đặc trưng. Nhìn chung, chúng tôi thấy rằng trọng số ảo không vốn dĩ gây hiểu lầm, nhưng chúng không được đảm bảo sẽ làm nổi bật các kết nối hữu ích nhất.

Xem các biểu đồ trọng số ảo, hiệu quả và sự hữu ích trong thư viện hình ảnh.