Nghiên cứu từ Apple: Cách 'cấy' giá trị đạo đức làm thay đổi hành vi của LLM

Tác giả: Arnav Arora†**, Natalie Schluter, Katherine Metcalf‡, Maartje ter Hoeve‡

Các mô hình ngôn ngữ lớn (Conversational Large Language Models) được huấn luyện hậu kỳ (post-trained) dựa trên ngôn ngữ thể hiện các đặc điểm hành vi cụ thể, như sự tò mò, tư duy cởi mở và sự đồng cảm, cùng các giá trị như sự hữu ích, tính vô hại và sự trung thực. Việc này được thực hiện nhằm tăng cường tính ứng dụng, đảm bảo an toàn và cải thiện trải nghiệm của người dùng khi tương tác với mô hình. Tuy nhiên, các giá trị vốn phức tạp và có mối liên hệ với nhau – việc thúc đẩy một giá trị có thể làm thay đổi hành vi của giá trị khác. Hơn nữa, việc thúc đẩy một số giá trị nhất định có thể khiến các mô hình trở nên gây nghiện hoặc nịnh hót hơn thông qua ngôn ngữ được sử dụng trong các phản hồi, gây ra tác động tiêu cực tiềm ẩn đối với người dùng. Chúng tôi nghiên cứu những hiệu ứng này và các tác động ngoài ý muốn khác của việc đưa các giá trị vào mô hình. Chúng tôi tinh chỉnh (fine-tune) các mô hình bằng cách sử dụng các tập hợp con giá trị được chọn lọc từ các tập dữ liệu ưu tiên hiện có, đồng thời đo lường tác động của việc đưa giá trị vào đối với sự thể hiện của các giá trị khác, độ an toàn của mô hình, ngôn ngữ nhân hóa và nhiều tiêu chuẩn đánh giá QA khác nhau. Chúng tôi nhận thấy rằng (i) việc đưa vào các giá trị dẫn đến sự thể hiện của các giá trị liên quan khác, và đôi khi là các giá trị đối lập, (ii) việc đưa vào các giá trị tích cực giúp tăng cường độ an toàn, và (iii) tất cả các giá trị đều làm tăng việc sử dụng ngôn ngữ nhân hóa, khiến các mô hình trở nên mang tính xác nhận và nịnh hót hơn.

Các bài đọc và cập nhật liên quan.

Các mô hình thị giác-ngôn ngữ đa phương thức (VLMs) liên tục đạt được điểm số ngày càng cao trên các tiêu chuẩn đánh giá khả năng hiểu biểu đồ. Tuy nhiên, chúng tôi nhận thấy rằng sự tiến bộ này chưa nắm bắt đầy đủ phạm vi năng lực suy luận thị giác cần thiết để diễn giải biểu đồ. Chúng tôi giới thiệu EncQA, một tiêu chuẩn đánh giá mới dựa trên tài liệu về trực quan hóa, được thiết kế để cung cấp phạm vi bao phủ có hệ thống về các mã hóa thị giác và các tác vụ phân tích vốn rất quan trọng đối với biểu đồ…

Đọc thêm

Nhiều nhà phát triển ứng dụng quan tâm đến việc xây dựng các trải nghiệm trên thiết bị (on-device) tích hợp các mô hình ngôn ngữ lớn (LLMs) ngày càng mạnh mẽ. Việc chạy các mô hình này cục bộ trên Apple silicon cho phép các nhà phát triển tận dụng năng lực của thiết bị người dùng để suy luận (inference) với chi phí hiệu quả, mà không cần gửi dữ liệu qua lại với các máy chủ của bên thứ ba, điều này cũng giúp bảo vệ quyền riêng tư của người dùng. Để thực hiện được điều này, các mô hình phải được tối ưu hóa cẩn thận để có thể…

Đọc thêm