Tại sao mô hình nhúng (Embedding) quyết định sự thành bại của hệ thống RAG?

CIO của GlobalFoundries có một quan điểm rất thẳng thắn: bạn sẽ không thể có được các AI agent cho đến khi dữ liệu nền tảng của chúng được cập nhật theo thời gian thực và được quản trị chặt chẽ.

Vì vậy, ông ấy đã xây dựng lại lớp dữ liệu đó trước tiên — một nền tảng duy nhất truyền tải dữ liệu giữa các nhà máy trên ba châu lục, với danh tính, quyền truy cập và nhật ký kiểm toán được xử lý tập trung thay vì thực hiện riêng lẻ cho từng dự án. Các AI agent sau đó mới được triển khai, trải rộng trên các mảng CNTT, thu mua và các chức năng kinh doanh khác.

Hãy tham gia cùng chúng tôi vào ngày 10 tháng 9 để nghe ông ấy chia sẻ về cách thực hiện và nhận câu trả lời trực tiếp cho các câu hỏi của bạn.

Đặt chỗ ngay

RAG, hay Retrieval-Augmented Generation (Truy xuất tăng cường thế hệ), đang giúp rất nhiều công ty xây dựng các chatbot phù hợp với yêu cầu cụ thể của họ. Tuy nhiên, sự thành công của bất kỳ hệ thống RAG nào cũng phụ thuộc vào chất lượng của embedding model (mô hình giúp chuyển đổi từ ngữ thành các con số) mà hệ thống RAG đó sử dụng.

Hãy xem xét ví dụ về tài liệu của một sản phẩm cụ thể quy định rằng các gói đăng ký hàng năm chỉ có thể được hoàn tiền trong vòng 30 ngày. Một chatbot được xây dựng bằng RAG lẽ ra phải trả lời các truy vấn của khách hàng dựa trên tài liệu hỗ trợ này. Tuy nhiên, khi một khách hàng hỏi liệu gói đăng ký mua cách đây 45 ngày có được hoàn tiền hay không, chatbot lại tự tin trả lời là "có".

Tại sao chatbot lại xử lý sai một câu hỏi tưởng chừng đơn giản này?

Câu trả lời nằm ở hành vi của embedding model, vốn đóng vai trò như một phiên dịch viên cho AI. Mô hình này kiểm soát quá trình tìm kiếm câu trả lời và khác biệt với mô hình ngôn ngữ (language model) thực hiện việc tạo ra câu trả lời cuối cùng. Dù mô hình ngôn ngữ có tốt đến đâu, nó cũng không thể đưa ra câu trả lời chính xác nếu embedding model không làm tốt công việc của mình.

Trong bài viết này, chúng ta sẽ xem xét cách thức hoạt động của embedding model trong một hệ thống RAG và điều gì khiến nó trở thành một phần quan trọng như vậy. Dưới đây là những nội dung chúng ta sẽ đề cập:

Tại sao hệ thống RAG cần tìm kiếm trước khi trả lời

Cách các embedding giúp việc tìm kiếm theo ngữ nghĩa trở nên khả thi

Tại sao thông tin liên quan không phải lúc nào cũng là thông tin đúng

Tại sao một mô hình ngôn ngữ tốt hơn không thể sửa chữa việc truy xuất kém

Điều gì làm cho một embedding model trở nên phù hợp với hệ thống RAG

Cách so sánh các embedding model mà không cần tin tưởng mù quáng vào điểm số benchmark

Lựa chọn giữa các API thương mại và các mô hình chạy cục bộ (locally run)

Tại sao việc thay đổi embedding model sau này lại trở nên tốn kém

Cách Matryoshka embeddings cung cấp khả năng kiểm soát tốt hơn đối với kích thước vector

Kiến thức của một mô hình ngôn ngữ thông thường phụ thuộc vào những gì nó được học trong quá trình đào tạo. Bạn không thể mong đợi một mô hình như vậy biết về các tài liệu riêng tư, chính sách hoặc mã nguồn nội bộ của một công ty. Nó thậm chí sẽ không biết về những thông tin mới nhất của công ty có thể đã được công bố sau khi mô hình được đào tạo. Về mặt kỹ thuật, việc đào tạo lại một mô hình ngôn ngữ mỗi khi có sự thay đổi thông tin là rất tốn kém.

Đây là lúc RAG phát huy tác dụng. Nó tách biệt khả năng tạo ngôn ngữ với việc tìm kiếm các chi tiết liên quan từ một kho lưu trữ kiến thức. Trong khi mô hình ngôn ngữ xử lý phần hiểu và viết, thì bộ sưu tập kiến thức bên ngoài chứa đựng thông tin thực tế cần được sử dụng để viết câu trả lời.

RAG hoạt động qua hai giai đoạn khác nhau: lập chỉ mục (indexing) và truy xuất (retrieval).

Trong giai đoạn lập chỉ mục, hệ thống chuẩn bị các tài liệu:

Thu thập tài liệu từ nhiều nguồn khác nhau (tệp tin, trang web, cơ sở dữ liệu, v.v.).

Trích xuất văn bản từ các tài liệu đó.

Chia văn bản thành các đoạn nhỏ hơn được gọi là chunks.

Gửi từng chunk vào một embedding model.

Lưu trữ vector thu được cùng với văn bản gốc và metadata.

Metadata có thể chứa các chi tiết như tiêu đề tài liệu, ngày xuất bản, ngôn ngữ, phiên bản, v.v.

Trong giai đoạn truy xuất, hệ thống thực hiện các bước sau:

Gửi câu hỏi thông qua cùng một embedding model.

Tìm kiếm các vector tài liệu gần với các vector câu hỏi.

Truy xuất một số lượng nhỏ các chunk. Ví dụ: 5 chunk tốt nhất hoặc tương tự.

Lọc và xếp hạng lại các chunk đó, sau đó đưa chúng vào prompt của mô hình ngôn ngữ.

Cuối cùng, mô hình ngôn ngữ viết câu trả lời bằng cách sử dụng prompt đã được cung cấp.