Databricks hướng dẫn triển khai Genie Ontology để tối ưu hóa ngữ cảnh cho AI Agent

Vượt ra ngoài mô hình ngữ nghĩa: Xây dựng bối cảnh kinh doanh chung cho các AI agent

Các mô hình ngôn ngữ lớn (Large language models) biết cách suy luận, nhưng chúng không hiểu doanh nghiệp của bạn. Việc cung cấp cho AI doanh nghiệp bối cảnh kinh doanh cần thiết không chỉ đơn thuần là kết nối nó với dữ liệu. Các agent còn cần hiểu các định nghĩa, mối quan hệ, quy tắc kinh doanh, nguồn dữ liệu có thẩm quyền và quyền truy cập của bạn. Genie Ontology thu hẹp khoảng cách đó bằng cách kết hợp ngữ nghĩa kinh doanh đã được mô hình hóa với bối cảnh được học từ các bảng, truy vấn, bảng điều khiển (dashboard), notebook và các tài sản được hỗ trợ khác mà nhóm của bạn đang sử dụng. Genie xếp hạng bối cảnh đó theo mức độ thẩm quyền và sự liên quan, áp dụng các quyền truy cập và cung cấp bối cảnh hữu ích nhất cho Genie tại thời điểm trả lời. Các agent bên ngoài cũng có thể truy cập trí tuệ của Genie thông qua MCP.

Một mô hình ngữ nghĩa tốt cung cấp một cốt lõi có thẩm quyền. Các mô hình ngữ nghĩa nắm bắt các khái niệm kinh doanh mà bạn xác định một cách có chủ đích; một ontology mở rộng nền tảng đó với các mối quan hệ, kiến thức và bối cảnh rộng hơn mà AI cần để hiểu cách doanh nghiệp thực sự vận hành. Theo cách gọi của Databricks, Unity Catalog Semantics kết hợp Metric Views, Pages và Domains để thiết lập các định nghĩa kinh doanh đáng tin cậy của bạn. Sau đó, Genie Ontology xây dựng dựa trên cốt lõi đã được mô hình hóa đó bằng cách kết hợp bối cảnh được suy luận từ các tài sản hiện có của bạn, mang lại cho các agent sự hiểu biết rộng hơn nhiều về doanh nghiệp so với những gì một mô hình ngữ nghĩa đơn thuần có thể cung cấp.

Chìa khóa ở đây là mô hình hóa phần "đầu" (head) và để Genie Ontology suy luận phần "đuôi" (tail). Genie hoạt động dựa trên những gì nó có thể tự động học ngay từ ngày đầu tiên, trong khi việc quản lý có chủ đích sẽ cải thiện các định nghĩa và nguồn dữ liệu quan trọng cần phải chính xác.

Sáu lớp sau đây là các thực tiễn tăng dần để xây dựng niềm tin theo thời gian, không phải là các điều kiện tiên quyết để Genie bắt đầu mang lại giá trị.

Hãy cùng xem xét từng lớp để hiểu sâu hơn.

Lớp 0: Xây dựng nền tảng dữ liệu vững chắc cho các agent

Trước khi bạn mô tả hay mô hình hóa bất cứ điều gì, dữ liệu cơ sở phải ở trạng thái mà một agent có thể suy luận được. Lớp này tập trung vào nền tảng vật lý: các bảng dữ liệu sạch, lược đồ (schema) hợp lý và một định danh nhất quán cho mỗi thực thể trong thế giới thực. Việc mô hình hóa kinh doanh logic sẽ diễn ra sau đó ở Lớp 2. Lớp này rất dễ bị bỏ qua và rất tốn kém để sửa chữa sau này, bởi vì không lượng siêu dữ liệu (metadata) hay mô hình ngữ nghĩa tốt nào có thể bù đắp cho một nền tảng vật lý bị lỗi.

Để có được nền tảng dữ liệu đúng đắn, bạn cần tập trung vào hai lĩnh vực chính:

Lớp 1: Làm giàu siêu dữ liệu (metadata) của bạn

Metadata là nền tảng mô tả giúp cả lớp ngữ nghĩa và quá trình trích xuất bối cảnh hiểu được dữ liệu của bạn. Khi một bảng được đặt tên là fct_rev_daily và một cột được đặt tên là rev_amt, agent sẽ phải đoán ý nghĩa của chúng. Khi cùng bảng đó có một mô tả ghi là "doanh thu ghi nhận hàng ngày, trừ đi các khoản hoàn trả, theo sản phẩm" và cột đó có một chú thích ghi là "doanh thu ghi nhận bằng USD", agent sẽ có dữ liệu thực tế để suy luận. Những mô tả tốt là một trong những khoản đầu tư có lợi nhuận cao nhất và chi phí thấp nhất mà bạn có thể thực hiện, đồng thời chúng cải thiện mọi công cụ hạ nguồn, không chỉ riêng Genie.

Dưới đây là ba bước thiết yếu cần thực hiện.

Lớp 2: Mô hình hóa doanh nghiệp với lớp ngữ nghĩa

Metadata giải thích từng bảng riêng lẻ. Lớp ngữ nghĩa xác định logic kinh doanh bên trên, để các chỉ số (metric) quan trọng nhất có cùng ý nghĩa ở mọi nơi chúng được sử dụng. Nếu Lớp 0 thiết lập nền tảng vật lý, thì lớp này tạo ra mô hình logic: các phép đo, mối quan hệ, miền (domain) và thuật ngữ.

Dưới đây là bốn bước quan trọng:

Tự động hóa mô hình hóa ngữ nghĩa với Genie Code

Tất nhiên, quy trình mô hình hóa ngữ nghĩa không nhất thiết phải là công việc hoàn toàn thủ công. Bạn có thể tận dụng Genie Code để tạo và duy trì Metric Views bằng các hướng dẫn ngôn ngữ tự nhiên. Trong lời nhắc (prompt) của Genie Code, hãy mô tả các bảng nguồn, phép nối (join), trường, phép đo và bộ lọc, và nó sẽ tạo ra YAML để bạn xem xét trước khi lưu. Bạn cũng có thể sử dụng kỹ năng /importBI trong Genie Code để nhập các mô hình ngữ nghĩa từ Tableau hoặc Power BI, và nó sẽ xây dựng một Metric View, sau đó bạn có thể đưa vào Unity Catalog để tái sử dụng, quản trị, theo dõi nguồn gốc (lineage) và khả năng khám phá.

Genie Code cũng có thể soạn thảo các Pages. Trong trình chỉnh sửa Page, hãy chọn một miền, đính kèm các tệp, liên kết, tài sản Unity Catalog hoặc nội dung kết nối qua MCP có liên quan, và Genie Code sẽ soạn thảo các trường có cấu trúc và nội dung văn bản phong phú cho Page. Hãy xem xét bản nháp, thêm các Nguồn và tài sản liên quan phù hợp, sau đó lưu hoặc xuất bản. Đối với nhiều khái niệm, hãy sử dụng tính năng nhập hàng loạt (Bulk import pages). Genie Code sẽ trích xuất và loại bỏ trùng lặp các Page được đề xuất từ tài liệu và nguồn của bạn, gắn cờ các xung đột, bản sao và các thuật ngữ có độ tin cậy thấp để xem xét, đồng thời tạo các Page đã được phê duyệt dưới dạng bản nháp để chỉnh sửa và xuất bản sau đó.

Lớp 3: Quản lý các tài sản giàu bối cảnh

Phần suy luận của ontology học hỏi từ các tài sản mà nhóm của bạn đã tạo ra, như bảng điều khiển, notebook, truy vấn SQL, Genie Agents và tài liệu. Tài sản dữ liệu của bạn càng phong phú và đáng tin cậy, thì bối cảnh được suy luận càng trở nên hữu ích. Lớp 3 tập trung vào việc làm cho các tài sản đó trở nên xứng đáng để học hỏi.

Dưới đây là bốn bước thiết yếu:

Lớp 4: Xây dựng lớp quản trị

Quản trị là yếu tố giúp các câu trả lời của Genie trở nên an toàn và đáng tin cậy. Vì quyền truy cập quyết định bối cảnh nào mà Genie Ontology có thể truy xuất, nên hai người có thể đặt cùng một câu hỏi và nhận được các câu trả lời khác nhau dựa trên những gì mỗi người được phép xem.

Hãy xem xét việc quản trị trên ba lĩnh vực cụ thể:

Tổng hợp lại, các kiểm soát này xác định bối cảnh nào mà ontology có thể truy xuất và người dùng nào có thể nhận được thông tin đó. Nội dung không được ủy quyền sẽ không tham gia vào quá trình truy xuất, vì vậy nó không thể ảnh hưởng gián tiếp đến câu trả lời.

Lớp 5: Đánh giá và cải thiện

Năm lớp đầu tiên xây dựng bối cảnh kinh doanh mà Genie sử dụng để trả lời các câu hỏi. Lớp đánh giá và cải thiện giúp giữ cho bối cảnh đó luôn chính xác khi doanh nghiệp thay đổi. Các chỉ số được định nghĩa lại, các bảng trở nên lỗi thời và các sản phẩm mới được giới thiệu. Việc thường xuyên đo lường chất lượng câu trả lời giúp xác định khi nào ontology cần thích ứng, trước khi các câu trả lời lỗi thời hoặc không chính xác làm xói mòn niềm tin của người dùng.

Có bốn lĩnh vực chính cần xem xét:

Đánh giá không phải là một rào cản một lần trước khi ra mắt; đó là một thói quen liên tục trên mọi tài sản cung cấp câu trả lời. Databricks cung cấp cho bạn các tài sản ngữ nghĩa được quản trị, khả năng truy xuất và trích dẫn của ontology, đánh giá và giám sát ở cấp độ Agent, cùng với dữ liệu đo lường từ bảng hệ thống. Bạn mang đến sự thật cơ sở (ground truth), quyền sở hữu, quy trình đánh giá và bảo trì định kỳ giúp Genie luôn đáng tin cậy.

Bắt đầu với một miền, sau đó mở rộng

Một bài học quan trọng là bạn không cần phải xây dựng tất cả sáu lớp cùng một lúc. Bạn không nên cố gắng bao phủ toàn bộ doanh nghiệp trước khi triển khai thực tế. Con đường thiết thực là chỉ cần bắt đầu sử dụng Genie, sau đó chọn một miền có giá trị cao và củng cố một cách có chủ đích các định nghĩa, nguồn dữ liệu, quản trị và đánh giá quan trọng nhất. Đây là phương pháp "mở rộng khi bạn học hỏi" thay vì cố gắng làm những việc quá sức.

Hãy chọn miền đầu tiên đó một cách có chủ đích. Bắt đầu với một quy trình làm việc lặp đi lặp lại, có nhiều ma sát, nơi các nhóm đã phải dành thời gian để đối chiếu các con số bằng tay, chẳng hạn như cuộc gọi dự báo hoặc chu kỳ lập kế hoạch. Đây là những nơi mà một câu trả lời đáng tin cậy có giá trị nhất và là nơi bạn đã biết thế nào là "đúng". Trên thực tế, hãy bắt đầu ở phạm vi hẹp: chọn một miền như Sales và một chỉ số như ARR, sau đó củng cố phần "đầu". Chứng thực chỉ số quan trọng, xác định các thuật ngữ quan trọng, xác định các tài sản có thẩm quyền, quản trị quyền truy cập và đánh giá các câu hỏi quan trọng. Sử dụng kết quả đó để hướng dẫn cho miền tiếp theo.

Điểm cuối cùng đó quan trọng hơn vẻ ngoài của nó. Mục tiêu của các thực tiễn này không phải là sự hoàn thiện về kỹ thuật vì mục đích riêng của nó; mà là niềm tin: liệu một người dùng doanh nghiệp có tin tưởng câu trả lời đủ để hành động dựa trên đó hay không. Mỗi lớp đều tạo dựng một chút niềm tin đó, và vòng lặp đánh giá làm cho niềm tin đó trở nên hữu hình và có thể bảo vệ được thay vì chỉ là vấn đề quan điểm.

Hai điều sẽ tích lũy khi bạn thực hiện. Mỗi thực thể được giải quyết, tài sản được ghi lại, chỉ số được chứng thực, định nghĩa trong bảng thuật ngữ và tập dữ liệu được quản trị đều củng cố cốt lõi có thẩm quyền. Và mỗi tương tác có thể tiết lộ phản hồi mà các nhóm sử dụng để cải thiện nó. Kết quả là một sự hiểu biết kinh doanh chung ngày càng tốt hơn theo thời gian sử dụng thay vì bị suy giảm.