Databricks: Quản trị dữ liệu không chỉ là bảo mật, mà còn là tri thức và ngữ cảnh trên Lakehouse

Nếu hỏi hầu hết các tổ chức về ý nghĩa của quản trị dữ liệu (data governance) cho AI, bạn sẽ nhận được câu trả lời liên quan đến bảo mật: khóa dữ liệu, hạn chế quyền truy cập, vượt qua kiểm toán. Trong lĩnh vực chăm sóc sức khỏe, bảo mật là yếu tố không thể thương lượng — nhưng vẫn chưa đủ. Bảo mật chỉ cho bạn biết ai có thể chạm vào dữ liệu, chứ không nói gì về ý nghĩa của dữ liệu đó, liệu nó có đáng tin cậy hay liệu một mô hình AI có nên học từ nó hay không.

Chương trình Trao quyền Dữ liệu (Data Empowerment Program - DEP) của chúng tôi bắt đầu từ một tiền đề khác: quản trị là kiến thức, ngữ cảnh và bản thể luận (ontology), chứ không chỉ là các biện pháp kiểm soát. Những thành phần mà hầu hết các nhóm coi là gánh nặng tuân thủ, như thẻ phân loại (classification tags), chính sách ẩn danh hóa (de-identification policies), thẻ mô hình (model cards) và hợp đồng dữ liệu (data contracts), chính là nguyên liệu thô cho ngữ nghĩa dữ liệu doanh nghiệp.

Khi nhìn nhận theo cách này, bạn không phải chọn giữa quản trị và AI, mà thay vào đó, quản trị giúp xây dựng AI. Các phương pháp quản trị mới cần được triển khai trong kỷ nguyên AI. Câu hỏi duy nhất là liệu bạn sẽ thực hiện công việc đó sau này chỉ để vượt qua kiểm toán, hay thực hiện ngay bây giờ để đặt nền móng cho AI của bạn vận hành.

Mục tiêu của chúng tôi là chứng minh rằng công việc bảo mật và quản trị mà bạn đang làm chính là nền tảng để AI vận hành. Quản trị dữ liệu đủ tốt, AI có thể chạy trên các mô hình rẻ hơn với độ tin cậy cao hơn.

Quản trị phải tư duy rộng hơn trên năm trụ cột thông qua một lăng kính duy nhất.

Hãy bắt đầu với lăng kính rằng mọi thành phần quản trị đều đóng góp vào ngữ nghĩa. Mỗi thẻ phân loại là một khái niệm. Mỗi thẻ mô hình là một ngữ cảnh. Mỗi hợp đồng dữ liệu là một định nghĩa chung. Mỗi liên kết dòng dõi (lineage link) là một mối quan hệ. Đọc theo cách đó, hệ thống bảo mật (security stack) mà bạn đang vận hành chính là bản thảo đầu tiên cho bản thể luận của bạn, và danh mục (catalog) chính là nơi nó tồn tại.

Khi đó, quản trị không còn là một thứ đơn lẻ mà trở thành năm khía cạnh của một bộ môn duy nhất: bản thân dữ liệu và cách nó được kiểm soát, AI được xây dựng trên đó, những người cần hiểu về nó, các sản phẩm đưa nó vào doanh nghiệp và ngữ cảnh chung gắn kết cả bốn yếu tố trên lại với nhau. Đó vẫn là một lăng kính đó, nhưng nhìn từ năm phía.

Với DEP, chúng tôi hình dung ngữ nghĩa thông qua năm trụ cột:

Hiện thực hóa tầm nhìn thông qua các tác nhân (agents)

Tầm nhìn năm trụ cột của chúng tôi sẽ chỉ là những slide trình bày nếu nền tảng không thể biến nó thành thứ gì đó có tính vận hành. Một khi các thành phần quản trị của bạn tồn tại dưới dạng siêu dữ liệu (metadata) có cấu trúc, máy tính có thể đọc được, chúng không còn chỉ là tài liệu mà trở thành các tập lệnh cho các tác nhân.

Khi nhắc đến "tác nhân" (agent), chúng tôi nghĩ về nó theo hai cách: "tác nhân xây dựng" (build agents) giúp lắp ráp và cung cấp các sản phẩm dữ liệu, và "tác nhân phân tích" (analytic agents) giúp trả lời các câu hỏi kinh doanh dựa trên các sản phẩm đó; mỗi tác nhân gắn liền với một sản phẩm dữ liệu duy nhất.

Hãy bắt đầu với các tác nhân xây dựng. Chúng tự động hóa vòng đời cung cấp sản phẩm dữ liệu từ ánh xạ nguồn (source mapping) qua ETL, kiểm thử và ẩn danh hóa cho đến khi phát hành ra môi trường sản xuất. Mọi thứ chúng cần đều nằm trong Unity Catalog dưới dạng siêu dữ liệu được quản trị: ánh xạ nguồn-đích, định nghĩa kinh doanh, cấp độ phân loại, chính sách ẩn danh hóa, hợp đồng dữ liệu và thẻ mô hình. Nền tảng này được dẫn xuất từ các thẻ, bình luận, cờ xác nhận (certified flags), dòng dõi và các thuật ngữ liên kết với bảng thuật ngữ. Danh mục không chỉ là nơi bạn ghi chép quản trị; đó là môi trường thực thi mà các tác nhân dựa vào đó để vận hành.

Mỗi tác nhân hoạt động theo một vòng lặp. Nó đọc các hướng dẫn từ danh mục; thực hiện một nhiệm vụ cụ thể như tạo mã pipeline, chạy bộ kiểm thử, tạo dữ liệu đã ẩn danh hoặc triển khai tập dữ liệu đã được chứng nhận; sau đó ghi lại bằng chứng dưới dạng kết quả kiểm thử, điểm chất lượng, dòng dõi hoặc dữ liệu thay đổi. Quá trình này lặp lại.

Trong thực tế, chúng tôi ưu tiên chạy các tác nhân Ẩn danh hóa (De-ID) và Kiểm thử trước. Chúng loại bỏ các rủi ro cao nhất và công việc thủ công nặng nề nhất ngay từ đầu. Bắt đầu từ nơi mang lại hiệu quả nhanh nhất giúp tạo đà sớm. Khi tiếp tục vòng lặp, không tác nhân nào được phép hành động trên dữ liệu mà danh mục chưa mô tả.

Các danh mục hiện đại giúp phương pháp này có khả năng mở rộng vì nó có thể tự động tạo mô tả cột và bảng để người quản lý phê duyệt, tự động phân loại các trường nhạy cảm và nắm bắt dòng dõi cấp cột mà không cần ai phải duy trì thủ công. Vai trò của con người chuyển từ soạn thảo siêu dữ liệu sang phê duyệt nó, đây chính xác là loại công việc đòi hỏi sự phán đoán mà con người nên làm.

Vòng đời xây dựng dữ liệu & AI: bằng chứng & ngữ cảnh liên tục

Các tác nhân xây dựng vận hành trong một vòng đời toàn diện được thiết kế để phát hành đồng thời hai tài sản: sản phẩm dữ liệu được quản trị (ánh xạ, quản lý, pipeline) và tác nhân phân tích chạy trên đó (lớp ngữ nghĩa, cấu hình prompt, bộ đánh giá).

Cách tiếp cận này đánh dấu một sự chuyển dịch cơ bản từ kỹ thuật lấy pipeline làm trung tâm (di chuyển dữ liệu từ điểm A đến B) sang kỹ thuật lấy ngữ cảnh làm trung tâm (làm cho dữ liệu trở nên dễ hiểu và có thể hành động đối với các LLM). Thay vì chỉ chứng nhận chất lượng mã, các cổng (gates) trong vòng đời này xác thực ngữ nghĩa, ngữ cảnh và quyền sở hữu.

Hai đặc tính cốt lõi phân biệt khung này với SDLC truyền thống:

Những người quản lý (stewards) đóng vai trò là lớp chịu trách nhiệm cho cả hai đặc tính: tác nhân đề xuất, con người phê duyệt. Mặc dù việc quản lý năm cổng trên hai luồng có vẻ như tạo ra các nút thắt cổ chai, nhưng hầu hết các cổng có thể được thông qua chỉ trong vài giờ. Việc phê duyệt diễn ra trực tiếp bên trong công cụ của nhà phát triển. Các bộ kiểm thử tự động đính kèm kết quả chất lượng dữ liệu, điểm đánh giá và dòng dõi trước khi một ticket được mở. Một cuộc họp phê duyệt chính thức chỉ là ngoại lệ để điều tra, không phải là quy trình vận hành tiêu chuẩn.

Chứng nhận AI (AI Certification) là động cơ đằng sau các cổng

Cơ chế làm cho các cổng này trở nên khách quan thay vì tùy tiện chính là Chứng nhận AI. Được ghi lại trực tiếp trong Unity Catalog, chứng nhận này đóng vai trò như một bảng điểm tự động, có thể truy vấn thay vì là một bản xác nhận pháp lý thủ công. Nó quản trị khả năng phát hành trên bốn khía cạnh cốt lõi:

Khi tác nhân sai, ai là người sửa?

Chứng nhận và các cổng chứng minh rằng một tác nhân là đáng tin cậy tại thời điểm phát hành. Nhưng câu hỏi mà các nhà lãnh đạo quản trị đặt ra không phải là "nó hoạt động như thế nào"—mà là "ai chịu trách nhiệm khi nó đưa ra câu trả lời sai?". Câu trả lời phải là một cái tên cụ thể, không phải một ủy ban chỉ đạo.

Để giải quyết vấn đề này, mỗi tác nhân phân tích (ví dụ: Databricks Genie Agent) được gắn với một sản phẩm dữ liệu được quản trị duy nhất với một chủ sở hữu được chỉ định. Khi một tác nhân trả về kết quả không chính xác do một chỉ số cơ bản bị định nghĩa sai, vấn đề không thuộc về nhóm kỹ thuật AI. Thay vào đó, nó đi thẳng đến Chủ sở hữu Sản phẩm Dữ liệu (Data Product Owner), người sẽ sửa định nghĩa trong danh mục. Việc gắn một tác nhân với một sản phẩm dữ liệu được chứng nhận theo phạm vi miền cũng là đòn bẩy độ chính xác lớn nhất hiện có: một tác nhân tập trung truy vấn siêu dữ liệu đã được chứng nhận luôn vượt trội hơn một mô hình toàn cầu đang đoán mò trên toàn bộ tài sản doanh nghiệp.

Quan trọng hơn, định nghĩa chỉ số chung này được thực thi thay vì chỉ được ghi chép lại. Một khi chỉ số đã được chứng nhận được định nghĩa trong danh mục, tác nhân trả lời bắt buộc phải tính toán trực tiếp từ đó. Điều này biến tài liệu tĩnh thành logic thực thi chủ động.

Trách nhiệm được duy trì nhờ giới hạn nghiêm ngặt về những gì AI được phép làm mà không cần giám sát: không tác nhân nào được tự ý đưa mã lên môi trường sản xuất, sửa đổi chính sách hoặc vận hành trên dữ liệu chưa được phân loại mà không có sự can thiệp của con người. Trong khi điểm chứng nhận được tính toán tự động, cổng phát hành cuối cùng luôn yêu cầu chữ ký của con người. Nếu danh mục không mô tả rõ ràng một tài sản dữ liệu, hệ thống sẽ mặc định chặn thay vì đoán. Tại thời điểm thực thi, chính sách "đóng khi thất bại" (fail-closed) này thực thi các ranh giới rõ ràng:

Việc xác định các rào cản này trên giấy tờ thì dễ, nhưng để chúng hoạt động trong thực tế đòi hỏi phải thay thế các ủy ban quản trị mơ hồ bằng bốn vai trò riêng biệt, có trách nhiệm:

Kiểm thử nghiêm ngặt mà không ảnh hưởng đến bảo mật

Vòng đời mà chúng tôi mô tả có một điều kiện tiên quyết cứng nhắc ẩn bên trong: mọi giai đoạn kiểm thử và đánh giá đều cần dữ liệu thực tế để chạy – và trong chăm sóc sức khỏe, bạn không thể kiểm thử bằng PHI (thông tin sức khỏe cá nhân) thật. Vì vậy, thách thức trở thành nhu cầu về dữ liệu kiểm thử thực tế ở mọi nơi mà không làm ảnh hưởng đến bảo mật.

Ẩn danh hóa là cách chúng ta giữ cho dữ liệu hữu ích về mặt phân tích và an toàn. Tác nhân ẩn danh hóa lấy kiến thức từ đâu? Không phải từ một bảng tính được duy trì thủ công. Nó hoạt động dựa trên các chính sách bảo mật mà các công cụ doanh nghiệp đã tạo ra. Quy trình gồm ba bước:

Đối với nhóm bảo mật & IAM, đây là con đường hai chiều. Các chính sách InfoSec không còn là tệp PDF mà trở thành các chính sách có thể thực thi: các cấp độ phân loại và quy tắc lưu giữ tự động thúc đẩy quá trình ẩn danh hóa. Đổi lại, bảo mật có được cái nhìn liên tục cập nhật về dữ liệu nhạy cảm, sự bảo vệ "đóng khi thất bại" cho bất kỳ thứ gì mới được phát hiện và các bản quét dư thừa tạo ra bằng chứng kiểm toán trong mỗi lần chạy. Mô hình truy cập vẫn giữ nguyên từ đầu đến cuối. Vì bất kỳ tác nhân truy xuất dữ liệu nào cũng kế thừa các quyền truy cập danh mục của người dùng, các phương pháp RAG không thể hiển thị các embedding của một hàng mà người dùng không có quyền xem. Các quy tắc ABAC tương tự áp dụng cho cả SQL và tìm kiếm vector, và các tác nhân hành động với quyền của người dùng truy vấn, không phải tài khoản dịch vụ đặc quyền. Mỗi prompt của tác nhân đều được ghi lại cùng với dòng dõi được sử dụng để trả lời, dưới cùng sự quản trị như chính dữ liệu đó.

Đó mới là chìa khóa thực sự: một mô hình quyền hạn duy nhất trên dữ liệu, các mô hình, các embedding và dấu vết kiểm toán — chứ không phải một danh mục dữ liệu được chắp vá với một kho đăng ký mô hình riêng, chắp vá với một kho vector riêng. Công việc quản trị trở thành nền tảng AI thay vì là một dự án song song.

Nắm bắt chỉ số, chứng minh kết quả, giành lấy niềm tin

Hãy chú ý đến những gì vòng đời này đã thực hiện trong suốt thời gian qua: mọi giai đoạn, mọi cổng, mọi chứng nhận đều tạo ra các chỉ số. Hãy gộp bốn khía cạnh chứng nhận thành một điểm số sẵn sàng cho AI (AI-readiness score) cho mỗi tập dữ liệu và làm cho nó có tính vận hành, không phải là kỳ vọng. Ngữ nghĩa chỉ đạt 100% khi mọi cột đều có định nghĩa liên kết với bảng thuật ngữ và bảng đó có hợp đồng dữ liệu đã ký; Quyền sở hữu chỉ đạt 100% khi một chủ sở hữu có tên tuổi đang phản hồi các vấn đề.

Kết quả sau khi chấm điểm chính là trường hợp kinh doanh cho toàn bộ chương trình DEP: các chỉ số chứng minh kết quả của AI, bằng chứng tạo ra niềm tin, và niềm tin là thứ chuyển đổi một dự án thí điểm thành việc sử dụng hàng ngày. Không người dùng doanh nghiệp nào chấp nhận một tác nhân chỉ vì sơ đồ kiến trúc của nó đẹp mắt. Họ chấp nhận nó vì các con số đã đúng vào tuần trước và có người chịu trách nhiệm sửa chúng khi chúng không đúng. Điểm số giải thích tại sao các con số lại đúng ngay từ đầu: điểm càng cao, mô hình càng ít phải đoán. Nó không phải suy luận ý nghĩa của một cột, bù đắp cho các bản sao hay tạo ra các phép nối (joins) ảo tưởng - vì danh mục đã cho nó biết rồi.