Hebbia ứng dụng Claude Fable 5: Độ chính xác trong phân tích tài chính tăng 20%

Hebbia là một nền tảng AI được xây dựng cho sự khắt khe của ngành tài chính tổ chức, phục vụ hơn một phần ba trong số 50 nhà quản lý tài sản hàng đầu cùng các ngân hàng đầu tư và công ty luật cấp cao. Divya Mehta, giám đốc sản phẩm sáng lập của công ty, dành khoảng một nửa thời gian làm việc với các khách hàng lớn nhất trong lĩnh vực ngân hàng đầu tư, vốn cổ phần tư nhân và tín dụng.

Những khách hàng đó đưa ra quyết định dựa trên các phân tích trải dài qua hàng ngàn tài liệu dày đặc, nơi mà một con số sai lệch có thể thay đổi kết quả của cả một thương vụ.

Cách Hebbia duy trì sự chính xác

Một nhân viên ngân hàng hoặc nhà đầu tư khi cân nhắc một cơ hội phải xử lý tất cả dữ liệu có thể ảnh hưởng đến quyết định, bao gồm các hồ sơ công khai của công ty, các thỏa thuận tín dụng, tài liệu nội bộ và dữ liệu có cấu trúc như thông tin từ CRM. Tính năng meta-prompting của Hebbia chuyển đổi các yêu cầu bằng ngôn ngữ tự nhiên thành các câu lệnh (prompt), sau đó Claude thực hiện từng bước phân tích trên hàng trăm tài liệu. Mỗi câu trả lời sẽ nằm trong một ô riêng trên lưới Matrix của Hebbia, cho phép đảm bảo tính minh bạch, khả năng truy xuất nguồn gốc và khả năng điều hướng toàn diện.

Việc duy trì độ chính xác cho các câu trả lời đó ở quy mô lớn là công việc của đội ngũ nghiên cứu AI ứng dụng tại Hebbia, do Adithya Ramanathan dẫn dắt. Đối với Ramanathan, mục tiêu của công việc này là tìm ra các tín hiệu: giúp mô hình khai thác đúng dữ liệu, trong đúng ngữ cảnh và làm nổi bật những gì khách hàng muốn biết.

"Khi bạn kết nối nó với đúng dữ liệu và đặt nó vào đúng hệ sinh thái," Ramanathan nói, "đó là lúc bạn có được giá trị alpha mà các chuyên gia tài chính thực sự theo đuổi."

Để đạt được điều đó, mỗi mô hình mới đều phải trải qua bộ tiêu chuẩn đánh giá (benchmark) chuyên biệt cho tài chính của Hebbia, đối đầu trực tiếp với mô hình mà nó sẽ thay thế, đồng thời mở rộng các tiêu chí đo lường của benchmark theo từng phiên bản để bắt kịp tốc độ cải tiến của các mô hình. Bộ benchmark này được thiết kế với mục đích rất khắt khe.

"Tiêu chuẩn đặt ra là cực kỳ cao, và khách hàng của chúng tôi yêu cầu chúng tôi phải đáp ứng tiêu chuẩn đó—và điều đó hoàn toàn hợp lý," Mehta nói. "Suy cho cùng, họ đang đưa ra các quyết định đầu tư ở quy mô rất lớn dựa trên các phân tích và sản phẩm công việc cuối cùng được tạo ra trong Hebbia."

Vượt qua các bài đánh giá của Hebbia với biên độ lớn nhất từ trước đến nay

Joe Renner, một nhà nghiên cứu trong nhóm AI ứng dụng, chạy từng mô hình Claude mới qua bộ benchmark đó, với hàng loạt bài kiểm tra mô phỏng các trường hợp sử dụng chính của nhân viên tri thức trong ngành tài chính. Một bài kiểm tra như vậy bao gồm việc trả lời câu hỏi và tìm kiếm trích dẫn trên các tài liệu tài chính. Một bài kiểm tra khác chạy qua hệ thống tác nhân (agent system) của Hebbia, sử dụng các công cụ mà sản phẩm chat của họ vận hành, trên kiểu phân tích mở, đa nguồn mà khách hàng thực sự thực hiện.

Claude Fable 5 đã vượt qua cả hai bài kiểm tra với biên độ lớn nhất mà Renner từng đo lường được. Trong bài kiểm tra trả lời câu hỏi và tìm kiếm trích dẫn, nó đạt mức tăng độ chính xác tương đối khoảng 20% trên các tài liệu tài chính, mức tốt nhất mà anh từng thấy từ bất kỳ mô hình mới nào. Khả năng khớp trích dẫn vẫn giữ ở mức ổn định—Renner tin rằng sự cải thiện đến từ việc mô hình hiểu rõ hơn về các bằng chứng mà nó tìm thấy.

"Tất cả quy về hai phẩm chất cơ bản: khả năng tìm đúng thông tin từ một tập dữ liệu dày đặc, và sau đó tổng hợp nó một cách chính xác," Divya nói. "Đây có vẻ là những năng lực cơ bản của mô hình, nhưng chúng có tác động to lớn khi chúng ta nghĩ về các quy trình làm việc trong tài chính và nghiên cứu." Trong quá trình chạy tác nhân, nó đã nắm bắt mọi phần của một yêu cầu phức tạp cùng một lúc, trả lời tất cả và trích dẫn nguồn cho từng câu trả lời.

Claude Fable 5 cũng cho thấy phạm vi tiếp cận rộng hơn. Trong phân tích mở, nó suy luận từ một lát cắt dữ liệu rộng hơn và đưa ra những kết luận mà nhóm nghiên cứu cho rằng đáng để xem xét kỹ hơn. Renner cho rằng điều này xuất phát từ cách mô hình duy trì một tác vụ dài: nó giữ mọi phần của yêu cầu trong tầm nhìn, tự kích hoạt các tác nhân phụ và công cụ của chính nó để thu thập dữ liệu chính xác, và dựa trên nguồn gốc thay vì suy diễn.

Thiết lập tiêu chuẩn mới cho thẩm định thương vụ với Claude Fable 5

Thông tin mang lại lợi thế cho khách hàng thường nằm trong các tài liệu phi cấu trúc, mang tính độc quyền.

Những tài liệu này khó phân tích ở quy mô lớn hơn so với dữ liệu định lượng, có cấu trúc mà ngành tài chính vốn đã mô hình hóa tốt. Hebbia đã xây dựng Matrix để biến công việc định tính đó trở nên có hệ thống, và mỗi thế hệ mô hình mới lại mở rộng khả năng xử lý của nó.

Đó có thể là một phòng dữ liệu (data room) với hàng ngàn tài liệu, nơi công việc là tìm ra tín hiệu liên quan, trích dẫn nó và soạn thảo từng phần của bản ghi nhớ đầu tư. Hoặc đó có thể là việc phân tích mọi tài liệu liên quan đến một thương vụ tín dụng (thỏa thuận tín dụng, các sửa đổi, thư phụ lục, mỗi loại dài hàng trăm trang kỹ thuật dày đặc) và trích xuất toàn bộ gói điều khoản, các điều kiện tài chính và hạn chế vận hành từ khối dữ liệu phi cấu trúc đó.

"Đây thực sự là những loại tài liệu mà các mô hình của Anthropic luôn xử lý rất tốt," Mehta nói.

Với các mô hình Sonnet và Opus trước đây, Matrix đã có thể trích xuất và tổng hợp các điều khoản của một thỏa thuận tín dụng—những quy định bảo vệ dày đặc mà bên cho vay tự đặt ra cho mình. Với Claude Fable 5, Hebbia đang hướng tới phần còn lại của công việc: phân tích đa bước dựa trên các điều khoản đó, so sánh chúng với dữ liệu giám sát trực tiếp, cảnh báo rủi ro, cho đến bản nháp đầu tiên của bài đánh giá điều khoản và bản ghi nhớ nội bộ. Bài đánh giá đó là thứ mà các công ty tín dụng từng phải trả rất nhiều tiền cho các đội ngũ bên ngoài để thực hiện thủ công.

Điều gì tiếp theo

Giờ đây, khi các mô hình như Claude Fable 5 có thể thực hiện công việc này từ đầu đến cuối, sự so sánh nằm ở số giờ làm việc của chuyên gia mà nó thay thế.

Trước khi có AI, khi một giám đốc điều hành cần một bộ slide để thuyết trình với CEO, một nhân viên ngân hàng cấp dưới sẽ mất 2-3 ngày để tìm hiểu công ty, lấy dữ liệu tài chính và xây dựng slide. Trong thời kỳ trước Opus, thời gian để tạo ra bản nháp đầu tiên đã rút ngắn được 12 đến 24 giờ, và với các mô hình Opus trước đó trên Hebbia, Mehta cho biết, thời gian này còn giảm sâu hơn nữa, chỉ mất khoảng một ngày để chạy từ đầu đến cuối. Kể từ đó, Hebbia đã hệ thống hóa toàn bộ công việc vào một Matrix giúp thu thập dữ liệu từ nhiều nguồn theo các bước tác nhân xác định, thực hiện phân tích và xây dựng bộ slide cuối cùng, mô hình tài chính và nghiên cứu nội bộ chỉ trong vài phút, để nhân viên ngân hàng có thể dành thời gian cho việc quyết định nên theo đuổi người mua nào và định vị họ ra sao. Claude Fable 5 còn thắt chặt quy trình đó hơn nữa, cô nói.

Việc phân tách công việc thành các bước vẫn rất quan trọng, "bất kể mô hình có thông minh đến đâu," vì các công ty muốn kiểm soát tài liệu nào được đưa vào phân tích và cách mỗi bước được xây dựng. Vì vậy, Hebbia đang áp dụng Claude Agent SDK để soạn thảo các công việc này thành các bước nhỏ hơn, có thể lặp lại và kiểm tra được thay vì chỉ là một lần chạy mô hình duy nhất.

"Việc rút ngắn vòng đời thương vụ có tác động to lớn đến khả năng cạnh tranh của một công ty đối với các khoản đầu tư đó," Mehta nói. Cô nghe thấy điều này trong các cuộc trò chuyện với khách hàng. Hai hoặc ba năm trước, các câu hỏi mang tính phòng thủ, về việc ảo giác (hallucinations) và liệu các phép tính có đúng không. "Ngày nay, những cuộc trò chuyện đó đã thay đổi hoàn toàn. Họ hỏi: làm thế nào tôi có thể tự động hóa nhiều hơn quy trình làm việc của mình? Làm thế nào để tôi kết nối nhiều bước hơn với nhau? Làm thế nào để tôi có thể tạo ra mười, mười lăm, hai mươi bộ slide chỉ bằng một cú nhấp chuột với độ chính xác và nhất quán cao?"

Bắt đầu với Claude Fable 5.