Mô hình mới, lợi thế cũ: Đánh giá hiệu năng thực tế

Quay lại các bài viết

Bất chấp sự xuất hiện của các kiến trúc mới hơn, DharmaOCR vẫn vượt trội hơn Mistral OCR4 và Unlimited-OCR trong tiếng Bồ Đào Nha (Brazil) nhờ vào việc chuyên môn hóa lĩnh vực và đào tạo có mục tiêu. Bài viết này trình bày bằng chứng và cơ chế đằng sau lợi thế đó. Nguồn Đọc thêm Bất chấp sự xuất hiện của các kiến trúc mới hơn, DharmaOCR

Ba tháng trước, chúng tôi đã xuất bản một bài báo về DharmaOCR và mở mã nguồn một trong các mô hình này. Mục tiêu rất cụ thể: nhận dạng ký tự quang học (OCR) được thiết kế riêng cho tiếng Bồ Đào Nha (Brazil).

Quy trình đào tạo được xây dựng theo hai giai đoạn. Giai đoạn đầu là bước tinh chỉnh có giám sát (supervised fine-tuning), dựa trên một bộ sưu tập lớn các tệp tiếng Bồ Đào Nha từ nhiều nguồn, định dạng và mức độ phức tạp khác nhau. Giai đoạn này căn chỉnh trọng số của mô hình với từ vựng, cú pháp và cấu trúc tài liệu đặc thù của tiếng Bồ Đào Nha (Brazil) — tập trung khả năng biểu diễn vào ngôn ngữ mục tiêu thay vì phân tán nó trên một không gian đa ngôn ngữ rộng hơn. Giai đoạn thứ hai áp dụng Direct Preference Optimization (DPO): thay vì chỉ đào tạo trên các bản phiên mã đúng, mô hình học từ dữ liệu ưu tiên so sánh giữa các kết quả đầu ra cạnh tranh, dạy cho nó cách nhất quán trong việc chọn ra bản trích xuất tốt hơn tại thời điểm suy luận (inference). Giai đoạn này giải quyết một vấn đề khác: không phải độ chính xác, mà là tính ổn định. Bằng cách ngăn chặn các chế độ lỗi khiến các mô hình tạo sinh tạo ra kết quả lặp đi lặp lại hoặc thiếu mạch lạc, DPO đã giảm thời gian và chi phí suy luận, đồng thời cải thiện đáng kể độ tin cậy của những gì mô hình cung cấp trong môi trường thực tế.

Kết quả tổng hợp là một mô hình đạt được điểm chất lượng trích xuất cao nhất với tỷ lệ suy giảm thấp nhất trên một bộ tiêu chuẩn đánh giá tập trung vào tiếng Bồ Đào Nha. Cả hai giai đoạn đều cần thiết. Giai đoạn tinh chỉnh xây dựng năng lực chuyên môn; giai đoạn DPO đảm bảo năng lực đó được duy trì trong các điều kiện mà các mô hình thường thất bại.

---

Các mô hình OCR đã và đang tiến triển nhanh chóng. Tuy nhiên, những khoảng trống vốn là động lực cho thiết kế của DharmaOCR (về chất lượng trích xuất trên các tài liệu phức tạp và tính ổn định của mô hình trong điều kiện thực tế) vẫn chưa được khỏa lấp. Thậm chí, chúng còn trở nên mang tính hướng dẫn hơn khi lĩnh vực này thay đổi.

Sự bùng nổ của các mô hình tạo sinh đa phương thức (multimodal generative models) đã giúp OCR dựa trên mô hình ngôn ngữ trở nên phổ biến rộng rãi, và làn sóng các biến thể OCR được tinh chỉnh theo sau đó phản ánh tốc độ áp dụng nhanh chóng này. Tuy nhiên, sự bùng nổ đó không làm thay đổi bản chất cơ bản của công nghệ. Mọi hệ thống OCR xây dựng trên mô hình tạo sinh đều mang tính xác suất. Lỗi phiên mã là một biến số vốn có của công nghệ xác suất này. Điều khác biệt giữa các mô hình là số lượng lỗi chúng mắc phải và loại lỗi đó. Điều này được quyết định bởi hai yếu tố: cấu trúc của mô hình (kiến trúc và số lượng tham số) và cách các tham số đó được đào tạo cho tác vụ.

Kiến trúc và số lượng tham số thiết lập giới hạn cho những gì một mô hình có thể học. Việc đào tạo quyết định cách phân bổ năng lực đó.

Sự khác biệt này là nơi chuyên môn hóa trở thành một vấn đề cấu trúc thay vì chỉ là ưu tiên thiết kế. Khi một mô hình được đào tạo trên một lĩnh vực hạn chế — một ngôn ngữ duy nhất, một loại tài liệu giới hạn, một tác vụ cụ thể — tất cả các tham số của nó đều được dành riêng cho tác vụ đó. Khi một mô hình được đào tạo để bao phủ phạm vi lĩnh vực rộng hơn — ví dụ như một mô hình đa ngôn ngữ xử lý N ngôn ngữ — thì chính các tham số đó phải được phân bổ cho tất cả các ngôn ngữ đó. Sự phân bổ không mang tính tuyến tính: nguyên lý chồng chập neuron (neuron superposition principle) có nghĩa là các tham số riêng lẻ có thể mã hóa nhiều đặc trưng cùng lúc. Nhưng sự phân chia là có thật, và hệ quả của nó cũng là có thật. Một mô hình bao phủ phạm vi càng rộng thì càng ít cam kết cho bất kỳ phần cụ thể nào trong đó.

DharmaOCR được đào tạo để chấp nhận ràng buộc đó theo hướng ngược lại. Mô hình này không được thiết kế để trở thành lựa chọn tốt nhất cho các ngôn ngữ khác và chưa bao giờ có ý định như vậy. Đổi lại, mọi tham số khả dụng cho mạng lưới đều có thể được định hướng vào từ vựng, hình thái học và các quy tắc chính tả cụ thể của tiếng Bồ Đào Nha (Brazil) — cách sử dụng tài nguyên của mô hình có định hướng nhất có thể cho lĩnh vực đó.

Sự tập trung đó là cơ sở cấu trúc cho một lợi thế vốn có so với các mô hình đa ngôn ngữ và các mô hình có phạm vi rộng hơn. Lợi thế này không phụ thuộc vào việc sở hữu kiến trúc lớn hơn hay quy trình đào tạo tinh vi hơn so với các đối thủ — các kiến trúc mới và kỹ thuật đào tạo mới cải thiện những gì bất kỳ mô hình nào có thể làm. Nó phụ thuộc vào việc các tài nguyên đó được hướng vào đâu: vào một lĩnh vực duy nhất thay vì dàn trải trên nhiều lĩnh vực.

Ba tháng sau, các mô hình mới hơn đã xuất hiện. Liệu lập luận về chuyên môn hóa có còn đúng khi các mô hình đó mới hơn và có năng lực hơn hay không lại là một câu hỏi khác.

Ba tháng sau khi bài báo về DharmaOCR xuất hiện, hai mô hình OCR mới đã thu hút sự chú ý đáng kể từ cộng đồng nghiên cứu: Mistral OCR4 và Unlimited-OCR. Cả hai đều đại diện cho những tiến bộ kỹ thuật thực sự — các kỹ thuật đào tạo mới, tập dữ liệu mới và kết quả mạnh mẽ trên nhiều ngôn ngữ trong một loạt các đánh giá chuẩn. Chúng là những loại mô hình nâng cao tiêu chuẩn cạnh tranh cho những gì các hệ thống OCR được kỳ vọng sẽ mang lại.

Khi chúng tôi chạy cả hai mô hình này so với tiêu chuẩn đánh giá của DharmaOCR — một đánh giá được thiết kế dành riêng cho tiếng Bồ Đào Nha — kết quả rất thuyết phục.

DharmaOCR đạt 0,925 điểm. Mistral OCR4 đạt 0,798 điểm. Unlimited-OCR đạt 0,7587 điểm.

Sự khác biệt là rất đáng kể. Mistral OCR4 thấp hơn DharmaOCR khoảng 13 điểm; Unlimited-OCR thấp hơn hơn 16 điểm. Cả hai đều được phát hành sau mô hình của chúng tôi và đều được hỗ trợ bởi các nguồn lực nghiên cứu đáng kể. Trong một tác vụ mà quyết định thiết kế cơ bản của DharmaOCR là tập trung hoàn toàn vào tiếng Bồ Đào Nha, lợi thế của việc chuyên môn hóa là có thể đo lường được và rất đáng kể.

Bộ tiêu chuẩn đánh giá là phát hiện trung tâm. Những phần tiếp theo minh họa lý do tại sao khoảng cách này lại có hình thái cụ thể như vậy.

---

Việc xử lý các tài liệu tiếng Bồ Đào Nha không đơn giản cho thấy chính xác nơi các mô hình đa ngôn ngữ thường bị lỗi. Các bài luận ENEM (kỳ thi trung học phổ thông quốc gia của Brazil) kết hợp văn bản viết tay với từ vựng, danh từ riêng và các tham chiếu văn hóa đặc thù của tiếng Bồ Đào Nha (Brazil). Đây chính xác là loại tài liệu mà việc đào tạo chuyên biệt theo ngôn ngữ mang lại hiệu quả.

Hình 1: Bản thảo bài luận ENEM được sử dụng trong đánh giá chuẩn cùng với kết quả đầu ra của mỗi mô hình. Các lỗi đọc được đánh dấu màu đỏ.

Mistral OCR4, khi đánh giá trên các tài liệu loại này, đã phiên mã tên Chico Buarque (một trong những nhạc sĩ và nhà thơ được công nhận rộng rãi nhất của Brazil) thành "Chico Barque." Unlimited-OCR hiển thị cùng cái tên đó là "chico bique." Khi đối mặt với cụm từ "O Brasil não exclui, assimila" ("Brazil không loại trừ, nó đồng hóa", một câu trích dẫn của Chico Buarque nằm trong cùng tài liệu), Unlimited-OCR đã trả về: "a dose de chico bique, 'o Brasil no exclu, eliminila.'"

Đây không phải là những lỗi ngẫu nhiên. Một mô hình không được tiếp xúc đầy đủ với tiếng Bồ Đào Nha (Brazil) không thất bại một cách tùy tiện — nó thất bại chính xác ở những từ vựng và danh từ riêng phân biệt tiếng Bồ Đào Nha (Brazil) với kho ngữ liệu đa ngôn ngữ rộng lớn hơn. Chico Buarque không phải là một tham chiếu mơ hồ; cái tên này được công nhận trên toàn quốc. Sự sai lệch có hệ thống của nó trong các kết quả đầu ra không phải là một trường hợp ngoại lệ. Đó là một chẩn đoán: bằng chứng cho thấy nơi mà quá trình đào tạo của mô hình chưa chạm tới.

DharmaOCR, khi được đánh giá trên cùng các tài liệu đó, xử lý các trường hợp này một cách chính xác. Lý do rất trực tiếp: quá trình đào tạo của mô hình được tập trung vào không gian ngôn ngữ này, định hướng tài nguyên của nó vào từ vựng và sự phân bổ danh từ riêng đặc trưng của tiếng Bồ Đào Nha (Brazil) thay vì dàn trải chúng trên nhiều ngôn ngữ cùng một lúc.

Các ví dụ minh họa cho bộ tiêu chuẩn đánh giá thay vì thay thế nó. Bộ tiêu chuẩn đánh giá thiết lập quy mô của khoảng cách; các ví dụ cho thấy lý do tại sao nó tập trung vào khả năng nhận dạng đặc thù ngôn ngữ thay vì khả năng tổng quát.

Tuy nhiên, độ chính xác khi trích xuất chỉ là một khía cạnh của hiệu suất thực tế. Tính ổn định khi gặp khó khăn về mặt hình ảnh là một khía cạnh khác — và về mặt vận hành, đây là khía cạnh quan trọng hơn nếu thất bại.

Khi một mô hình tạo sinh gặp phải một tài liệu mà nó không thể phân giải rõ ràng — phông chữ nhỏ, chất lượng quét kém, chữ viết tay dày đặc — nó phải đối mặt với sự không chắc chắn trong tín hiệu đầu vào. Các mô hình được đào tạo chủ yếu dựa trên mục tiêu dự đoán token tiếp theo phải đối mặt với một lỗ hổng cụ thể ở đây: khi tín hiệu hình ảnh trở nên mơ hồ, mô hình có thể tiếp tục tạo ra kết quả từ các mẫu đã học trước đó thay vì từ tài liệu nguồn. Kết quả là sự suy giảm văn bản — đầu ra lặp đi lặp lại, thiếu mạch lạc và ngắt kết nối về mặt ngữ nghĩa với trang tài liệu.

Khi được đưa cho một tài liệu có phông chữ nhỏ, Mistral OCR4 tạo ra kết quả đầu ra không có liên quan gì đến những gì được viết.

Hình 2: Tài liệu phông chữ nhỏ

Hình 3: Kết quả đầu ra của DharmaOCR và kết quả đầu ra bị suy giảm của Mistral OCR4

Đây không phải là một bản phiên mã chất lượng thấp của nguồn. Đây là một thất bại thuộc một phạm trù hoàn toàn khác.

Hệ quả vận hành khác biệt so với lỗi phiên mã. Một bản phiên mã không chính xác là sai theo cách có thể khôi phục — nó có mối quan hệ với tài liệu nguồn, và về nguyên tắc, lỗi đó có thể được xác định và sửa chữa. Kết quả đầu ra bị suy giảm không có mối quan hệ như vậy. Nó không thể được sửa chữa vì không có gì để sửa theo đó cả. Đối với các quy trình hạ nguồn phụ thuộc vào kết quả OCR có cấu trúc — phân loại tài liệu, trích xuất thông tin, quy trình tuân thủ — kết quả đầu ra bị suy giảm không phải là dữ liệu không chính xác. Đó là dữ liệu không thể sử dụng về mặt cấu trúc. Hiệu quả mà tự động hóa mang lại bị triệt tiêu chính xác tại thời điểm đầu ra không còn là thông tin nữa.

Mistral OCR4 và Unlimited-OCR là những mô hình tốt với những tiến bộ kỹ thuật đáng kể đằng sau chúng. Hành vi suy giảm được mô tả ở đây không định nghĩa chúng; nó xác định một điều kiện thất bại cụ thể mà quá trình đào tạo hiện tại của chúng chưa giải quyết được cho lĩnh vực này. Câu hỏi đặt ra là một quy trình đào tạo được thiết kế để giải quyết vấn đề đó sẽ trông như thế nào.

---

Trong DharmaOCR, câu trả lời chính là giai đoạn DPO.

Tinh chỉnh có giám sát (SFT) tập trung tài nguyên của mô hình vào lĩnh vực mục tiêu — giai đoạn xây dựng sự căn chỉnh ngôn ngữ được mô tả ở trên. Nhưng SFT đào tạo dựa trên các dự đoán token riêng lẻ: mô hình học cách tạo ra token tiếp theo chính xác dựa trên ngữ cảnh đứng trước nó. Trong điều kiện hình ảnh phức tạp, điều này tạo ra tình trạng dẫn đến sự suy giảm. Nếu một token sớm trong đầu ra khác biệt so với tài liệu nguồn, mỗi dự đoán tiếp theo sẽ bị điều kiện hóa bởi trạng thái khác biệt đó, và đầu ra tiếp tục bị trôi đi. Các vòng lặp lặp lại và các chuỗi thiếu mạch lạc là một đặc điểm vốn có trong bối cảnh này — chúng là kết quả có thể dự đoán được của một mục tiêu được tối ưu hóa từng bước mà không tính đến tính mạch lạc của toàn bộ bản trích xuất.