Xây dựng quy trình xử lý tài liệu thông minh toàn diện với docTR: Từ OCR đến xuất file PDF

Trong bài hướng dẫn này, chúng ta sẽ xây dựng một quy trình OCR toàn diện (end-to-end) với docTR và khám phá cách các pipeline hiểu tài liệu hiện đại kết hợp giữa phát hiện văn bản, nhận dạng, hình học, phân tích bố cục, trích xuất có cấu trúc và xuất dữ liệu. Chúng ta sẽ tạo các tài liệu hóa đơn tổng hợp chân thực, tải hình ảnh và PDF thông qua DocumentFile, xây dựng các bộ dự đoán OCR hỗ trợ GPU, đồng thời đánh giá các tổ hợp kiến trúc phát hiện–nhận dạng khác nhau về tốc độ và độ chính xác. Sau đó, chúng ta sẽ kiểm tra cấu trúc Document phân cấp, trực quan hóa các khung bao (bounding box) dựa trên độ tin cậy, sử dụng các mô hình phát hiện và nhận dạng độc lập, triển khai nhận dạng hai lượt cho các từ có độ tin cậy thấp, tinh chỉnh ngưỡng phát hiện và giới thiệu các hook tùy chỉnh cho pipeline để lọc và đệm khung bao. Chúng ta cũng sẽ xử lý các tài liệu bị xoay và nghiêng, thử nghiệm với việc phát hiện bố cục và KIE, tái tạo thứ tự đọc và thông tin bảng biểu, trích xuất các trường hóa đơn có cấu trúc, và xuất kết quả dưới dạng văn bản, JSON, hOCR, hình ảnh tài liệu tổng hợp và PDF có thể tìm kiếm. Cuối cùng, chúng ta sẽ xem xét hiệu suất thực tế, tinh chỉnh (fine-tuning), xử lý theo lô (batching) và các cân nhắc khi triển khai để hiểu cách chuyển từ một ví dụ OCR cơ bản sang một pipeline trí tuệ tài liệu hướng tới sản xuất.

Chúng ta thiết lập môi trường docTR, cài đặt các phụ thuộc cần thiết, phát hiện khả năng hỗ trợ GPU và cấu hình môi trường chạy cho bài hướng dẫn. Chúng ta tạo các trang hóa đơn tổng hợp, áp dụng các hiệu ứng suy giảm chất lượng quét chân thực, tải hình ảnh và PDF thông qua DocumentFile, đồng thời chuẩn bị văn bản gốc (ground-truth) để đánh giá. Sau đó, chúng ta xây dựng bộ dự đoán OCR cơ sở và đo lường hiệu suất suy luận toàn diện trên các trang tài liệu đã tạo.

Chúng ta đánh giá nhiều tổ hợp kiến trúc phát hiện và nhận dạng để so sánh tốc độ xử lý, số lượng từ được phát hiện và độ chính xác của nhận dạng. Chúng ta kiểm tra cấu trúc Document phân cấp của docTR và trực quan hóa các từ được phát hiện bằng cách sử dụng hình học và điểm số độ tin cậy nhận dạng của chúng. Chúng ta cũng tách biệt việc phát hiện văn bản khỏi nhận dạng, trích xuất các vùng cắt từ riêng lẻ và kiểm tra cách các mô hình nhận dạng độc lập xử lý các vùng đã phát hiện.

Chúng ta triển khai chiến lược nhận dạng hai lượt giúp xác định các từ có độ tin cậy thấp và chỉ xử lý lại các vùng cắt đó bằng bộ nhận dạng PARSeq mạnh mẽ hơn. Chúng ta tinh chỉnh các ngưỡng hậu xử lý phát hiện và giới thiệu các hook tùy chỉnh giúp lọc các kết quả phát hiện nhỏ và đệm các khung bao trước khi nhận dạng. Chúng ta cũng đánh giá các chiến lược khác nhau để xử lý tài liệu bị xoay và nghiêng, bao gồm phát hiện dựa trên đa giác, làm thẳng trang và phát hiện hướng.

Chúng ta mở rộng pipeline OCR với các khả năng phát hiện bố cục và KIE để xác định các vùng tài liệu và hỗ trợ trích xuất thông tin có cấu trúc. Chúng ta xuất kết quả OCR sang văn bản thuần, JSON, hOCR và các biểu diễn tài liệu tổng hợp trong khi vẫn bảo toàn thông tin văn bản và hình học. Sau đó, chúng ta tái tạo thứ tự đọc, trích xuất các trường hóa đơn bằng biểu thức chính quy (regular expressions) và tổ chức các từ được phát hiện thành các cấu trúc dạng bảng bằng cách sử dụng tọa độ không gian của chúng.

Chúng ta tạo một tệp PDF có thể tìm kiếm bằng cách phủ một lớp văn bản OCR ẩn lên trên tài liệu quét gốc trong khi vẫn giữ nguyên hình thức trực quan của nó. Chúng ta xem xét các cải tiến hiệu suất thực tế như xử lý theo lô, các mô hình phát hiện và nhận dạng gọn nhẹ, kiểm soát hướng và thay đổi tỷ lệ PDF. Chúng ta cũng xem xét các phương pháp tinh chỉnh và triển khai để có thể điều chỉnh các mô hình docTR cho các tập dữ liệu chuyên biệt và tích hợp pipeline OCR thu được vào các ứng dụng sản xuất.

Tóm lại, chúng ta đã có cái nhìn toàn diện về cách docTR có thể hỗ trợ nhiều hơn là chỉ nhận dạng văn bản đơn thuần bằng cách kết hợp OCR, hình học tài liệu, nhận thức bố cục, hậu xử lý có cấu trúc và tối ưu hóa hướng tới sản xuất trong một quy trình duy nhất. Chúng ta đã so sánh các kiến trúc mô hình, kiểm tra độ tin cậy của việc phát hiện và nhận dạng, cải thiện các dự đoán khó thông qua nhận dạng lượt hai có chọn lọc, tinh chỉnh ngưỡng hậu xử lý và sửa đổi các kết quả phát hiện trung gian bằng các hook tùy chỉnh. Chúng ta cũng đã xử lý các tài liệu bị xoay, khám phá các khả năng bố cục và KIE, chuyển đổi đầu ra OCR thô thành văn bản có thứ tự, trích xuất các trường và tái tạo bảng biểu, đồng thời tạo ra nhiều định dạng đầu ra có thể tái sử dụng, bao gồm các tệp PDF có thể tìm kiếm với các lớp văn bản ẩn.

Xem TOÀN BỘ MÃ NGUỒN tại đây. Ngoài ra, hãy thoải mái theo dõi chúng tôi trên Twitter và đừng quên tham gia cộng đồng 150k+ ML SubReddit của chúng tôi và Đăng ký nhận Bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, Trang Hugging Face, Phát hành sản phẩm hoặc Hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Sana Hassan, thực tập sinh tư vấn tại Marktechpost và là sinh viên bằng kép tại IIT Madras, rất đam mê việc ứng dụng công nghệ và AI để giải quyết các thách thức trong thế giới thực. Với sự quan tâm sâu sắc đến việc giải quyết các vấn đề thực tiễn, anh mang đến một góc nhìn mới mẻ cho sự giao thoa giữa AI và các giải pháp đời sống.