Pulpie: Mô hình tối ưu Pareto giúp làm sạch dữ liệu web hiệu quả

Chúng tôi xin giới thiệu Pulpie, một dòng mô hình tối ưu Pareto dùng để trích xuất nội dung chính từ các trang HTML. Pulpie đạt chất lượng trích xuất tiệm cận SOTA (trạng thái tốt nhất hiện nay) với chi phí chỉ bằng một phần hai mươi.

Mô hình nhỏ nhất của chúng tôi, pulpie-orange-small, đạt 0.862 điểm ROUGE-5 F1 trên WebMainBench. Kết quả này ngang bằng với Dripper, công cụ trích xuất hàng đầu hiện nay với 0.864 điểm. Hiệu suất của Pulpie đạt được dù kích thước chỉ bằng một phần ba: 210 triệu tham số so với 600 triệu của Dripper.

Những cải tiến này đến từ kiến trúc. Pulpie là một bộ mã hóa (encoder) gắn nhãn mọi khối HTML là nội dung chính hoặc nội dung phụ (boilerplate) chỉ trong một lần truyền xuôi (forward pass). Điều này cũng giúp nó đạt tốc độ xử lý nhanh chóng.

Trên GPU NVIDIA L4, pulpie-orange-small xử lý 13,7 trang/giây so với 0,68 trang/giây của Dripper. Với chi phí 0,39 USD/giờ cho một instance L4, việc làm sạch 1 tỷ trang tốn 7.900 USD với Pulpie và 159.000 USD với Dripper.

Pulpie mở ra khả năng trích xuất web chất lượng cao ở quy mô chưa từng có trước đây. Chúng tôi kỳ vọng điều này sẽ mang lại lợi ích cho quá trình tiền huấn luyện (pre-training) và quản lý ngữ cảnh.

Các mô hình của chúng tôi là mã nguồn mở và có sẵn trên Hugging Face. Xem phần Get started để biết hướng dẫn chi tiết.

Các mô hình ngôn ngữ tiêu thụ dữ liệu web hai lần. Lần đầu là trong quá trình tiền huấn luyện, nơi chúng học về thế giới. Lần thứ hai là tại thời điểm suy luận (inference), khi chúng thu thập ngữ cảnh liên quan. Cả hai lần, dữ liệu đầu vào chủ yếu là nhiễu. Trong quá trình khám phá, chúng tôi nhận thấy 70% các khối trên một trang HTML thông thường chứa nội dung phụ như điều hướng, quảng cáo, thanh bên và chân trang. Nội dung chính chỉ chiếm một phần nhỏ của trang.

Tuy nhiên, phần nhỏ đó lại quyết định chất lượng mô hình ở cả hai giai đoạn.

AICC (Ma và cộng sự, 2025) đã đo lường tác động của việc trích xuất sạch hơn đối với quá trình tiền huấn luyện. Nhóm nghiên cứu đã xây dựng hai tập dữ liệu từ cùng một bản chụp Common Crawl. Một tập được trích xuất nội dung bằng các phương pháp heuristic (phỏng đoán). Tập còn lại được trích xuất bằng bộ phân tích dựa trên mô hình (model-based parser). Mọi yếu tố khác trong quy trình dữ liệu đều được giữ nguyên. Sau đó, họ huấn luyện một mô hình giống hệt nhau trên mỗi tập dữ liệu.

Mô hình được huấn luyện trên tập dữ liệu trích xuất bằng mô hình đạt điểm số cao hơn 1,08 điểm phần trăm về độ chính xác trung bình trên 13 tiêu chuẩn đánh giá. Vì chỉ có logic trích xuất thay đổi, chúng ta có thể khẳng định mức tăng này hoàn toàn nhờ vào việc có dữ liệu sạch hơn.

Đáng chú ý, mô hình này cũng vượt qua các mô hình được huấn luyện trên FineWeb và RefinedWeb, hai trong số các tập dữ liệu tiền huấn luyện được lọc kỹ lưỡng nhất. Các tập dữ liệu này đã tạo dựng được danh tiếng nhờ quá trình lọc và khử trùng lặp công phu. Việc vượt qua chúng bằng cách cải thiện bộ trích xuất cho thấy giá trị to lớn của dữ liệu sạch.

Ngoài việc thiết lập một ngưỡng cơ bản thấp, việc trích xuất kém còn gây hại đáng kể cho các mô hình. Các phương pháp heuristic làm hỏng nội dung có cấu trúc. Bảng dưới đây cho thấy sự so sánh giữa Trafilatura và các bộ trích xuất dựa trên mô hình trong việc bảo toàn các khối mã và công thức. Điểm tương đồng thấp cho thấy sự sai lệch dữ liệu. Nếu được sử dụng trong huấn luyện, các mô hình tạo ra sẽ kế thừa những hư hại này.

Chất lượng dữ liệu cũng quan trọng trong quá trình suy luận. Shi và cộng sự (ICML 2023) đã chỉ ra rằng chỉ cần một đoạn văn không liên quan cũng đủ để làm chệch hướng câu trả lời của mô hình. Một mô hình sẽ chính xác và hiệu quả hơn khi ngữ cảnh của nó không chứa nhiễu.

Làm sạch với ngân sách tối ưu

Làm sạch dữ liệu web mang lại hiệu quả cho cả quá trình huấn luyện và suy luận. Câu hỏi đặt ra là làm thế nào để làm sạch tốt ở quy mô lớn?

Trước tiên, để hiểu rõ bối cảnh, chúng ta có thể chia các bộ trích xuất hiện nay thành hai nhóm dựa trên câu hỏi: Phương pháp này đọc trang web hay kiểm tra cấu trúc của nó?

Các bộ trích xuất dựa trên cấu trúc đánh giá một khối HTML bằng các tín hiệu bề mặt. Chúng áp dụng các quy tắc dựa trên thẻ, DOM và mật độ văn bản để tách nội dung khỏi nội dung phụ. Trafilatura, Readability và magic-html hoạt động theo cách này. Boilerpipe tiến thêm một bước bằng cách huấn luyện một bộ phân loại trên chính các tín hiệu đó. Các bộ trích xuất này dễ chạy nhưng chúng dễ nhầm lẫn các phần tử có cấu trúc tương tự nhau. Một bảng điều hướng và một bảng dữ liệu trông giống hệt nhau đối với một thuật toán đếm ô.

Các bộ trích xuất dạng "đọc" đưa trang web vào một transformer và gắn nhãn từng khối dựa trên nội dung của nó. Dripper là một bộ giải mã (decoder) được xây dựng dựa trên ý tưởng này. Bộ giải mã xuất ra các nhãn từng token một. Mỗi nhãn buộc toàn bộ mô hình phải được đọc từ bộ nhớ cho một bước xử lý duy nhất. Điều này khiến tốc độ phụ thuộc vào băng thông bộ nhớ và làm cho quá trình chạy trở nên đắt đỏ.

Pulpie giữ cách tiếp cận "đọc" nhưng chuyển nút thắt cổ chai sang khả năng tính toán. Chúng tôi thực hiện điều này bằng cách sử dụng kiến trúc bộ mã hóa (encoder) giúp gắn nhãn mọi khối trong một lần truyền xuôi duy nhất. Điều này cho phép Pulpie đạt chất lượng ngang bằng Dripper trong khi nhỏ hơn, nhanh hơn và rẻ hơn.

ROUGE-5 F1

Chi phí / 1 tỷ trang

175.000 USD

140.000 USD

105.000 USD

70.000 USD

35.000 USD

0 USD

0.90

0.80

0.70

0.60

0.50

Rẻ hơn 20 lần, chất lượng tương đương

Pulpie Small Dripper

Làm sạch HTML thô

Quy trình đầy đủ bao gồm bốn giai đoạn:

Huấn luyện

Việc huấn luyện Pulpie đòi hỏi một tập hợp lớn các trang HTML với nhãn ở cấp độ khối. Vì không có tập dữ liệu công khai nào như vậy tồn tại, chúng tôi đã tự xây dựng một tập.

Chúng tôi lấy mẫu 16.670 trang tiếng Anh từ Common Crawl, giới hạn mỗi tên miền một trang. Sau đó, chúng tôi sử dụng MinerU-HTML để chia từng trang thành các khối và gắn nhãn mỗi khối là nội dung chính hoặc nội dung phụ bằng DeepSeek V3.2. Quá trình lọc tiếp theo đã loại bỏ các trang trống, bị hỏng hoặc không phù hợp, để lại 15.880 trang.

Sau đó, chúng tôi chạy Dripper 0.6B như một bộ gắn nhãn thứ hai trên tất cả 15.880 trang để đánh dấu các nhãn không nhất quán. Sự đồng thuận ở cấp độ khối với DeepSeek là 93,3%. Chúng tôi giữ lại 14.959 trang mà hai bộ gắn nhãn đồng ý trên ít nhất 70% các khối, chấp nhận đánh đổi một phần dữ liệu để có một tập huấn luyện sạch hơn.