Tối ưu hóa chi tiết hình ảnh trong LLM: Giảm độ phân giải không phải là cách tiết kiệm chi phí tốt nhất

Nếu bạn thiết lập detail: low cho các đầu vào hình ảnh của mình để cắt giảm chi phí, có thể bạn sẽ không nhận được những cải thiện như mong đợi. Chúng tôi đã đo điểm chuẩn (benchmark) các tham số chi tiết hình ảnh cho các mô hình mới nhất của OpenAI và Google, và phát hiện ra một số mối quan hệ đáng ngạc nhiên giữa mức độ chi tiết, khả năng suy luận và chi phí.

Ví dụ, khi chúng tôi đo điểm chuẩn gpt-5.5 ở chế độ low so với auto trên MMMU-Pro Vision, chế độ low đạt điểm thấp hơn 13,8 điểm (65,2% so với 79,0%) và tốn kém hơn cho mỗi câu hỏi (5,1¢ so với 4,5¢). Mô hình đã bù đắp cho các hình ảnh bị giảm độ phân giải bằng cách "suy nghĩ" vất vả hơn 1,6 lần. Chi phí cho các token suy luận này lớn hơn số token hình ảnh tiết kiệm được ở đầu vào.

Chúng tôi đã tìm ra một con đường hiệu quả hơn để tiết kiệm chi phí xử lý hình ảnh trong các mô hình suy luận: hãy gửi hình ảnh rõ nét hơn (auto hoặc high) và thay vào đó hãy điều chỉnh nỗ lực suy luận.

Chế độ auto detail mang lại kết quả tốt hơn trên mọi mô hình và đôi khi còn tốn ít chi phí hơn.

Chúng tôi đã chạy năm mô hình từ OpenAI và Google ở cả hai chế độ low và auto, với temperature 0 và một epoch. Mọi mô hình đều đạt điểm cao hơn ở chế độ auto.

Chế độ low detail khiến gpt-5.5 phải suy nghĩ vất vả hơn.

Theo tài liệu về vision của OpenAI, detail: low cung cấp cho mô hình phiên bản hình ảnh độ phân giải thấp 512x512, bất kể kích thước gốc, và tính phí dựa trên một số lượng token cố định nhỏ. Mặc dù điều này giúp tiết kiệm token đầu vào, nhưng nó cũng đồng nghĩa với việc các chi tiết nhỏ hữu ích có thể bị mất đi do quá trình giảm độ phân giải.

Trên gpt-5.5, chế độ low detail tạo ra 1.180 token suy luận mỗi yêu cầu so với 730 ở chế độ auto, mức tăng 1,6 lần, cộng thêm 489 token hoàn thiện (completion tokens) so với 351 (tăng 39%). Mô hình đã dành thêm nỗ lực đó để "nheo mắt" nhìn vào các văn bản và sơ đồ nhỏ mà nó không còn đọc rõ được nữa.

Token đầu ra có chi phí cao hơn token hình ảnh, vì vậy chi phí đầu vào rẻ hơn đã bị bù trừ. Cùng một mô hình khi đặt cùng câu hỏi ở chế độ low detail lại tốn thêm 0,6¢ mỗi câu hỏi so với chế độ auto. Bạn vừa phải trả nhiều tiền hơn, vừa nhận lại kết quả kém hơn.

Một lưu ý trước khi khái quát hóa: mô hình token thay đổi tùy theo từng mô hình. gemini-3.5-flash cũng sử dụng nhiều token suy luận hơn ở chế độ low (2.876 so với 2.602), nhưng gemini-3.1-pro lại sử dụng ít hơn một chút (6.344 so với 6.964), và lượt chạy ở chế độ low của nó lại rẻ hơn.

gpt-5.4-mini và gpt-4.1 không có khả năng suy luận, vì vậy chúng giữ mức 0 token suy nghĩ ở cả hai cài đặt. Vì không có phần đầu ra để tăng lên, nên việc tiết kiệm ở đầu vào vẫn được giữ nguyên (chi tiết hơn ở bên dưới).

Bạn có thể đạt được mức độ chính xác nào từ những hình ảnh rõ nét hơn?

Chuyển từ low sang auto giúp tăng từ 2 đến 17 điểm độ chính xác, tùy thuộc vào mô hình.

Các mô hình của OpenAI đạt mức tăng lớn nhất vì cài đặt low của chúng giảm độ phân giải mọi hình ảnh xuống 512x512 với chi phí token cố định nhỏ (85 token trên gpt-4.1). Độ phân giải low của Gemini giữ lại khoảng 273 token cho mỗi phần, vì vậy nó bắt đầu từ một nền tảng sắc nét hơn và ít bị mất dữ liệu hơn.

Các mức tăng tập trung theo loại hình ảnh. Tập dữ liệu bao gồm 76% là văn bản và OCR, cộng thêm 19% là ảnh chụp màn hình, vì vậy hầu hết các câu hỏi đã nằm gần ngưỡng tối đa của mô hình và hầu như không thay đổi với detail. Bước nhảy rõ rệt nhất nằm ở biểu đồ và đồ thị: gemini-3.1-pro đã tăng từ 78,6% lên 91,7% đối với các loại này khi dùng auto detail. Các sơ đồ vẫn là danh mục khó nhất dù ở chế độ nào, với khoảng một phần ba câu trả lời đúng (trên một mẫu nhỏ gồm 21 câu hỏi).

Đây là một trong những câu hỏi đó, một hình vẽ kỹ thuật cơ khí 2239×1279 yêu cầu bạn chọn hình chiếu chính xác từ bốn hình chiếu trực giao gần như giống hệt nhau:

Bốn hình chiếu ứng viên chỉ khác nhau ở vị trí của các đường gạch mặt cắt và đường khuất. Ở chế độ auto detail, gpt-5.5 chọn B, đáp án đúng. Ở chế độ low, hình vẽ đó bị thu nhỏ thành hình thu nhỏ 512px, các đường nét mảnh bị nhòe vào nhau và mô hình chọn C sau một chuỗi suy nghĩ dài hơn. Suy luận dài hơn là một sự thay thế tồi cho một hình ảnh rõ ràng.

Mức độ suy luận có ảnh hưởng đáng kể nhất đến chi phí.

Mức độ chi tiết (detail) và nỗ lực suy luận (reasoning effort) có vẻ như thực hiện các công việc tương tự nhau, nhưng trong các lượt chạy của chúng tôi, chúng dẫn đến những kết quả rất khác biệt. Thay đổi detail làm thay đổi độ chính xác từ 2 đến 17 điểm trong khi hầu như không ảnh hưởng đến hóa đơn. Thay đổi nỗ lực suy luận làm thay đổi hóa đơn từ 50 đến 75 phần trăm trong khi độ chính xác chỉ dao động 1 đến 2 điểm, nằm trong phạm vi sai số.

Giới hạn gpt-5.5 ở mức reasoning=low đã giảm chi phí từ 5,1¢ xuống còn 1,7¢ mỗi câu hỏi ở chế độ low-detail, mức cắt giảm 67%, trong khi độ chính xác chỉ thay đổi 1,3 điểm (65,2% xuống 63,9%). Trên gemini-3.1-pro, lượt chạy auto giảm từ 11,1¢ xuống 2,7¢ và độ chính xác tăng 1,5 điểm. Vì vậy, nếu bạn muốn một quy trình xử lý hình ảnh rẻ hơn, hãy giới hạn nỗ lực suy luận và giữ cho hình ảnh sắc nét.

Low detail vẫn mang lại hiệu quả trên các mô hình không suy luận.

Trên một mô hình không suy luận, low detail hoạt động đúng như bạn mong đợi. gpt-5.4-mini chạy ở mức 0,08¢ mỗi câu hỏi ở chế độ low so với 0,14¢ ở chế độ auto, rẻ hơn khoảng 40%, vì không có vòng lặp suy luận nào làm tăng hóa đơn. Cái giá phải trả là độ chính xác, giảm từ 55,8% xuống 46,1%.

Độ trễ cũng thay đổi theo cách tương tự. gpt-4.1 trung bình 960ms mỗi yêu cầu ở chế độ low so với 1.148ms ở chế độ auto, và gpt-5.4-mini chạy 1.348ms so với 1.776ms. Low detail giới hạn hình ảnh ở mức chi phí token cố định nhỏ (85 token trên gpt-4.1), vì vậy có ít dữ liệu cần đọc hơn trước khi mô hình bắt đầu viết. Không có vòng lặp suy luận kéo dài thời gian, quá trình tiền xử lý (prefill) ngắn hơn đó dẫn đến phản hồi nhanh hơn.

Chọn mức độ chi tiết phù hợp cho khối lượng công việc của bạn.

Sự lựa chọn phụ thuộc vào việc mô hình của bạn có suy luận hay không:

Dù thế nào đi nữa, cài đặt detail có tác động nhỏ hơn nhiều đến chi phí cuối cùng khi so sánh với các token đầu ra đắt đỏ hơn. Trong hầu hết các trường hợp, bạn nên để detail hình ảnh ở chế độ auto và điều chỉnh khả năng suy luận.

API đầu vào hình ảnh của OpenRouter được thống nhất trên các mô hình, và các tham số cụ thể của mô hình như mức độ chi tiết được truyền qua các tùy chọn của nhà cung cấp, vì vậy bạn có thể tinh chỉnh các cài đặt này mà không cần thay đổi tích hợp của mình.

Cách chúng tôi thử nghiệm.