OpenAI chuyển đổi nền tảng lưu trữ Habitat từ Python sang Rust, tăng hiệu suất CPU gấp 6 lần

Theo tin từ IT ngày 12 tháng 9, OpenAI vừa đăng tải bài viết giới thiệu về cách nền tảng lưu trữ trực tuyến Habitat của họ đối phó với sự tăng trưởng nhanh chóng về quy mô sản phẩm, cũng như quá trình chuyển đổi kỹ thuật từ Python sang Rust.

OpenAI cho biết nền tảng này hiện đang xử lý hơn 70 triệu yêu cầu mỗi giây, phục vụ hơn 1 tỷ người dùng hàng tuần và quản lý quy mô dữ liệu vượt quá 500PB. Theo giới thiệu, Habitat đã phát triển từ một thư viện client Python vào năm 2024 thành một hệ thống lưu trữ phân tán hỗ trợ các sản phẩm của hãng.

Theo đó, Habitat ban đầu là một thư viện Python tương tác với máy chủ chính của ChatGPT, với lớp nền tảng kết nối tới Azure Cosmos DB. Mục tiêu của nó là giúp các kỹ sư sản phẩm có thể thực hiện lưu trữ và truy xuất dữ liệu mà không cần trực tiếp quản lý cơ sở dữ liệu. Hệ thống đảm nhận các công việc như nhận diện kiểu dữ liệu, định tuyến, cấp quyền, mã hóa, tuần tự hóa và quản lý kết nối (connection pool).

Cùng với sự gia tăng về số lượng sản phẩm và nhu cầu dữ liệu của OpenAI, Habitat dần bộc lộ những hạn chế của kiến trúc client vào giữa năm 2025. Mỗi lần sửa đổi thư viện dùng chung đều cần phối hợp triển khai trên hàng chục dịch vụ, làm tăng độ phức tạp khi phát hành và rủi ro lỗi hệ thống. Do đó, OpenAI quyết định cải tổ Habitat thành một dịch vụ độc lập để tập trung quản lý việc triển khai, giám sát và các tính năng của nền tảng.

Dịch vụ độc lập cũng cung cấp một điểm kiểm soát thống nhất cho bảo mật dữ liệu. OpenAI có thể tập trung thực thi việc kiểm soát truy cập, ghi nhật ký kiểm toán và quản lý quyền tài nguyên lưu trữ nền tảng ngay trong Habitat, từ đó giảm thiểu rủi ro truy cập trái phép vào dữ liệu người dùng từ bên ngoài, nội bộ hoặc các chương trình đại diện.

Ban đầu, OpenAI chọn phát triển dịch vụ có lưu lượng cao bằng Python để ưu tiên giải quyết các vấn đề về độ ổn định của nền tảng và hiệu suất phát triển sản phẩm. Tuy nhiên, các dịch vụ Python vẫn đối mặt với những thách thức về chi phí CPU, chi phí bộ nhớ và độ trễ mạng trong các tình huống có lượng truy cập đồng thời cao, đặc biệt là nhu cầu kiểm soát độ trễ đuôi (tail latency) của yêu cầu.

Habitat đã cải thiện hiệu suất bằng cách giới hạn số lượng yêu cầu đồng thời, tăng số lượng tiến trình làm việc (worker process) của Python và tối ưu hóa việc lập lịch tác vụ bất đồng bộ. OpenAI cũng điều chỉnh chiến lược làm mới cấu hình bật/tắt tính năng (feature flag) để giảm thiểu ảnh hưởng của việc phân tích cú pháp JSON quy mô lớn đối với quá trình xử lý yêu cầu.

Về quản lý kết nối, OpenAI phát hiện ra rằng aiohttp của Python mặc định sử dụng chiến lược tái sử dụng kết nối LIFO, có thể dẫn đến việc lưu lượng truy cập liên tục tập trung vào các tiến trình dịch vụ phản hồi chậm. Nhóm đã chuyển sang sử dụng chiến lược tái sử dụng kết nối FIFO để giảm thiểu vấn đề mất cân bằng tải (Ghi chú của IT: LIFO là vào sau ra trước, FIFO là vào trước ra sau, cả hai đều là các chiến lược xử lý hàng đợi phổ biến).

Habitat sử dụng API NoSQL có giới hạn để tránh việc client thực hiện các truy vấn SQL không kiểm soát, các phép nối bảng phức tạp hoặc quét dữ liệu trên phạm vi rộng. Đối với các tình huống cần truy vấn phức tạp, OpenAI sử dụng tính năng thay đổi dữ liệu (CDC) để đồng bộ hóa dữ liệu theo thời gian thực hoặc gần thời gian thực sang Rockset, nhằm cung cấp khả năng phân tích ngoại tuyến và tìm kiếm.

Trong quý 2 năm 2026, OpenAI đã huy động 2 kỹ sư, kết hợp cùng Codex và GPT-5.5 để viết lại toàn bộ dịch vụ Habitat bằng Rust. Dữ liệu chính thức cho thấy dịch vụ Rust mới hiện đã xử lý 95% các yêu cầu sản xuất, hiệu suất CPU tăng 6 lần, hiệu suất bộ nhớ tăng 15 lần, đồng thời độ trễ trung bình và độ trễ đuôi cũng giảm đáng kể.

OpenAI dự kiến sẽ loại bỏ hoàn toàn phiên bản Python của Habitat trong vài tuần tới. Công ty cũng cho biết các bài viết tiếp theo sẽ giới thiệu cách Habitat mở rộng lớp lưu trữ Azure Cosmos DB, cũng như tối ưu hóa độ tin cậy đa người thuê (multi-tenancy) và hiệu suất đọc ở quy mô hơn 500PB dữ liệu và 70 triệu yêu cầu mỗi giây.