OpenAI đã dùng chính LLM của mình để thiết kế chip AI Jalapeño như thế nào?

Vào ngày 25 tháng 8, OpenAI đã chính thức công bố Jalapeño, con chip tăng tốc AI đầu tiên của công ty. Jalapeño cung cấp hiệu suất tính toán 4-bit lên tới 13,4 petaflops và truy cập 232 gigabyte bộ nhớ tiên tiến nhất hiện có, với tốc độ kết nối cực nhanh đạt 15,4 terabyte mỗi giây. Các bài kiểm tra hiệu năng (benchmark) được OpenAI trích dẫn cho thấy Jalapeño có thể giảm độ trễ từ đầu đến cuối (thời gian từ khi nhập lệnh đến khi nhận token cuối cùng) lên tới 3,6 lần so với GB300 của Nvidia—con chip mà công ty hiện đang sử dụng—trong khi vẫn tiêu thụ ít điện năng hơn.

Liệu những con số này có chuyển hóa thành lợi ích thực tế khi Jalapeño được đưa vào sử dụng rộng rãi trong hệ thống suy luận của OpenAI hay không vẫn còn là một ẩn số, nhưng hiệu năng chỉ là một nửa câu chuyện. Nửa còn lại nằm ở cách con chip này được thiết kế—một quy trình mà như bạn có thể đoán, đã được tăng tốc bởi các mô hình ngôn ngữ lớn (LLM) của OpenAI. Jalapeño đã đi từ khái niệm kiến trúc đầu tiên đến silicon đầu tiên trong chưa đầy 20 tháng. Chỉ mất chín tháng từ khi có RTL đầu tiên—mã cấp chuyển thanh ghi xác định logic của chip—cho đến khi hoàn tất thiết kế (tape-out) để chuyển sang khâu sản xuất.

Đó là một tiến độ nhanh chóng, nhưng các chuyên gia tin rằng nó có thể sớm trở nên chậm chạp khi các LLM cải thiện và được tích hợp sâu hơn vào các công cụ thiết kế chip. Không có gì ngạc nhiên khi OpenAI rất lạc quan về những cơ hội này. Richard Ho, phó chủ tịch phụ trách phần cứng tại OpenAI, cho biết: “Các mô hình đang mang lại siêu năng lực cho các kỹ sư của chúng tôi. Các kỹ sư của chúng tôi vẫn là người điều khiển công việc. Họ vẫn là người quyết định cuối cùng về những gì đang diễn ra. Nhưng họ có thể thực hiện mọi thứ nhanh hơn rất nhiều. Họ có thể khám phá nhiều hướng đi hơn.”

OpenAI đạt được kết quả nhanh chóng với một đội ngũ thiết kế nhỏ

Ho cho biết nhóm thiết kế Jalapeño có trung bình chưa đầy 100 người trong suốt dự án và hiện vẫn duy trì con số khoảng 100 người khi đội ngũ theo đuổi các thiết kế thế hệ thứ hai và thứ ba. Con số đó bao gồm nhiều vai trò khác nhau trong nhóm phần cứng, từ thiết kế hệ thống đến phần mềm và chuỗi cung ứng, nhưng không bao gồm nhân sự tại Broadcom, đối tác của OpenAI trong dự án này.

Sự phân công lao động giữa OpenAI và Broadcom nhìn chung được chia giữa thiết kế và triển khai. Nhóm của OpenAI chịu trách nhiệm thiết kế hệ thống từ đầu đến cuối, bao gồm bộ tăng tốc suy luận, phân cấp bộ nhớ và mạng lưới. Broadcom xử lý “thiết kế vật lý từ các cổng logic trở đi,” Ho cho biết.

Quan hệ đối tác với Broadcom đã làm giảm bớt một số ý kiến về tốc độ của OpenAI. David Chin, đồng sáng lập startup thiết kế chip agentic Verkor.io, cho biết “lịch trình mà họ đưa ra khá đáng tin cậy,” nhưng tin rằng sự trợ giúp của Broadcom là yếu tố thiết yếu cho tiến độ nhanh chóng của Jalapeño. “Nếu bạn để người khác bắt đầu từ con số không, điều đó sẽ không khả thi,” ông nói. Ravi Krishna, cũng là đồng sáng lập tại Verkor, gọi tốc độ của OpenAI là “một kết quả tương đối ấn tượng,” nhưng nói thêm rằng ông kỳ vọng những cải tiến về khả năng của các LLM có thể dẫn đến tiến độ nhanh hơn nữa nếu dự án bắt đầu ngay hôm nay.

Andrew Kahng, giáo sư danh dự tại Đại học California, San Diego, cũng nhận thấy tốc độ của OpenAI rất đáng chú ý, cho rằng đây “có khả năng là tốt nhất trong phân khúc hiện nay.” Kahng nhớ lại hội thảo IEEE Design Automation Futures năm 2016 mà ông đồng tổ chức. Hội thảo có sự tham gia của Richard Ho, khi đó là một kỹ sư tại Google, với tư cách là diễn giả chính. Ho có những quan điểm mạnh mẽ về tự động hóa thiết kế và coi thời gian cần thiết để hoàn thành thiết kế một con chip là một hàm số dựa trên số lần lặp mà một nhóm có thể thực hiện trong một ngày.

Cách các LLM của OpenAI tăng tốc thiết kế Jalapeño

“Bản thân tự động hóa đã tồn tại trong thiết kế chip từ nhiều thập kỷ nay. Đó không phải là vấn đề mới,” Ankur Srivastava, giám đốc sáng kiến và đổi mới bán dẫn tại Đại học Maryland, College Park, cho biết. Tuy nhiên, điểm khác biệt giữa LLM và các công cụ tự động hóa trước đây là khả năng hiểu ngôn ngữ và mã nguồn. Ông cho rằng điều này khiến chúng đặc biệt phù hợp với các tác vụ thiết kế chip “vẫn nằm trong phạm vi ngôn ngữ của vấn đề.”

Nhóm tại OpenAI đã thiết kế một quy trình làm việc tận dụng thế mạnh này. Quy trình front-end của OpenAI được xây dựng dựa trên Accelerated Hardware Synthesis (XLS), một chuỗi công cụ tổng hợp cấp cao mã nguồn mở được phát triển ban đầu tại Google. Tổng hợp cấp cao là một dạng tự động hóa thiết kế chip cho phép các kỹ sư thiết kế chip trong một môi trường lập trình quen thuộc hơn. Với XLS, các nhà thiết kế chip có thể viết bằng các ngôn ngữ như DSLX (một ngôn ngữ chuyên biệt lấy cảm hứng từ Rust) và C++. Sau đó, XLS chuyển đổi chúng sang Verilog, một ngôn ngữ mô tả phần cứng được sử dụng để mô tả các hệ thống điện tử.

“Chúng tôi đã suy nghĩ về cách tận dụng AI để làm cho dự án nhanh hơn, và AI tỏ ra vượt trội hơn nhiều ở những thứ liên quan đến phần mềm,” Chris Leary, thành viên đội ngũ kỹ thuật tại OpenAI, cho biết. “XLS theo một cách nào đó trông giống như phần mềm, vì vậy nó đã nhận được lợi ích đó.” Việc Leary cực kỳ am hiểu cách thức hoạt động của XLS, vì ông là người khởi xướng nó trong thời gian làm việc tại Google, cũng là một lợi thế.

Kahng đồng ý rằng quyết định sử dụng AI để tăng tốc tổng hợp cấp cao như XLS là hợp lý, vì nó “tự nhiên hơn để LLM làm việc cùng” và tạo cơ hội cho việc lặp lại nhanh chóng. “Tôi coi đây là một quy trình làm việc hữu ích nói chung và nó là một quy trình ‘có tiềm năng’ trong tương lai,” ông nói.

Logic tương tự đã dẫn dắt nhóm Jalapeño tập trung vào tối ưu hóa phần mềm. Khi những con chip đầu tiên từ nhà máy sản xuất về vào tháng 5, nhóm đã hướng các mô hình AI nội bộ vào việc thiết kế phần mềm để chạy các bài kiểm tra như InferenceX của SemiAnalysis. Trên bài kiểm tra kernel chú ý tiềm ẩn đa đầu (multi-head latent attention) của DeepSeek, hiệu suất đã tăng từ 0,31% mức trần lý thuyết (được thiết lập bởi khả năng tính toán và băng thông bộ nhớ của chip) lên 88,94% trong khoảng 40 giờ. Ho cho biết kết quả này có thể lặp lại, vì vậy thời gian từ khi nhà máy cung cấp những con chip đầu tiên đến khi sản xuất hàng loạt có thể được rút ngắn. “Tất cả các giả định về lịch trình của chúng tôi sẽ dựa trên thực tế là chúng tôi hiện có khả năng này,” ông nói.

Jalapeño được thiết kế để triển khai trong các cụm (pods) bao gồm 2.048 chip. OpenAI

Mặc dù những nét chính trong quy trình làm việc có sự hỗ trợ của AI của nhóm Jalapeño đã được Ho và Leary dự đoán trước, nhưng những cải tiến trong các mô hình của OpenAI đã mang đến một vài bất ngờ.

Leary cho biết dự án bắt đầu với sự hỗ trợ từ các mô hình như o3 của OpenAI, được phát hành công khai vào tháng 4 năm 2025 (nhưng nhóm Jalapeño đã được tiếp cận sớm hơn). Tuy nhiên, đến khi dự án kết thúc, nhóm đã có quyền truy cập vào các mô hình tiền thân của GPT-6 Astra, vốn chưa được phát hành công khai cho đến ngày 3 tháng 9 năm 2026. Mô hình mới hơn có thể làm việc trực tiếp bằng Verilog mà không cần sự chuyển đổi của XLS từ các ngôn ngữ lập trình thông thường, và nó gần như có khả năng tự vận hành các công cụ thiết kế độc quyền, Leary cho biết.

Ho cũng xác nhận rằng nhóm đã có quyền truy cập vào các LLM nội bộ được tinh chỉnh cho thiết kế chip mà công chúng không thể tiếp cận. Ông từ chối nêu chi tiết về các mô hình được sử dụng. Tuy nhiên, ông nói thêm rằng nhóm Jalapeño đã hợp tác với nhóm nghiên cứu của OpenAI. Mặc dù không phải tất cả các mô hình cụ thể được sử dụng để thiết kế Jalapeño đều được công khai, Ho cho biết mục tiêu là đưa những bài học kinh nghiệm từ dự án vào các LLM thương mại của công ty. “Có thể khẳng định rằng Astra và các mô hình tiếp theo sẽ rất giỏi trong việc thiết kế chip,” ông nói.

AI ít hữu ích hơn cho việc tối ưu hóa backend, nhưng điều đó có thể thay đổi

Như đã đề cập, phần lớn công việc của OpenAI trên Jalapeño tập trung vào “front end” của thiết kế chip, bao gồm các tác vụ đưa con chip từ khái niệm ban đầu, qua việc viết mã RTL để xác định thiết kế, đến việc xác minh rằng thiết kế sẽ hoạt động khi triển khai vật lý. Phần lớn thiết kế “backend”—bao gồm các tác vụ như định tuyến kết nối, hoàn thiện và xác minh các thông số kỹ thuật về xung nhịp và nguồn điện, và gửi thông tin thiết kế cần thiết đến nhà máy—đã được bàn giao cho Broadcom, đơn vị đã đưa con chip qua quá trình sản xuất.

Tuy nhiên, không có nghĩa là quy trình làm việc của OpenAI bỏ qua backend. Nhóm Jalapeño bao gồm các kỹ sư thiết kế vật lý làm việc với các đối tác tại Broadcom để đưa ra hướng dẫn về sơ đồ mặt bằng (floor plan) và định tuyến của chip, cùng nhiều thứ khác.

Tại hội nghị IEEE Hot Chips 2026, Ho và Leary đã đưa ra các con số về lợi ích từ việc tối ưu hóa thiết kế vật lý có sự hướng dẫn của AI, bao gồm việc giảm 10% diện tích cho các đơn vị nhân ma trận so với mức cơ sở tối ưu của con người. Nói cách khác, OpenAI tuyên bố tối ưu hóa có sự hướng dẫn của AI đã giúp thiết kế nhiều mạch hơn vào cùng một diện tích silicon so với những gì có thể thực hiện trước đây.

Broadcom đã sử dụng quy trình làm việc nội bộ của riêng mình. Nhóm của công ty không có quyền truy cập vào các mô hình nội bộ mà OpenAI sử dụng để hỗ trợ thiết kế Jalapeño, nhưng họ có quyền truy cập vào các mô hình thương mại, công khai của OpenAI.

Ravi Krishna của Verkor cho biết cách tiếp cận của OpenAI đối với thiết kế backend đã có phần bảo thủ. Ông tin rằng đó là hệ quả của thời điểm dự án diễn ra, bắt đầu từ tháng 10 năm 2024. “Các mô hình từ bốn đến năm tháng qua đã được cải thiện. Từ tháng 4 [2026] trở đi… là lúc chúng thực sự bắt đầu có khả năng xử lý các tác vụ đó tốt hơn,” ông nói. Đồng sáng lập Verkor, Suresh Krishna, đồng tình và cho biết “không có lý do gì bạn không thể có một vòng lặp agentic giúp tăng tốc đáng kể cả phần backend của quy trình.”

Ho và Leary cũng ám chỉ rằng quy trình làm việc được sử dụng để thiết kế Jalapeño có thể trông lỗi thời so với những nỗ lực tiếp theo của nhóm.

“Như bạn có thể hình dung với [Jalapeño], chúng tôi đã cố gắng đi nhanh nhất có thể. Vì vậy, có một sự đánh đổi giữa việc ‘chúng ta có muốn dành thời gian để đổi mới hay chúng ta muốn làm những việc mà chúng ta biết là hiệu quả trong lịch sử?’” Leary nói. “Với thế hệ thứ hai, chúng tôi có cơ hội để đặt lại vấn đề và xem xét tất cả những thứ chúng tôi muốn thiết lập.”

Ho cho biết quy trình làm việc của con chip thế hệ thứ hai có “rất nhiều nơi mà chúng tôi đang đưa [AI] vào.” Ông đề cập đến các cơ hội để làm nhiều hơn với AI trong việc xác minh và thiết kế vật lý. Leary nói thêm rằng nhóm hiện có các công cụ để thao tác và xem dạng sóng tự động. Điều này tự động hóa việc phân tích để xác định các tín hiệu xung nhịp chip liên quan đến lỗi và có thể cải thiện việc gỡ lỗi phần cứng trong khi nó vẫn đang được thiết kế.

Bất chấp những cải tiến được mong đợi này, Ho và Leary khẳng định rõ ràng rằng họ không tin thiết kế chip có thể được tự động hóa hoàn toàn. “Chúng tôi không nói rằng bất kỳ ai cũng có thể đến và chỉ cần xây dựng các con chip tăng tốc AI/ML tiên tiến nhất bằng cách sử dụng [nền tảng lập trình của OpenAI] Codex,” Ho giải thích. “Chúng tôi đang nói về một số điều rất cụ thể về cách trở nên giỏi hơn với Codex và cách chúng tôi tập trung vào một nhóm nhỏ và tiến độ nhanh để đạt được kết quả chất lượng.”