IBM Research chứng minh ưu thế vượt trội của mạch lượng tử nông so với mô hình ngôn ngữ lớn

Những bài toán tính toán nào mà các phương pháp lượng tử sẽ vượt trội hơn phương pháp cổ điển, và vượt trội chính xác bao nhiêu? Trả lời những câu hỏi này là một trong những mục tiêu quan trọng nhất của khoa học máy tính lý thuyết hiện đại. Tuy nhiên, việc chứng minh các giới hạn lý thuyết về khả năng của các mô hình tính toán cổ điển là vô cùng thách thức, vì nhiều mô hình cổ điển lý tưởng hóa có thể mô phỏng các máy Turing tùy ý nếu có đủ tài nguyên. Thay vào đó, chúng tôi đặt tính toán lượng tử lên bàn cân so sánh với các mô hình tính toán hạn chế hơn — chẳng hạn như một số phiên bản giới hạn của các mô hình ngôn ngữ lớn (LLM).

Nghiên cứu của chúng tôi tiếp nối một hướng công việc về mạch lượng tử nông (shallow quantum circuits); cụ thể là các mạch mà độ sâu của mạch vẫn giữ nguyên khi số lượng qubit tăng lên. Một kết quả mang tính bước ngoặt của các nhà nghiên cứu IBM là Sergey Bravyi, David Gosset và Robert König, được công bố trên tạp chí Science năm 2018, đã chỉ ra rằng một mô hình mạch lượng tử độ sâu không đổi nhất định có thể giải quyết các bài toán tìm kiếm cụ thể mà không mạch cổ điển độ sâu không đổi tương đương nào có thể giải được. Kể từ đó, các nhà nghiên cứu đã liên tục củng cố kết quả này, chứng minh nhiều khái niệm khác nhau về sự tách biệt lượng tử so với các mô hình tính toán cổ điển ngày càng biểu cảm hơn. Trong hướng công việc này, đối thủ cổ điển đã trở nên mạnh mẽ hơn, trong khi phía lượng tử vẫn giữ được độ nông đáng kể.

Với sự thành công và phổ biến của các LLM trong các tác vụ tính toán hiện nay, chúng tôi tự nhiên quan tâm đến việc liệu có sự tách biệt lý thuyết nào giữa mạch lượng tử nông và LLM hay không. Cụ thể, công trình của chúng tôi tìm kiếm sự tách biệt như vậy cho hai loại bài toán tính toán cơ bản:

Công trình gần đây của chúng tôi, được đăng trên arXiv, chứng minh sự tồn tại của một bài toán trong mỗi lớp này mà ở đó các mạch lượng tử nông có ưu thế có thể chứng minh được so với các LLM. Tất nhiên, đây là những kết quả lý thuyết chứ không phải là kết quả có thể thực hiện hoặc áp dụng ngay lập tức. Các mô hình ngôn ngữ lớn hiện nay chạy trên các tài nguyên tính toán trưởng thành hơn và lớn hơn nhiều so với các máy tính lượng tử quy mô nhỏ, còn nhiều nhiễu hiện có ngày nay.

Tuy nhiên, công trình của chúng tôi chứng minh những gì có thể đạt được ở quy mô lớn khi công nghệ lượng tử tiến bộ. Cụ thể, chúng tôi chứng minh rằng có những tác vụ tính toán mà các mạch lượng tử nông có ưu thế vốn có so với các LLM; chúng tôi hy vọng những hiểu biết này sẽ mở ra cánh cửa để phát triển các bộ tiêu chuẩn đánh giá cụ thể nhằm so sánh các hệ thống lượng tử và LLM trên những bài toán khó này.

Sự tách biệt giữa mạch lượng tử nông và LLM đối với một bài toán chức năng

Các bài toán chức năng xuất hiện trong các ứng dụng hàng ngày của LLM, từ tìm kiếm đến các ứng dụng nhắn tin. Các LLM thường giải quyết những bài toán này bằng cách sử dụng một kiến trúc cốt lõi gọi là transformer. Với dữ liệu đầu vào thô, transformer thực hiện token hóa đầu vào, nhúng các token thu được thành một chuỗi các vector, sau đó liên tục tái trọng số các vector đó qua nhiều lớp, sử dụng các tham số đã học và cơ chế tích vô hướng có tỷ lệ gọi là attention (chú ý) để nắm bắt các mối quan hệ giữa các token.

Cụ thể, công trình của chúng tôi tập trung vào các transformer chỉ có bộ giải mã (decoder-only), vốn là nền tảng cho nhiều LLM nổi bật hiện nay (bao gồm GPT, Claude và Llama). Kiến trúc này thường được sử dụng trong các mô hình ngôn ngữ tự hồi quy: với một câu lệnh đầu vào, mô hình tạo ra các token mới một cách tuần tự, tạo ra kết quả đầu ra mong muốn.

Các công trình trước đây về độ phức tạp tính toán của các transformer đã xác định được các bài toán đòi hỏi tài nguyên tính toán đáng kể. Một trong những bài toán đó là hàm chỉ mục lặp (iterated index function).

Hãy tưởng tượng việc tra cứu một mục trong bảng chỉ mục ở cuối một cuốn sách — nhưng thay vì chỉ cho bạn đến một trang trong cùng cuốn sách đó, mục này lại chỉ bạn đến một mục chỉ mục trong cuốn sách thứ hai. Mục đó, đến lượt nó, lại chỉ đến một mục chỉ mục trong cuốn sách thứ ba, và cứ tiếp tục như vậy. Bài toán chỉ mục lặp hỏi bạn sẽ kết thúc ở đâu sau khi theo chuỗi tham chiếu này qua nhiều cuốn sách liên tiếp.

Việc điều chỉnh kết quả hiện có này đã mang lại cho chúng tôi một nửa cổ điển của sự tách biệt tiềm năng: một cận dưới cho thấy các transformer cần tài nguyên tính toán đủ lớn để giải bài toán chỉ mục lặp. Để hoàn thiện sự tách biệt, phần còn lại là chứng minh một cận trên tương ứng, cụ thể là chứng minh rằng bài toán này có thể giải được bằng các mạch lượng tử nông.

Chúng tôi thực sự đã chứng minh rằng bài toán này có thể giải được bằng một mạch lượng tử có độ sâu gần như không đổi, được trang bị một cổng AND cổ điển duy nhất. Chúng tôi cũng chỉ ra rằng độ sâu này không thể cải thiện một cách đáng kể (ví dụ: nó không thể trở thành hằng số thực sự).

Chú thích hình ảnh: Minh họa một mạch lượng tử nông tính toán hàm chỉ mục (tra cứu một bit trong bảng dữ liệu). Đây là khối xây dựng cho sự tách biệt của chúng tôi giữa các mạch lượng tử và các transformer bị giới hạn tài nguyên. Phần chèn Aj\mathcal{A}^j là các mạch song song có độ sâu ngắn kiểm tra ea

Sự tách biệt giữa mạch lượng tử nông và LLM đối với một bài toán phân phối

Các bài toán phân phối đại diện cho một trường hợp sử dụng cơ bản khác của các mô hình ngôn ngữ lớn ngày nay. Thay vì tạo ra một câu trả lời đúng duy nhất như trong bài toán chức năng, mục tiêu ở đây là tạo ra một trong nhiều kết quả đầu ra có thể theo một phân phối xác suất mong muốn. Các ví dụ nổi tiếng nhất về bài toán phân phối xuất hiện trong tạo ảnh, hiện nay được giải quyết bởi các mô hình khuếch tán (diffusion models) như DALL·E hoặc Stable Diffusion.

Bài báo của chúng tôi khám phá các mô hình ngôn ngữ khuếch tán (DLM), được huấn luyện bằng cách "làm hỏng" văn bản bằng nhiễu ngẫu nhiên, sau đó dạy chúng khôi phục văn bản gốc bằng cách đảo ngược quá trình làm hỏng từng bước một, tiết lộ các token một cách lặp đi lặp lại. Tại thời điểm kiểm thử, với một câu lệnh, các mô hình này bắt đầu với nhiễu ngẫu nhiên và loại bỏ nó một cách lặp đi lặp lại cho đến khi tạo ra kết quả đầu ra ở dạng mong muốn.

Chúng tôi một lần nữa quay lại với các công trình cổ điển trước đây, vốn đã nghiên cứu một bài toán gọi là lấy mẫu chẵn lẻ (parity-sampling) — một bài toán tương tự như bài toán được Bravyi và cộng sự sử dụng để so sánh các mạch lượng tử và cổ điển nông vào năm 2018. Đây là một bài toán "khó" đối với riêng các mô hình khuếch tán, và có thể được mô tả như sau. Với một chuỗi các số 0 và 1, người ta có thể hỏi về tính chẵn lẻ của nó — liệu nó có số lượng số 1 là chẵn hay lẻ.

Bài toán này có một phương pháp lượng tử đơn giản sử dụng mạch lượng tử độ sâu không đổi: sử dụng các đặc tính như vướng víu (entanglement) và giao thoa (interference), người ta có thể dự đoán tính chẵn lẻ của một chuỗi không xác định, và nhờ đó lấy mẫu hiệu quả các chuỗi với tính chẵn lẻ được chỉ định. Nhưng các mô hình cổ điển thì sao?

Các công trình trước đây về mô hình ngôn ngữ khuếch tán đã chỉ ra những hạn chế về khả năng giải quyết một phiên bản của bài toán lấy mẫu này. Tuy nhiên, những kết quả đó không bao gồm các DLM được trang bị chuỗi suy nghĩ (chain-of-thought), khả năng "thể hiện quá trình làm việc" bằng cách tạo và tiêu thụ các token trung gian, điều mà nhìn chung đã được chứng minh là làm cho mô hình mạnh mẽ hơn đáng kể.

Mục tiêu của chúng tôi là mở rộng cận dưới cổ điển cho mô hình mạnh mẽ hơn này. Chúng tôi đã chứng minh rằng ngay cả khi một mô hình ngôn ngữ khuếch tán được tiếp cận với một lượng chuỗi suy nghĩ nhất định, nó vẫn không thể tái tạo hiệu quả phân phối được tạo ra bởi mạch lượng tử nông. Điều này mang lại sự tách biệt thứ hai của chúng tôi: lần này là cho một bài toán lấy mẫu thay vì một bài toán chức năng.

Chúng ta sẽ đi đâu từ đây?

Công trình của chúng tôi hoàn toàn mang tính lý thuyết và bao gồm các chứng minh toán học. Chúng ta phải thừa nhận rằng các máy tính lượng tử ngày nay còn hạn chế về khả năng, và chịu ảnh hưởng bởi nhiễu và lỗi, trong khi các LLM cổ điển có quyền truy cập vào phần cứng máy tính hiện đại ở quy mô chưa từng có.

Thực vậy, công trình của chúng tôi không xác định quy mô chính xác mà tại đó các hệ thống lượng tử sẽ vượt trội hơn các LLM cổ điển này đối với các bài toán cụ thể được nghiên cứu — chỉ là về mặt tiệm cận, các mạch lượng tử sẽ vượt trội hơn các LLM khi cả hai được so sánh trực tiếp.

Chúng tôi tin rằng những công trình như của chúng tôi giúp củng cố các nỗ lực xây dựng máy tính lượng tử. Trong khoảng một thập kỷ qua, các nhà nghiên cứu đã tìm ra những bài toán mà các mạch lượng tử nông có thể vượt qua các mô hình tính toán cổ điển ngày càng mạnh mẽ. Chúng tôi hy vọng sẽ tiếp tục đẩy mạnh biên giới đó.

Đối với những bài toán nào thì các mạch lượng tử nông đánh bại các mô hình mạnh mẽ hơn ngoài LLM? Các mạch lượng tử ít bị hạn chế hơn thì so sánh như thế nào? Cuối cùng, mục tiêu của chúng tôi là lập bản đồ toàn cảnh về sự tách biệt vô điều kiện giữa tính toán lượng tử và cổ điển tổng quát — nhưng "chén thánh" đó vẫn còn một chặng đường dài phía trước.

Trong thời gian chờ đợi, công trình này sẽ tiếp tục thúc đẩy việc phát triển các thuật toán và ứng dụng cho tính toán lượng tử — đặc biệt là khi có những bài toán nằm ngoài tầm với của các mô hình LLM được nghiên cứu ở đây, nhưng lại có thể giải quyết được ngay cả bởi các mô hình tính toán lượng tử chịu lỗi hạn chế.

Điều này cũng đặt ra một khả năng rộng lớn hơn: thay vì chỉ xem máy tính lượng tử và LLM là đối thủ cạnh tranh, có lẽ tính toán lượng tử cuối cùng có thể tăng cường cho các hệ thống AI cổ điển, cho phép chúng giải quyết các tác vụ mà nếu không sẽ đòi hỏi tài nguyên tính toán lớn hơn đáng kể. Công trình này giúp hiểu rõ sự khác biệt giữa tính toán lượng tử và trí tuệ nhân tạo, khiến chúng tôi lạc quan về một tương lai với các mô hình tính toán lai lượng tử-cổ điển được hiện thực hóa hoàn toàn.