Giáo sư Andy Pavlo gia nhập ClickHouse, thành lập trung tâm nghiên cứu ClickHouse Labs

Tôi rất hào hứng thông báo rằng tôi sẽ gia nhập ClickHouse để thành lập và dẫn dắt một nhóm nghiên cứu mới có tên là ClickHouse Labs. Tôi muốn chia sẻ về cơ duyên dẫn đến quyết định này và những dự định sắp tới của chúng tôi.

Tôi bắt đầu sự nghiệp với tư cách là giáo sư tại Khoa Khoa học Máy tính của Đại học Carnegie Mellon vào năm 2013. Tôi đã dành cả sự nghiệp của mình để tìm hiểu khoa học đằng sau các hệ quản trị cơ sở dữ liệu (DBMS) hiện đại. Tôi luôn ưu tiên theo dõi mọi hệ thống mới xuất hiện, cả trong ngành công nghiệp lẫn giới học thuật, để thấu hiểu cách triển khai của chúng.

Tôi đã biết đến ClickHouse DBMS kể từ khi nó được công bố là phần mềm mã nguồn mở vào tháng 6 năm 2016. Phản ứng ban đầu của tôi là nghi ngờ đây chỉ là "vaporware" (sản phẩm được quảng cáo rầm rộ nhưng không có thật) vì nó có vẻ quá tốt so với thực tế. ClickHouse sở hữu những tính năng mà vào thời điểm đó chỉ xuất hiện ở một số ít các DBMS phân tích thương mại mã nguồn đóng. Ví dụ, ClickHouse được viết bằng C++ và hỗ trợ thực thi truy vấn vector hóa sử dụng SIMD từ năm 2016. Hầu hết các DBMS phân tích mã nguồn mở nổi bật vào năm 2016 đều dựa trên JVM và phải mất nhiều năm sau mới hỗ trợ tối ưu hóa SIMD.

Kể từ đó, tôi đã theo dõi sát sao quá trình phát triển của ClickHouse. Đây luôn là một hệ thống dẫn đầu và có tính ứng dụng cao đối với các dự án nghiên cứu học thuật của chúng tôi. Bạn thậm chí có thể thấy tôi mặc chiếc áo ClickHouse nguyên bản trong các bài giảng từ xa đầu tiên của mình vào năm 2020, khi đại dịch buộc chúng tôi phải chuyển các khóa học về cơ sở dữ liệu sang hình thức trực tuyến.

Với lịch sử đó, tôi cảm thấy rất vinh dự khi các nhà đồng sáng lập ClickHouse mời tôi thành lập nhóm nghiên cứu mới này tại ClickHouse. Cơ hội được làm việc cùng một trong những đội ngũ kỹ thuật mạnh nhất về công nghệ cơ sở dữ liệu thế hệ tiếp theo là một cơ hội mà tôi không thể bỏ lỡ. Đây sẽ là một sự hợp tác ở tầm cao mới, giống như khi Killer Mike kết hợp với El-P để tạo nên một siêu nhóm nhạc hip-hop vậy.

Mục tiêu của ClickHouse Labs là xây dựng một tổ chức nghiên cứu công nghiệp đẳng cấp hàng đầu tập trung vào cơ sở dữ liệu. Chúng tôi sẽ không hoạt động như một tổ chức nghiên cứu biệt lập chỉ đưa ra ý tưởng rồi để đó cho bộ phận kỹ thuật. Thay vào đó, chúng tôi sẽ hợp tác chặt chẽ với các kỹ sư, khách hàng, cộng tác viên và đối tác trong ngành của ClickHouse để phát triển và phổ biến những ý tưởng mới, giúp ClickHouse luôn giữ vững vị thế tiên phong.

Chúng tôi cũng sẽ làm việc với đội ngũ PostgreSQL của ClickHouse để giúp đưa dịch vụ quản lý đang phát triển mạnh mẽ của họ trở thành đơn vị dẫn đầu thị trường về hiệu suất và độ tin cậy. PostgreSQL và ClickHouse phục vụ các yêu cầu khối lượng công việc khác nhau, nhưng sự kết hợp này mang lại cho chúng tôi nền tảng rộng lớn để nghiên cứu các vấn đề về cơ sở dữ liệu giao dịch và phân tích.

Mục tiêu của chúng tôi rất đơn giản nhưng đầy tham vọng: thực hiện nghiên cứu có giá trị khoa học, sau đó giúp chuyển hóa những ý tưởng tốt nhất thành công nghệ có ý nghĩa với người dùng. Tôi muốn đạt được tầm ảnh hưởng tương tự như các tổ chức nghiên cứu công nghiệp tiên phong như IBM Research và Microsoft Research. Những nhóm đó đã chứng minh rằng các phòng thí nghiệm công nghiệp có thể đồng thời thúc đẩy khoa học máy tính cơ bản, gây ảnh hưởng đến các sản phẩm thương mại và đào tạo nhiều thế hệ nhà nghiên cứu cơ sở dữ liệu. Đó chính là truyền thống mà chúng tôi muốn tiếp nối.

Đội ngũ ClickHouse đã có thành tích xuất sắc trong việc công bố các tài liệu kỹ thuật chuyên sâu về công việc của họ. Kể từ khi thành lập công ty vào năm 2021, các kỹ sư của họ đã tạo ra những bài viết chi tiết giải thích cách triển khai DBMS. Ngoài ra còn có bài báo VLDB năm 2024 mô tả kiến trúc cốt lõi của ClickHouse. Những tài liệu này rất kỹ lưỡng đến mức tôi đã đưa chúng vào danh sách đọc cho sinh viên của mình tại Carnegie Mellon. Đồng thời, vẫn còn một danh sách dài các ý tưởng và tối ưu hóa thú vị mà đội ngũ kỹ thuật ClickHouse đã khám phá nhưng chưa có thời gian để xác thực đầy đủ và đưa vào sản xuất. Một trong những ưu tiên hàng đầu của tôi là giúp đẩy nhanh quá trình này. Sau đó, chúng tôi sẽ sử dụng đó làm bàn đạp để khám phá những ý tưởng mới giúp đưa ClickHouse tiến xa hơn nữa.

Một câu hỏi lớn hơn mà chúng tôi sẽ nghiên cứu là làm thế nào các DBMS như ClickHouse và PostgreSQL có thể tích hợp vào các công nghệ AI và công nghệ tác nhân (agentic) mới nổi. Vấn đề này có hai khía cạnh. Thứ nhất là xác định một DBMS cần trông như thế nào để hỗ trợ tốt hơn cho các tác nhân. Khía cạnh thứ hai là xác định cách các tác nhân có thể cải thiện và tự động hóa việc phát triển chính các DBMS đó. Mọi thứ đều đang được cân nhắc: phần cứng mới, thuật toán mới, cấu trúc dữ liệu mới, chiến lược thực thi mới và những cách thức mới để xây dựng và vận hành phần mềm DBMS. Mặc dù tôi chưa có câu trả lời cho những vấn đề này (đó là lý do tại sao đây là nghiên cứu), nhưng điều duy nhất tôi chắc chắn là nền tảng mô hình quan hệ vững chắc của ClickHouse giúp nó có vị thế tốt để phát triển cùng với các khối lượng công việc đòi hỏi dữ liệu lớn này.

Tôi đã dành cả sự nghiệp của mình để nghiên cứu cách xây dựng các hệ thống cơ sở dữ liệu và giúp đào tạo những người xây dựng chúng. Với ClickHouse Labs, giờ đây chúng tôi có cơ hội tạo ra một tổ chức chuyên tâm vào việc thúc đẩy cả hai lĩnh vực đó.