Cách chạy, gỡ lỗi và mở rộng khối lượng công việc Databricks trực tiếp từ IDE cá nhân

Kết nối trình soạn thảo cục bộ hoặc CLI của bạn với tài nguyên tính toán, workspace và Unity Catalog của Databricks để phát triển kỹ thuật dữ liệu và ML một cách liền mạch.

bởi Tanishq Maheshwari và Matt Jones

Workspace của Databricks được xây dựng có mục đích cho việc phân tích và kỹ thuật dữ liệu. Tuy nhiên, bạn có thể thích sử dụng các IDE cục bộ và CLI để tận dụng bộ công cụ riêng của mình cũng như các tác nhân lập trình (coding agents) như Cursor, Copilot và Claude Code. Điều này đặc biệt đúng khi phát triển các pipeline phức tạp, quy mô lớn hoặc các mô hình học máy.

Cho đến nay, tiện ích mở rộng Databricks cho Visual Studio và Cursor cùng với Databricks Connect đã cho phép phát triển Spark cục bộ bằng cách sử dụng tài nguyên tính toán của Databricks. Tuy nhiên, việc chạy các khối lượng công việc không phải Spark từ xa và giữ cho các phụ thuộc (dependencies) đồng bộ với Databricks Runtime vẫn là những điểm gây khó khăn phổ biến.

Giờ đây, chúng tôi đang giải quyết những hạn chế này. Với các bản cập nhật mới nhất cho trải nghiệm IDE, bạn có thể kết nối trực tiếp VS Code, Cursor hoặc terminal của mình với tài nguyên tính toán của Databricks. Chạy, gỡ lỗi và mở rộng quy mô các khối lượng công việc Python và SQL trên cơ sở hạ tầng cluster thực tế trong khi vẫn duy trì mọi sự tiện lợi của IDE mà bạn quen dùng.

Thực thi từ xa mà không cần thỏa hiệp

Sử dụng đường truyền SSH (SSH tunnel) mới của chúng tôi (xem tài liệu), bạn có thể kết nối trình soạn thảo cục bộ hoặc CLI của mình với Serverless, AI Runtime và các cluster chuyên dụng:

Chạy và gỡ lỗi tương tác các tệp workspace và notebook ngay từ VS Code, Cursor hoặc CLI.

Sử dụng cùng một môi trường trên cả IDE và workspace, các phụ thuộc và tệp của bạn luôn được đồng bộ với Databricks Runtime và workspace.

Tận dụng các tác nhân lập trình trong đường truyền SSH để chúng có đầy đủ ngữ cảnh của workspace và làm việc với Databricks hiệu quả hơn. Cursor và Copilot hoạt động ngay lập tức, trong khi các tác nhân khác như Claude Code có thể được cài đặt khi đường truyền SSH đang chạy.

Việc bắt đầu rất đơn giản. Bạn có thể kết nối với đường truyền SSH chỉ bằng một lệnh duy nhất sử dụng Databricks CLI:

Bạn cũng có thể khởi động đường truyền SSH trong IDE bằng cách thêm cờ --ide vscode hoặc --ide cursor.

Ngoài ra, bạn có thể khởi động đường truyền SSH trực tiếp từ phiên bản mới nhất của tiện ích mở rộng IDE.

Chúng tôi cũng đã bổ sung các tính năng khác giúp việc sử dụng CLI và IDE làm nơi làm việc chính của bạn trở nên dễ dàng hơn:

Để biết chi tiết đầy đủ về cách kết nối với đường truyền SSH, hãy xem tài liệu tại đây.

Tiếp theo là gì

Kết luận

Với những tính năng này, bạn có thể phát triển từ bất kỳ môi trường nào mình thích trong khi vẫn vận hành ở vị thế tiên phong của kỹ thuật dữ liệu và ML. Hãy hướng IDE và các tác nhân của bạn vào Databricks, chạy và gỡ lỗi trên tài nguyên tính toán thực tế, đồng thời duy trì vòng lặp phát triển nhanh chóng.

Tìm hiểu thêm + Các bước tiếp theo

Để bắt đầu với các công cụ phát triển được giới thiệu trong bài viết này, hãy xem các tài liệu sau:

Để hiểu công cụ nào phù hợp nhất với nhu cầu của bạn, hãy xem phần Kết nối từ IDE của bạn (Connect from your IDE).