Triển khai mô hình từ Hugging Face lên Amazon SageMaker Studio chỉ với một cú nhấp chuột

Quay lại các bài viết

Hôm nay, chúng tôi rất vui mừng thông báo về việc tích hợp liên kết sâu (deep-link) giữa Hugging Face và Amazon SageMaker AI. Các nhà phát triển giờ đây có thể chuyển từ bước khám phá mô hình sang thử nghiệm thực tế trong SageMaker Studio chỉ với một lựa chọn duy nhất. Cho dù bạn tinh chỉnh (fine-tune) một mô hình nền tảng (FM) từ Amazon SageMaker JumpStart hay triển khai nó tới một điểm cuối (endpoint) Amazon SageMaker Inference, giờ đây bạn đều có thể truy cập trực tiếp vào quy trình làm việc tương ứng trong SageMaker Studio. Mô hình bạn chọn sẽ được tải sẵn, đồng thời môi trường cũng được cấu hình đầy đủ và sẵn sàng để sử dụng.

Trước đây, để bắt đầu làm việc trên SageMaker Studio sau khi tìm thấy một mô hình trên Hugging Face, bạn phải thực hiện nhiều bước trung gian như mở Amazon SageMaker AI trong AWS Console, tạo domain, cấu hình quyền IAM và đôi khi phải yêu cầu hạn mức GPU. Đối với những nhà phát triển muốn lặp lại quy trình nhanh chóng, sự bất tiện này làm chậm quá trình từ lúc có ý tưởng đến khi bắt đầu thử nghiệm. Việc tích hợp này tạo ra một con đường trực tiếp hơn từ khâu khám phá đến triển khai ở cấp độ doanh nghiệp.

“Tại Arcee, chúng tôi xây dựng các mô hình mở để các nhà phát triển và doanh nghiệp có thể thực sự làm chủ những gì họ vận hành: kiểm tra trọng số (weights), hậu đào tạo (post-train) trên dữ liệu của riêng họ và triển khai theo các điều kiện của riêng họ. Sự tích hợp này giúp hiện thực hóa cam kết đó ở chặng cuối. Việc chuyển từ một mô hình mở trên Hugging Face thẳng vào SageMaker Studio chỉ bằng một cú nhấp chuột, sau đó tinh chỉnh hoặc triển khai nó trong môi trường AWS của riêng bạn mà không cần phải thiết lập thủ công, chính là trải nghiệm mà các mô hình mở còn thiếu. Trọng số mở mà bạn sở hữu, chạy trên đám mây mà bạn kiểm soát. Đó chính xác là sự kết hợp mà khách hàng của chúng tôi đã mong đợi.”

— Mark McQuade, Nhà sáng lập và CEO, Arcee AI

Với việc ra mắt trải nghiệm truy cập Studio chỉ bằng một cú nhấp chuột, việc chọn Customize on SageMaker AI (Tùy chỉnh trên SageMaker AI) hoặc Deploy on SageMaker AI (Triển khai trên SageMaker AI) trên trang mô hình Hugging Face được hỗ trợ sẽ đưa bạn trực tiếp đến bảng điều khiển. Sau đó, SageMaker AI sẽ tự động cung cấp một domain mới với các quyền đã được cấu hình sẵn trong vài giây và chuyển tiếp ngữ cảnh mô hình đi kèm.

Có gì mới

Lần ra mắt này giới thiệu ba khả năng giúp rút ngắn con đường từ một mô hình Hugging Face đến quy trình làm việc hiệu quả trên SageMaker Studio.

Liên kết sâu từ Hugging Face vào SageMaker Studio

Khi duyệt các mô hình trên Hugging Face, bạn sẽ thấy các nút hành động bên cạnh các mô hình được hỗ trợ, liên kết trực tiếp đến các quy trình làm việc của SageMaker Studio:

Mỗi điểm truy cập đều bảo toàn ngữ cảnh, nghĩa là bạn không cần phải tìm kiếm lại mô hình một lần nữa khi đã vào bên trong Studio.

Quyền truy cập được cấu hình sẵn

Các môi trường Studio mới được tạo thông qua luồng này đi kèm với các quyền đã được cấu hình sẵn cho toàn bộ các khả năng của SageMaker AI, bao gồm tùy chỉnh mô hình, công việc đào tạo, thử nghiệm trên notebook và triển khai điểm cuối. Một chính sách quản lý mới, AmazonSageMakerModelCustomizationCoreAccess, sẽ được tạo và đính kèm cho bạn. Chính sách này cung cấp quyền cho các công việc tùy chỉnh mô hình không máy chủ (serverless) sử dụng tinh chỉnh có giám sát (SFT), tối ưu hóa ưu tiên trực tiếp (DPO), học tăng cường với phần thưởng có thể kiểm chứng (RLVR) và học tăng cường từ phản hồi của AI (RLAIF), cùng với khả năng triển khai tới các điểm cuối SageMaker AI hoặc Amazon Bedrock. Điều này giúp loại bỏ nhu cầu phải tạo và cấu hình thủ công các vai trò và chính sách AWS Identity and Access Management (IAM) trước khi bạn có thể bắt đầu thử nghiệm. Đối với các môi trường Studio hiện có, các thông báo hướng dẫn kèm liên kết trực tiếp đến tài liệu sẽ hỗ trợ bạn thêm các quyền này.

Hiển thị hạn mức GPU

Khi chọn loại instance để triển khai hoặc đào tạo, giao diện người dùng (UI) của Studio hiện sẽ hiển thị hạn mức khả dụng trực tiếp trong danh sách chọn instance. Bạn có thể thấy ngay loại instance GPU (G5, G6) nào khả dụng trong giới hạn hiện tại của tài khoản. Bạn không cần phải điều hướng riêng đến Service Quotas. Nếu vẫn cần yêu cầu tăng giới hạn, bạn sẽ được chuyển hướng trực tiếp đến trang Service Quotas cho loại instance tương ứng.

Hướng dẫn: Liên kết sâu từ Hugging Face đến SageMaker Studio

Hãy cùng trải nghiệm quy trình tùy chỉnh hoặc triển khai một mô hình bắt đầu từ Hugging Face.

Bước 1: Khám phá và lựa chọn

Trên trang mô hình Hugging Face, nhấp vào “Deploy” và chọn “Amazon SageMaker AI”. Nếu mô hình được hỗ trợ, bạn sẽ thấy hai nút: “Deploy on SageMaker AI” và “Customize on SageMaker AI”. Sau đó, chọn “Customize on SageMaker AI” cho mô hình được hỗ trợ.

Bước 2: Đăng nhập

Bạn sẽ được nhắc đăng nhập vào AWS bằng thông tin xác thực hiện có của mình. Nếu bạn đã có phiên làm việc đang hoạt động trên bảng điều khiển, bước này sẽ tự động được bỏ qua. Để biết thêm thông tin, hãy xem Đăng nhập vào AWS Management Console.

Bước 3: Truy cập vào Studio

Bạn sẽ đến trực tiếp trang Model Customization (Tùy chỉnh mô hình) bên trong SageMaker Studio với mô hình đã được chọn sẵn. Tiếp theo, hãy cấu hình các tham số tinh chỉnh của bạn như dữ liệu đào tạo, siêu tham số (hyperparameters) và loại instance, sau đó gửi công việc tùy chỉnh.

Ngoài ra, việc chọn Deploy on SageMaker AI sẽ mở trang triển khai điểm cuối trong Studio với mô hình đã được cấu hình sẵn. Chọn loại instance của bạn (đã bao gồm hiển thị hạn mức), xem lại các cài đặt và triển khai.

Bước 4: Kiểm tra điểm cuối của bạn

Sau khi triển khai điểm cuối, hãy kiểm tra suy luận (inference) trực tiếp từ giao diện kiểm tra điểm cuối của Studio.

Bắt đầu sử dụng

Bạn có thể thử trải nghiệm này ngay hôm nay:

Kết luận

Việc ra mắt trải nghiệm truy cập Studio chỉ bằng một cú nhấp chuột giúp giảm thiểu sự bất tiện giữa việc khám phá mô hình và thử nghiệm mô hình đó. Bằng cách kết nối trực tiếp Hugging Face với các quy trình làm việc của SageMaker Studio, các nhà phát triển có thể duy trì luồng công việc của mình. Không còn tình trạng chuyển đổi ngữ cảnh, không cần thiết lập môi trường thủ công và không còn lỗi về quyền truy cập.

Để bắt đầu, hãy truy cập trang Amazon SageMaker Studio hoặc khám phá các mô hình trên Hugging Face và chọn Deploy hoặc Customize on SageMaker AI.