Hướng dẫn xây dựng trợ lý đặt bàn nhà hàng qua điện thoại với Patter SDK

Trong bài hướng dẫn này, chúng ta sẽ khám phá Patter SDK bằng cách xây dựng một quy trình làm việc cho voice-agent (tác nhân giọng nói), mô phỏng cách một trợ lý điện thoại AI vận hành trong các cuộc hội thoại thực tế. Chúng ta sẽ làm việc với trường hợp sử dụng đặt bàn nhà hàng, trong đó chúng ta định nghĩa các biến người gọi động, đăng ký các công cụ có thể gọi, áp dụng các rào cản đầu ra (output guardrails), mô phỏng hành vi chuyển đổi giọng nói thành văn bản (speech-to-text) và văn bản thành giọng nói (text-to-speech), đồng thời chạy một luồng cuộc gọi theo kịch bản hoàn chỉnh mà không cần đến thông tin xác thực điện thoại thực tế. Chúng ta cũng sẽ kiểm tra Patter API đã cài đặt (nếu có), tạo ra một "bộ não" tác nhân mang tính quyết định, theo dõi các chỉ số về độ trễ và chi phí mô hình, đồng thời xác thực hệ thống thông qua các đánh giá kiểu hồi quy. Cuối cùng, chúng ta sẽ hiểu cách Patter SDK tích hợp logic tác nhân, việc sử dụng công cụ, kiểm tra an toàn, mô phỏng cuộc gọi và các mô hình triển khai thực tế vào một quy trình voice-agent có cấu trúc duy nhất.

Thiết lập Patter SDK, các công cụ và Backend nhà hàng

Chúng ta thiết lập môi trường hướng dẫn bằng cách nhập các thư viện cần thiết, cài đặt Patter SDK (tùy chọn) và kiểm tra API đã cài đặt khi có sẵn. Chúng ta định nghĩa các biến người gọi động, tạo một registry công cụ nhỏ và chuẩn bị một backend nhà hàng lưu trữ trong bộ nhớ (in-memory) để xử lý tình trạng sẵn có, đặt chỗ, giờ mở cửa và chuyển cuộc gọi. Chúng ta cũng đăng ký các công cụ cốt lõi cho phép tác nhân điện thoại mô phỏng của mình kiểm tra bàn, đặt chỗ, tra cứu mã xác nhận và chuyển hướng người gọi cho nhân viên con người.

Thêm các rào cản đầu ra và các lớp mô phỏng giọng nói

Chúng ta xây dựng lớp rào cản đầu ra giúp giữ cho trợ lý điện thoại an toàn, súc tích và phù hợp với trường hợp sử dụng đặt bàn. Chúng ta sẽ biên tập lại thông tin nhạy cảm, ẩn ID khách hàng nội bộ, loại bỏ ngôn ngữ không mong muốn, chặn các yêu cầu lạc đề và giữ cho phản hồi ngắn gọn để có trải nghiệm điện thoại tốt hơn. Sau đó, chúng ta mô phỏng hành vi chuyển đổi giọng nói thành văn bản và ngược lại, định nghĩa system prompt và thêm các hàm phân tích cú pháp nhẹ cho quy mô nhóm khách, ngày tháng, khung giờ, tên và mã đặt chỗ.

Xây dựng bộ não tác nhân và trình mô phỏng cuộc gọi

Chúng ta triển khai bộ não tác nhân chính để điều khiển luồng hội thoại xuyên suốt các tác vụ đặt bàn, tra cứu đặt chỗ, giải đáp giờ mở cửa, chuyển cuộc gọi cho nhân viên và các phản hồi dự phòng. Chúng ta sử dụng dữ liệu đầu vào đã phân tích của người gọi và trạng thái hội thoại được lưu trữ để quyết định khi nào cần đặt câu hỏi tiếp theo, gọi công cụ hoặc hoàn tất đặt chỗ. Chúng ta cũng tạo một trình mô phỏng cuộc gọi với các đối tượng lượt hội thoại (turn objects) có cấu trúc để chạy các cuộc hội thoại theo kịch bản và thu thập dữ liệu về độ trễ, công cụ và bản ghi hội thoại.

In bản ghi hội thoại, bảng điều khiển độ trễ và các đánh giá hồi quy

Chúng ta định dạng kết quả cuộc gọi mô phỏng thành một bản ghi dễ đọc và một bảng điều khiển kiểu Patter tóm tắt các lượt hội thoại của tác nhân, các lệnh gọi công cụ, độ trễ và chi phí ước tính. Chúng ta cũng xây dựng một bộ đánh giá mang tính quyết định để kiểm tra xem tác nhân có hoàn tất việc đặt bàn, bảo vệ ID nội bộ, từ chối các yêu cầu y tế nằm ngoài phạm vi, chuyển cuộc gọi cho nhân viên, xử lý tình trạng hết chỗ và giữ cho phản hồi ngắn gọn hay không. Chúng ta sử dụng các kiểm tra này để xác thực rằng quy trình voice-agent hoạt động ổn định trước khi tiến hành triển khai thực tế.

Chuyển sang các cuộc gọi thực tế với Twilio và OpenAI Realtime

Chúng ta chuẩn bị một mẫu triển khai kiểu sản xuất, cho thấy cách logic đã được kiểm thử có thể được chuyển từ Colab sang thiết lập voice-agent thực tế. Chúng ta bao gồm cấu trúc để sử dụng Patter với Twilio, OpenAI Realtime, các công cụ đã đăng ký, biến động, rào cản, phục vụ cuộc gọi đến, giám sát bảng điều khiển, ghi âm và gọi đi. Sau đó, chúng ta chạy toàn bộ hướng dẫn bằng cách hiển thị API đã cài đặt, thực hiện hai cuộc gọi demo, in bảng điều khiển, chạy đánh giá và hiển thị mã triển khai cuộc gọi thực tế cuối cùng.

Kết luận

Tóm lại, chúng ta đã xây dựng một quy trình voice-agent kiểu Patter hoàn chỉnh, phản ánh cấu trúc cốt lõi của một hệ thống AI giọng nói trong môi trường sản xuất. Chúng ta đã tạo các công cụ để kiểm tra tình trạng sẵn có, đặt bàn, tra cứu đặt chỗ và chuyển người gọi cho nhân viên, sau đó kết hợp chúng với các rào cản, hội thoại theo kịch bản, độ trễ mô phỏng, bảng điều khiển và các kiểm tra đánh giá. Chúng ta cũng thấy được cách logic đã kiểm thử có thể chuyển từ mô phỏng Colab khép kín sang các cuộc gọi điện thoại thực tế thông qua Twilio, OpenAI Realtime, tunneling và giao diện triển khai của Patter. Ngoài ra, chúng ta đã kết thúc với sự hiểu biết vững chắc về cách tạo mẫu, kiểm thử, giám sát và chuẩn bị một ứng dụng voice-agent trước khi kết nối nó với cơ sở hạ tầng điện thoại trực tiếp.

Xem toàn bộ mã nguồn với Notebook tại đây. Ngoài ra, hãy theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi và đăng ký nhận bản tin. Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hoặc hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.

Sana Hassan, thực tập sinh tư vấn tại Marktechpost và là sinh viên bằng kép tại IIT Madras, rất tâm huyết với việc ứng dụng công nghệ và AI để giải quyết các thách thức thực tế. Với sự quan tâm sâu sắc đến việc giải quyết các vấn đề thực tiễn, cô mang đến một góc nhìn mới mẻ cho sự giao thoa giữa AI và các giải pháp đời sống.