Hướng dẫnĐiểm AI 65/100
Đánh giá API suy luận độ trễ thấp cho tác nhân AI giọng nói: Tại sao TTFT chưa đủ?
Trải nghiệm thực tế của tác nhân AI giọng nói phụ thuộc vào độ trễ câu đầu (TTFS) thay vì chỉ TTFT. Bài viết phân tích ngân sách độ trễ cho toàn bộ quy trình STT, LLM và TTS để đạt mục tiêu phản hồi dưới 1.2 giây.