Toyota Bắc Mỹ tối ưu hóa AI doanh nghiệp với Deep Agents và LangSmith

Toyota Motor North America là một trong những nhà sản xuất ô tô hàng đầu thế giới. Đội ngũ AI doanh nghiệp của họ, bao gồm các kỹ sư, kiến trúc sư, quản lý sản phẩm và những người truyền cảm hứng nội bộ, vận hành như một startup trong lòng tập đoàn. Đội ngũ khoảng 35 người này thiết lập "ngôi sao phương Bắc" (định hướng chiến lược) về AI cho toàn bộ doanh nghiệp, xây dựng các tiêu chuẩn mà mọi ứng dụng phải tuân theo, đồng thời phát triển các sản phẩm AI ưu tiên cao nhất bằng Deep Agents, LangGraph và LangSmith.

Một đội ngũ nhỏ với nhiệm vụ quy mô toàn doanh nghiệp

Đội ngũ AI doanh nghiệp của Toyota phục vụ các trường hợp sử dụng trên mọi khía cạnh của công ty: sản xuất, chuỗi cung ứng, dịch vụ tài chính, đại lý, phát triển trên xe, R&D và nhiều lĩnh vực khác. Đội ngũ khoảng ba chục người này không thể tự xây dựng công cụ từ đầu cho mỗi ứng dụng mới.

"Chúng tôi đã trải qua nỗi đau khi phải tự xây dựng mọi thứ. Chúng tôi đã nếm trải rất nhiều khó khăn khi cố gắng tự triển khai các giải pháp của riêng mình, và điều đó tiêu tốn rất nhiều nhân lực cũng như thời gian kỹ thuật," Kordel France, Giám đốc Kỹ thuật AI tại Toyota Motor North America cho biết.

Với nhiệm vụ phải đạt ngưỡng hoàn vốn (ROI) hàng năm từ 6 đến 7 con số cho mỗi dự án, đội ngũ cần một giải pháp đáp ứng nhu cầu triển khai các tác nhân (agents) có thể thay đổi đáng kể sản lượng và hiệu quả sản xuất.

ToyotaGPT: từ 6 tháng và 6 kỹ sư xuống còn 4 ngày và 1 kỹ sư

Trung tâm trong danh mục AI doanh nghiệp của Toyota là ToyotaGPT, nền tảng chủ lực nội bộ của đội ngũ. Nó bao gồm một thư viện ngày càng mở rộng các tác nhân tùy chỉnh, chuyên biệt theo từng lĩnh vực. Nhân viên ở các phòng ban sử dụng ToyotaGPT để nhận câu trả lời dựa trên dữ liệu nội bộ của Toyota, từ tài liệu sản xuất, báo cáo R&D đến hồ sơ chuỗi cung ứng. Quyền truy cập vào dữ liệu nền tảng được kiểm soát chặt chẽ; ví dụ, nếu một thành viên trong nhóm không có quyền truy cập SharePoint vào một tập dữ liệu, tác nhân sẽ không hiển thị dữ liệu đó.

Nền tảng hiện có hơn 50 tác nhân đang hoạt động. Trước khi đội ngũ xây dựng cơ sở hạ tầng phát triển hiện tại trên Deep Agents và LangGraph, việc triển khai một tác nhân mới mất 6 tháng và 6 kỹ sư. Ngày nay, chỉ mất 4 ngày và 1 kỹ sư.

Ravi Chandu Ummadisetti, Giám đốc AI tác nhân và Nghiên cứu sản phẩm, mô tả nền tảng này: "Deep Agents của LangChain là một khái niệm tuyệt vời. Chỉ với một lệnh duy nhất, create deep agent, bạn sẽ có được một bộ khung mạnh mẽ và toàn bộ hệ sinh thái cho mỗi tác nhân mới."

Thay vì mã hóa kiến thức chuyên môn của Toyota vào từng tác nhân riêng lẻ, đội ngũ AI doanh nghiệp đã xây dựng một thư viện các kỹ năng có thể tái sử dụng bao gồm sản xuất, chuỗi cung ứng, R&D, thương hiệu và nhiều lĩnh vực khác. Những kỹ năng đó được đưa vào Deep Agents tại thời điểm chạy (runtime), cung cấp kiến thức tổ chức trực tiếp cho mô hình dưới dạng có thể di chuyển linh hoạt giữa các trường hợp sử dụng.

GearPal: giữ cho mọi cỗ máy trên dây chuyền sản xuất luôn vận hành

Dây chuyền sản xuất là sản phẩm vĩ đại nhất của Toyota. Nó tạo ra mọi chiếc xe mà Toyota bán ra, và đó là hệ thống đã biến Toyota thành một trong những nhà sản xuất vĩ đại nhất thế giới—một hoạt động tự tiến hóa, liên tục thích nghi với các công nghệ mới. Mỗi phút dừng máy ngoài kế hoạch tiêu tốn của Toyota từ hàng trăm nghìn đến hàng triệu đô la tùy thuộc vào vị trí xảy ra sự cố trên dây chuyền.

Để giảm thiểu thời gian chết, đội ngũ AI doanh nghiệp đã xây dựng GearPal, một ứng dụng cung cấp cho bất kỳ kỹ thuật viên máy móc nào giao diện ngôn ngữ tự nhiên để chẩn đoán các vấn đề với bất kỳ robot sản xuất hoặc tài sản nào trên dây chuyền. Một kỹ thuật viên có thể đến gần, hỏi tại sao máy bị hỏng và cách sửa chữa, và GearPal sẽ hiển thị các chẩn đoán liên quan, hồ sơ bảo trì lịch sử và hướng dẫn sửa chữa. Những việc trước đây có thể mất 5 đến 6 giờ chẩn đoán nay được giải quyết trong 2 đến 3 phút.

GearPal cũng giải quyết vấn đề chuyển giao kiến thức giữa các thế hệ; khi các kỹ thuật viên kỳ cựu nghỉ hưu, nhân viên mới cần các công cụ hiển thị chuyên môn của tổ chức. Tại đây, các kỹ năng cũng đóng vai trò quan trọng, hệ thống hóa kiến thức máy móc để giúp nhân viên mới và nhân viên lâu năm khắc phục sự cố nhanh chóng. Đội ngũ cũng đã thêm một cổng LLM để xử lý các phương án dự phòng trong trường hợp nhà cung cấp gặp sự cố, nhằm đảm bảo GearPal đủ tin cậy để triển khai trên dây chuyền sản xuất thực tế.

R&D GPT: nén nhiều năm nghiên cứu thành vài tháng

Về phía R&D, đội ngũ của Ravi đang giải quyết một vấn đề khác nhưng cũng quan trọng không kém. Tài liệu nghiên cứu của Toyota rất rộng lớn, mang tính kỹ thuật cao và được phân tán trên hàng chục kho lưu trữ tài liệu. Việc phát triển một thứ tưởng chừng đơn giản như lớp sơn trên xe Toyota cũng đòi hỏi nhiều năm nghiên cứu công thức, với các thử nghiệm trong điều kiện nhiệt độ khắc nghiệt, phân tích khả năng chống ăn mòn và xác thực độ chính xác của ứng dụng robot.

R&D GPT là một tác nhân, được xây dựng trên Deep Agents, cho phép các nhà nghiên cứu truy vấn tất cả các tài liệu R&D nội bộ của Toyota và làm nổi bật những sắc thái mà nếu không có nó sẽ cần hàng tuần để xem xét thủ công. Kể từ khi ra mắt tác nhân này, thời gian nghiên cứu đã rút ngắn từ khoảng 3 năm xuống còn 1 năm.

Một thách thức kỹ thuật chính là độ chính xác của việc truy xuất trên các lĩnh vực chồng chéo (sơn, ăn mòn, vật liệu ghế, da, v.v.). Ví dụ, trước đây, một truy vấn về sơn đôi khi sẽ lấy nhầm dữ liệu từ cơ sở dữ liệu ăn mòn. Để khắc phục, đội ngũ đã xây dựng một hệ thống gọi công cụ song song dựa trên LangGraph. Khi tác nhân không tìm thấy tài liệu trong công cụ chính, nó sẽ đồng thời truy vấn các công cụ phụ và hợp nhất kết quả trước khi phản hồi.

LangSmith: bảng Andon cho AI

Bảng Andon, một trong những nguyên tắc sản xuất nền tảng của Toyota, cung cấp cho mọi người trên sàn nhà máy cái nhìn thời gian thực về những gì đang chạy, những gì đang lỗi và nơi cần phân bổ nguồn lực. LangSmith, theo lời của Kordel, chính là bảng Andon cho các ứng dụng AI của Toyota.

"LangSmith cho chúng tôi khả năng giám sát tất cả các tác nhân của mình, hiểu được cái gì đang hoạt động, cái gì không, lệnh gọi công cụ nào đã thất bại, PR nào vừa làm hỏng đường ống (pipeline) và những tính năng nào người dùng đang sử dụng," Kordel giải thích. "Khả năng quan sát này không chỉ quan trọng để chúng tôi xây dựng sản phẩm tốt hơn mà còn để thuyết phục các bên liên quan rằng mọi công cụ chúng tôi đang xây dựng đều an toàn."

Với LangSmith, đội ngũ có thể theo dõi các tương tác của từng tác nhân, xác định các lỗi truy xuất và định lượng các mô hình hành vi trên các nhóm người dùng—điều cần thiết để thu hẹp khoảng cách giữa sự tự tin của kỹ thuật và sự phê duyệt của ban lãnh đạo. "Khả năng quan sát của LangSmith có lẽ là tài sản lớn nhất của chúng tôi từ toàn bộ hệ sinh thái LangChain," Kordel nói.

Đội ngũ cũng áp dụng LangSmith Insights Agent cho ToyotaGPT ở cấp độ nền tảng, sử dụng nó để hiểu cách các phòng ban khác nhau đang áp dụng hệ thống và xác định những tác nhân mới, chuyên biệt nào đáng được ưu tiên tiếp theo.

Hướng tới khoản tiết kiệm 8 con số

Mỗi trường hợp sử dụng trong sản xuất đều đang trên đà mang lại ít nhất 6 con số tiết kiệm hàng năm cho mỗi dây chuyền, mỗi xưởng và mỗi nhà máy. Khi ngoại suy trên toàn bộ quy mô sản xuất của Toyota tại Bắc Mỹ, Kordel dự đoán mức tiết kiệm hàng triệu đô la mỗi năm cho mỗi cơ sở khi danh mục đầu tư hoàn thiện.

"Hy vọng năm tới khi chúng ta trò chuyện, tôi có thể nói rằng chúng ta đang ở mức tiết kiệm từ 7 đến 8 con số. Chúng tôi dự đoán điều đó trong vài năm tới," Kordel nói.

Ngay lập tức, chu kỳ phân phối tác nhân 4 ngày có nghĩa là đội ngũ hiện có thể bắt kịp nhu cầu từ khắp doanh nghiệp. Với hơn 50 tác nhân đang hoạt động và một nền tảng có khả năng mở rộng, mục tiêu của đội ngũ AI doanh nghiệp rất đơn giản: "AI sẽ nằm trên bảng cân đối kế toán, và đó sẽ là nhờ LangChain. Chúng ta sẽ thấy những tác động và chúng ta sẽ thấy lợi tức đầu tư."

Tìm hiểu thêm về cách Deep Agents và LangSmith có thể tăng tốc quá trình phát triển tác nhân.