Giải mã chú ý theo phân đoạn và mã hóa âm thanh định dạng dài

Tác giả: Pawel Swietojanski, Xinwei Li, Mingbin Xu, Takaaki Hori, Dogan Can, Xiaodan Zhuang

Chúng tôi giải quyết sự không tương thích cơ bản của các mô hình encoder-decoder dựa trên cơ chế attention (AED) với các mã hóa âm thanh dạng dài (long-form). Các mô hình AED được huấn luyện trên các đoạn hội thoại đã phân đoạn học cách mã hóa vị trí khung hình tuyệt đối bằng cách khai thác ngữ cảnh âm thanh hạn chế ngoài ranh giới phân đoạn, nhưng lại thất bại trong việc khái quát hóa khi giải mã các phân đoạn dài nơi các tín hiệu này biến mất. Mô hình mất khả năng sắp xếp các mã hóa âm thanh do tính bất biến hoán vị của các key và value trong cross-attention. Chúng tôi đề xuất bốn sửa đổi: (1) đưa các mã hóa vị trí tuyệt đối rõ ràng vào cross-attention cho mỗi phân đoạn được giải mã, (2) huấn luyện dạng dài với ngữ cảnh âm thanh mở rộng để loại bỏ mã hóa vị trí tuyệt đối ngầm định, (3) nối các phân đoạn để bao phủ các cách phân đoạn đa dạng cần thiết trong quá trình huấn luyện, và (4) phân đoạn ngữ nghĩa để căn chỉnh các phân đoạn được giải mã bởi AED với các phân đoạn huấn luyện. Chúng tôi chứng minh rằng những sửa đổi này thu hẹp khoảng cách độ chính xác giữa các mã hóa âm thanh liên tục và phân đoạn, cho phép sử dụng bộ giải mã attention theo cơ chế tự hồi quy (auto-regressive).

Các bài đọc liên quan và cập nhật.

Những năm gần đây đã chứng kiến sự phát triển nhanh chóng của phân đoạn hình ảnh thế giới mở (open-world image segmentation), bao gồm phân đoạn từ vựng mở (open-vocabulary segmentation) và phân đoạn trong ngữ cảnh (in-context segmentation). Tuy nhiên, các phương pháp hiện có vẫn bị giới hạn ở một prompt đơn phương thức, thiếu sự linh hoạt và độ chính xác cần thiết cho việc gợi ý nhận thức đối tượng phức tạp. Trong công trình này, chúng tôi giới thiệu COSINE, một mô hình phân đoạn thế giới mở thống nhất giúp hợp nhất phân đoạn từ vựng mở và phân đoạn trong ngữ cảnh…

Đọc thêm

Camera (trên iOS và iPadOS) dựa vào hàng loạt công nghệ hiểu cảnh để phát triển hình ảnh. Cụ thể, khả năng hiểu nội dung hình ảnh ở cấp độ pixel, hay còn gọi là phân đoạn hình ảnh (image segmentation), là nền tảng cho nhiều tính năng nổi bật của ứng dụng. Phân đoạn người và ước tính độ sâu hỗ trợ Chế độ Chân dung (Portrait Mode), mô phỏng các hiệu ứng như độ sâu trường ảnh nông và Ánh sáng sân khấu (Stage Light). Phân đoạn người và da hỗ trợ kết xuất ngữ nghĩa trong các bức ảnh nhóm lên đến bốn người, tối ưu hóa độ tương phản, ánh sáng và thậm chí cả tông màu da cho từng chủ thể riêng biệt. Phân đoạn người, da và bầu trời hỗ trợ các Phong cách Nhiếp ảnh (Photographic Styles), tạo ra diện mạo cá nhân cho ảnh của bạn bằng cách áp dụng chọn lọc các điều chỉnh vào đúng khu vực dựa trên các mặt nạ phân đoạn, đồng thời vẫn bảo toàn tông màu da. Phân đoạn bầu trời và da hỗ trợ các thuật toán khử nhiễu và làm sắc nét để cải thiện chất lượng hình ảnh ở những vùng có kết cấu thấp. Nhiều tính năng khác cũng sử dụng phân đoạn hình ảnh như một đầu vào thiết yếu.

Đọc thêm