Khi dữ liệu cạn kiệt: Liệu trọng số mô hình có trở thành 'nhiên liệu' mới cho AI?

Điểm tin trước thềm ACL 2019: Những khám phá mới nhất về mô hình ngôn ngữ tiền huấn luyện

Chuyên gia phân tích kỹ thuật của Machine (Jiqizhixin) đã chọn lọc các bài báo về mô hình ngôn ngữ được chấp nhận tại ACL 2019... Đây là một mô hình tiền huấn luyện gồm 12 lớp transformer, với kho ngữ liệu huấn luyện bao gồm...

Machine (Jiqizhixin)

Thiếu dữ liệu chất lượng cao để huấn luyện mô hình lớn? Chúng tôi đã tìm ra một giải pháp mới

Tác giả gốc từ Machine: WX. Khó khăn chính trong việc thu thập dữ liệu huấn luyện chất lượng cao nằm ở chỗ các doanh nghiệp... "Khi nhìn nhận ngành công nghiệp mô hình lớn như một chuỗi từ dữ liệu đến ứng dụng, chúng ta sẽ thấy rằng..."

Machine (Jiqizhixin)

Điểm tin AI tuần này: Baidu NLP mã nguồn mở phương pháp tiền huấn luyện đa phương thức thống nhất, kết hợp ngôn ngữ và thị giác, đứng đầu nhiều bảng xếp hạng; tạo mô hình GAN chỉ bằng một bản phác thảo, người mới cũng có thể dễ dàng sử dụng.

Việc tiền huấn luyện mô hình ngôn ngữ dựa trên kho ngữ liệu lớn đã đạt được những thành tựu trong việc xây dựng các biểu diễn ngữ cảnh phong phú... Nguồn tin: Machine. 05. Chà! Bilibili bất ngờ mở mã nguồn một dự án AI Dota2...

PaddlePaddle

Liệu AI có thực sự hiểu được ngôn ngữ con người? Đây là bản hướng dẫn toàn diện về "Khả năng giải thích của AI" (AI Explainability).

Sự kiện do Machine phối hợp cùng Future Forum và Nhà xuất bản Bưu điện Nhân dân đồng tổ chức về "Quản trị AI và Đạo đức..." nhằm huấn luyện một mô hình đạt hiệu quả tốt mà không làm rò rỉ dữ liệu nhạy cảm. Tuy nhiên, điều này...

Tencent Tech

Google cuối cùng đã mở mã nguồn BERT: 300 triệu tham số, Machine giải mã toàn diện.

Mỗi tệp ZIP đều chứa ba phần, bao gồm các tệp ckpt lưu trữ mô hình tiền huấn luyện và trọng số... Machine sẽ giúp bạn hiểu về hệ thống dịch máy thần kinh tiền huấn luyện. Trong đó, cơ chế chú ý tích vô hướng (dot-product attention) là...

Machine (Jiqizhixin)

RNNsearch, Multi-task, attention-model... bạn đã nắm vững chưa? Tổng hợp các mô hình kinh điển cần biết về dịch máy (Phần 1).

Chuyên mục Machine. Chuyên mục này được sản xuất bởi trạm tài nguyên mô hình SOTA! của Machine, vào mỗi Chủ nhật hàng tuần... và huấn luyện các tham số của nó thông qua dữ liệu song ngữ. Trong giai đoạn kiểm thử, khi chọn một từ w...

Machine (Jiqizhixin)

Huấn luyện một phiên bản ChatGPT tiếng Trung không khó đến thế: Không cần A100, chỉ cần Alpaca-LoRA mã nguồn mở + RTX 4090 là đủ.

Báo cáo từ Machine, Ban biên tập Machine: Alpaca-LoRA giúp tinh chỉnh các mô hình dạng ChatGPT... card đồ họa, chỉ mất 5 giờ để huấn luyện một mô hình có trình độ tương đương với Alpaca, đưa...

Machine (Jiqizhixin)

Học thuật: Tổng hợp bài báo trong tuần: Làm thế nào để dạy máy tính đọc và hiểu.

Từ mô hình đầu tiên Attentive Reader đến mô hình cuối cùng Iterative Alternating... Bài viết này được Machine đăng tải lại sau khi đã được cấp phép, vui lòng liên hệ với tài khoản chính thức này để xin phép nếu muốn đăng lại. ✄----------...

Machine (Jiqizhixin)

Hiệu năng vượt trội toàn diện so với LLaMA2, thương mại hóa không rào cản, mô hình lớn "cây nhà lá vườn" này sắp thay đổi cục diện cạnh tranh mã nguồn mở.

Báo cáo từ Machine, Ban biên tập Machine: Nhịp độ tiến hóa trong lĩnh vực mô hình lớn mã nguồn mở ngày càng... kho ngữ liệu chất lượng cao "SkyPile". Sau khi huấn luyện xong, họ đã chọn lọc ra một tập hợp 600...

Machine (Jiqizhixin)

MoE – kiến trúc được OpenAI và Mistral AI "lăng xê" là gì? Tìm hiểu tường tận về triển khai kiến trúc Chuyên gia hỗn hợp (Mixture of Experts).

Hai đợt đẩy mạnh từ Mistral AI đã khiến MoE trở thành chủ đề nóng nhất trong cộng đồng AI mở... việc thiết lập các lớp như một nhánh dẫn đến tốc độ tính toán mô hình chậm chạp, vì GPU không được thiết kế cho...

Machine (Jiqizhixin)

1 2 3 4 5 6 7 8 9 10 Trang sau

Tìm thấy khoảng 513 kết quả