DumpsterCluster: Tận dụng GPU cũ giá rẻ để chạy mô hình LLaMA-70B

Tóm tắt AI

Nghiên cứu này chứng minh khả năng xây dựng cụm máy chủ 128 GPU từ linh kiện cũ để chạy suy luận LLM với chi phí thấp hơn đáng kể so với phần cứng hiện đại, đồng thời phân tích tính bền vững và hiệu quả kinh tế của giải pháp này.