Rohan Paul@rohanpaul_aiNghiên cứuĐiểm AI 47/100
Nghiên cứu mới: LLM đang mất đi tính đa dạng so với dữ liệu huấn luyện gốc
LLMs learn a narrower set of answers than their training data, even when you sample instead of using…
DịchNghiên cứu chỉ ra rằng các mô hình như OLMo hay GPT-Neo có độ đa dạng đầu ra thấp hơn đáng kể so với dữ liệu huấn luyện. Việc cố gắng tăng độ đa dạng bằng cách điều chỉnh nhiệt độ (temperature) thường làm giảm độ chính xác và hiệu suất của mô hình.
