研究：训练数据含0.001%的错误信息足以“毒害”医学AI模型。

纽约大学的一项研究揭示了大型语言模型（LLM）在医学信息训练中的潜在风险。研究表明，即使训练数据中仅含有0.001%的错误信息，也可能导致模型输出不准确的医学答案。

研究团队选择了一个常用于 LLM 训练的数据库“The Pile”作为研究对象。该数据库包含大量医学信息，其中约四分之一的来源未经人工审核，主要来自互联网爬取。研究人员在三个医学领域（普通医学、神经外科和药物）中选择了 60 个主题，并在“The Pile”中植入了由 GPT-3.5 生成的“高质量”医学错误信息。结果显示，即使仅替换 0.5% 至 1% 的相关信息，训练出的模型在这些主题上生成错误信息的概率也显著增加，且这些错误信息还会影响其他医学主题。