据一项研究称，研究人员已经开发出一种新技术来估计大型语言模型 (LLM) 在科学写作中的使用普遍性 Ars Technica 报告。该方法依赖于识别自 2023 年 LLM 出现以来频率激增的“多余词”。
引入新检测方法
检测人工智能生成的文本的挑战一直困扰着人工智能公司和研究人员。然而， 最近的预印本论文 来自图宾根大学和西北大学的研究人员提出了一种独特的解决方案。通过研究科学摘要中特定词汇的突然增加，他们提供了一种新颖的方式来识别法学硕士对学术写作的影响。
疫情研究带来的启示
研究人员从通过与历史数据相比的超额死亡人数来衡量 COVID-19 大流行影响的研究中获得了灵感。他们采用类似的方法，分析了科学摘要中的“过度用词” 发表在 PubMed 上 从 2010 年到 2024 年。通过比较发现，词汇发生了重大变化，这与 2022 年末 LLM 的广泛采用相吻合。
分析数据
为了衡量这些变化，该团队仔细研究了 1400 万份摘要，每年跟踪每个单词的频率。通过比较基于 2023 年之前趋势的预期单词频率与 2023 年和 2024 年的实际使用情况，他们发现某些术语的使用量急剧增加。例如，“delves”一词在 2024 年摘要中出现的频率是预期的 25 倍。同样，“showcasing”和“underscores”的使用量也增加了 9 倍。
以下是人工智能生成文本中最常用的词汇及其相应的使用率增长率：
- 深入研究 – 增加 25 倍
- 展示 – 增长 9 倍
- 下划线——增加 9 倍
- 潜力——增加4.1个百分点
- 调查结果 – 增加 2.7 个百分点
- 至关重要——增加2.6个百分点
- 总体 – 显著增加（未指定具体比率）
- 此外——大幅增加（具体幅度未指定）
- 综合 – 大幅增加（未指定具体比率）
- 增强 – 显著增加（未指定具体比率）
- 表现出——显著增加（未指定具体比率）
- 洞察 – 大幅增长（未指定具体增长率）
- 值得注意的是——大幅增加（未指定具体比率）
- 尤其是 – 大幅增加（未指定具体比率）
- 范围内 – 显著增加（未指定具体比率）
虽然没有提供单词 7 到 15 的具体使用率，但值得注意的是，在后法学硕士时代，这些单词在科学方面的使用率显著增加。
词汇变化
这种被称为“标记词”的特定词汇激增是 LLM 使用情况的一个关键指标。虽然语言自然发展，但这种突然而广泛的变化以前只与重大全球事件（如健康危机）有关。研究人员指出，与 COVID-19 大流行期间名词为主的词汇变化不同，LLM 时代后，动词、形容词和副词的使用有所增加。
通过识别这些标记词，研究人员可以估计，2024 篇科学摘要中至少有 10% 是由 LLM 生成或协助的。这个数字可能低估了真实程度，因为并非所有 LLM 协助的文本都会包含这些特定标记。
LLM 使用情况的地域差异
该研究还强调了法学硕士使用方面的地域差异。来自中国、韩国和台湾等国家的论文中标记词的使用频率更高，这表明法学硕士对于非英语母语人士编辑和撰写科学文本特别有用。
相反，以英语为母语的人可能更善于识别和删除这些标记，从而掩盖他们对 LLM 的使用。
特色图片来源： 格伦·卡里/Unsplash
