AI检测工具引发新的不信任时代
AI检测工具被教育界和出版界广泛使用,但其准确性存疑,常误判非母语者作品,引发争议和诉讼,导致部分机构弃用,并加剧了读者对内容真实性的怀疑。
这是《The Stepback》,一份每周时事通讯,深入解析科技界一个重要故事。想了解更多关于AI如何改变我们日常生活的新闻,请关注Emma Roth。《The Stepback》于美国东部时间上午8点发送至订阅者邮箱。
点击此处订阅《The Stepback》。AI检测工具正在创造一个不信任的新时代。承诺能检测AI写作的工具可能并不可靠,但教育工作者和出版商仍在纷纷使用。AI检测工具正在创造一个不信任的新时代。
承诺能检测AI写作的工具可能并不可靠,但教育工作者和出版商仍在纷纷使用。这一切是如何开始的。早在ChatGPT出现之前,教育工作者和编辑就经常使用反抄袭工具来检查作者是否诚实创作。
这些工具的原理是将作品与一个包含网络内容、学术文章等的数据库进行比对,以查找匹配的句子和短语。有些工具如Turnitin,会给出一个百分比,声称能显示学生写作与其他作品的重叠程度。由于存在误报的可能,以及无法确定作品是否故意重复,一些教育工作者已放弃使用该工具。
但现在,对抄袭内容的追查正演变为对AI生成内容的战争。学生们迅速使用ChatGPT、Google Gemini和Microsoft Copilot,而老师们也以同样快的速度采用了所谓的AI检测器。
民主与技术中心的一项调查发现,2024年至2025年间,美国43%的六至十二年级教师经常使用AI检测器。一些已在学习管理系统中使用Turnitin的大学发现,该工具在2023年推出时自动启用了AI检测功能。
与比较书面内容不同,GPTZero、Pangram和Turnitin等AI检测器依靠自身的AI模型来猜测某段文字是否可能非人类撰写——这一过程可以说比在网络上匹配文本更加模糊。
正如GPTZero所指出的,AI检测器使用算法分析文本的措辞、节奏和结构,并捕捉长度和语气上可能更常见于AI生成文本的模式。这种相对主观的评估不如在线匹配文本那样可靠,而且可能会被英语非母语的写作者所困扰。
尽管如此,Turnitin表示其AI检测器将不到1%的人类书写内容误标为AI,而Pangram声称其误报率仅为万分之一。GPTZero也声称其将人类内容误判为AI的比例同样低。现状如何。
网上的人们已经开始互相指责对方“听起来像AI”,而AI检测工具的易得性更是为这场针对LLM的猎巫行动火上浇油。
在一些备受关注的案例中,AI写作指控直接影响了人们的生计和声誉。上个月,出版商Minotaur放弃了一笔200万美元的图书交易,原因是担心作者Jerry Falade使用了AI——他对此坚决否认。
还有法国人Thierry Rignol,他去年起诉耶鲁大学,因为一位教授指控他用AI撰写了期末考试的部分内容,导致他成绩不及格并被停学一年。
该教授使用GPTZero扫描Rignol的写作以寻找AI痕迹,但诉讼认为“众所周知,AI监控和检测工具会不公平地针对像Rignol这样的非英语母语者”。今年2月,阿德尔菲大学的一名学生因教授同样声称他使用AI写论文而赢得了对学校的诉讼。
尽管诉讼未指明教授使用了哪种AI工具来检查学生的论文,但阿德尔菲大学与Turnitin签订了许可协议。斯坦福大学2023年的一项研究发现,AI检测器将非英语母语者撰写的论文误标为AI的频率高于英语母语者。
(许多服务仍声称其工具在处理非母语者文本时是准确的。)这些工具也可能对神经多样性写作者存在偏见。
正如加州大学洛杉矶分校所指出的,AI检测工具经过训练,能识别可能表明AI使用的模式,如重复的术语和短语、听起来过于正式或非正式的文本,以及无意义的措辞。
一些工具如QuillBot还衡量文本的“不可预测性”,因为“与人类写作相比,AI倾向于做出最‘明显’或最常见的语言选择”,据加州大学洛杉矶分校称。它们还可能寻找整篇保持不变的句子结构,作为AI的另一个标志。
但这些衡量标准本身并不能表明AI,因为有些人可能只是具有这些特征的写作风格。尽管Turnitin吹嘘其误报率低,但它坚称其工具“可能并不总是准确”,不应被用来对学生采取行动。
Grammarly警告用户“绝不应仅依赖AI检测器的结果”,而GPTZero则表示“没有AI检测器能真正做到100%完美”。OpenAI甚至在2023年因准确性低而关闭了自己的AI写作检测器。
但AI写作指控仍在网络上蔓延。上周,在向超过350万粉丝播出的视频中,Ozzy Osbourne的儿子Jack指责记者兼The Verge撰稿人Kat Tenbarge使用AI为《滚石》杂志撰写文章,并炫耀AI检测器Getsolved的结果作为其说法的“证据”。
Tenbarge在视频和她网站上的帖子中驳斥了这一说法,但Osbourne并未撤回指控或删除视频,留下Tenbarge独自应对网络喷子。从作家到学生,虚假指控的例子不胜枚举,许多指控者未能承认一些AI检测工具附带的免责声明。
接下来会发生什么。围绕AI检测器的不确定性足以让一些教育机构完全停止使用它们。耶鲁大学、约翰·霍普金斯大学、范德比尔特大学、乔治城大学等已禁用或限制使用AI检测工具。麻省理工学院也警告说,“AI检测器不起作用。
”许多学校没有依赖工具来剔除AI,而是鼓励教育工作者重新思考他们的课程。例如,芝加哥大学建议告诉学生放慢阅读速度,将较长的写作作业分解,并要求学生反思自己的工作。
斯坦福大学表示,教授可以考虑在课堂上进行评估,而麻省理工学院建议教授为学生留出空间,让他们披露是否在作业中使用了AI帮助,而不会受到惩罚。随着AI在课堂内外越来越普遍,辨别人类或机器所写内容的努力也在加强。
一些在线平台只会加剧对AI使用的怀疑。
Substack已将Pangram集成到其应用中,允许用户扫描博客以查找疑似AI生成的内容,而LinkedIn则在帖子上添加了“看起来像AI垃圾”的按钮。结果是进入了一个不信任的新时代,读者不断质疑他们阅读的内容是否是AI生成的,而真正的人类作家则尽力避免听起来像AI。
顺便一提:- 作家协会通过授予“人类创作”认证来帮助作家应对指控。用户还可以在在线作品上添加“非AI”和“人类撰写”徽章。- 维基百科创建了一个指南,帮助编辑识别AI写作,包括寻找“夸大”主题重要性或提供“对信息的肤浅分析”的写作。
该网站还禁止了AI生成的文章。延伸阅读:- 《纽约时报》有一个有趣的测验,让你看五对段落,选择你更喜欢哪段简介。