AI“内容创作者”越来越难分辨，社交媒体面临新挑战

这是《The Stepback》，一份每周时事通讯，深入解析科技界的一个重要故事。想了解更多关于AI带来的困惑，请关注Robert Hart。《The Stepback》于美国东部时间上午8点送达订阅者邮箱。

在此订阅《The Stepback》。AI“内容创作者”越来越难被发现。社交媒体平台感到困惑。AI“内容创作者”越来越难被发现。社交媒体平台感到困惑。这一切是如何开始的？起初，AI网红相对容易识别，也容易被忽视。

除了偶尔的炒作，它们似乎并未显著改变社交媒体的运作方式。最早的虚拟网红——留着齐刘海、脸上有雀斑的Lil Miquela，顶着泡泡糖粉色波波头的Imma，以及皮肤完美无瑕的Shudu Gram——明显是数字产物。

合作消息会大张旗鼓地宣布。发帖需要工作室、资金、协调和大量打磨。随着时间的推移，我注意到我时间线上的虚假人物开始看起来越来越像其他真实用户。

像Emily Pellegrini和Aitana Lopez这样的角色更接近现实——至少接近那个你已失去联系、经常旅行、家境富裕的大学朋友，她们总是在高档餐厅和美丽景点发帖，或者从科切拉音乐节和温布尔登网球赛发回动态。

虽然不接地气，但话说回来，大多数专业网红也不接地气。即便如此，这些账号中的许多也绝非普通账号。

Lopez是西班牙创意机构The Clueless的产品，该机构管理着一批AI网红。Pellegrini的创作者化名Professor EP，他告诉我他曾管理OnlyFans的创作者。现在，他销售课程，教人们如何打造自己的AI网红。

而这正是人们开始做的事情——很多人。现状如何？新鲜感已经消退。早期的AI网红之所以突出，是因为数量稀少。

现在，它们已成为淹没社交媒体的更大规模AI生成内容混乱的一部分：从聊天机器人那里懒散复制来的低质量废话、垃圾图片和视频，以及那首霸占我TikTok一个月的朗朗上口的《指环王》迪斯科歌曲。虚假人物如今无处不在。

他们推销低劣的直销垃圾，用假照片骗取男性钱财，传播虚假信息和种族主义言论，并迎合日益怪异、往往带有色情意味的小众市场。当然，还有很多“求关注”的内容。也有大量平淡无奇的内容，虚拟形象只是复制人类创作者中流行的东西，通常只是把假脸贴上去。

这使得AI内容创作者的影响力规模难以衡量。平台不公布其用户中有多少是虚假人物的数据，而且大多数AI虚拟形象并未变得足够受欢迎或具有影响力，以配得上早期那波浪潮所获得的媒体关注。

像Virtual Humans这样的数据库追踪了数百个流行的虚拟形象，但这些只是那些足够奇怪、怪异或引人注目的账号。在这些账号之下，是大量完全未被察觉的账号海洋。这些账号能够避免被发现的其中一个原因是，用于制作它们的技术已大幅改进。

一张假人的静态图片现在足以让人一眼看去就信以为真，尤其是在一个充满真实网红、且这些网红大量使用布景、滤镜和编辑效果的动态流中。视频和音频正在迅速追赶，赋予虚拟人物能够欺骗不仔细浏览者的声音和动作。

这些工具也不再是小众或贵得令人望而却步。Google和OpenAI等公司的主流产品，与Higgsfield、HeyGen和ElevenLabs等公司的专业服务并存。只需稍加努力，几乎任何人都可以制作一个AI网红——甚至是一批——而不需要工作室、专业设备或（大量）资金。

所有这些都给社交媒体平台带来了一个它们似乎并不特别愿意正面解决的问题。在应对AI生成的图像、视频和音频数年之后，大多数主要平台现在都制定了某种涵盖合成媒体的政策。

但除了要求对AI生成内容进行标注之外，这些规则往往只是将材料硬塞进现有的类别，如诈骗、垃圾信息、冒充和色情内容。AI人物，尤其是那些被设计成行为像真人的，并不完全符合这些类别中的任何一个。它们不一定在实施诈骗、发布色情内容或冒充某人——它们甚至能冒充谁呢？

而且，如果它们披露其帖子是AI生成的，那么它们违反了哪些规则并不明显。目前，平台似乎满足于生活在模糊地带，既不完全欢迎也不回避AI创作者。它们形成了一种矛盾的立场：一方面将AI推广为创意工具，另一方面又试图阻止垃圾内容的浪潮淹没其服务。

YouTube、TikTok、Instagram和其他平台已制定规则来标注合成媒体，尤其是逼真的那种，同时也在推广自己的人工智能工具套件，包括一些可以克隆或模拟用户的工具。但这些规则往往侧重于单个帖子，而非其背后的账号和角色，从而将AI网红置于灰色地带。

在这种不确定性中，AI网红生态系统正在蓬勃发展。一些市场研究公司估计，到2030年，虚拟网红市场的价值可能超过600亿美元，高于今年的约120亿美元。文化影响力也在增长。

现在有AI网红奖项、选美比赛、代表合成创作者的专门人才机构，以及一个蓬勃发展的合成创作者市场，销售课程和工具，承诺帮助人们制作和运营自己的虚假创作者，通常还承诺带来“无面孔”的被动收入。其中一些带有网络淘金热那种隐约的金字塔式气味：少数可见的成功故事，以及大量卖铲子的人。

接下来会发生什么？我的猜测是，清算即将到来。AI垃圾内容已经令人恼火，而一个平台能承载的垃圾内容量是有限的，否则它将变得几乎无法使用，尤其是考虑到平台一直拒绝让用户过滤AI垃圾内容。假装真人的虚假人物是同一问题更亲密的版本。

但除了标注和执行现有规则之外，平台似乎大多满足于静观其变。对平台而言，参与度就是参与度，无论它来自虚假创作者还是真实创作者。只要合成创作者继续发帖且不越出现有规则，似乎就没有动力去打击。还有一个问题是，让AI虚拟形象在网络上到处跑的整个想法能持续多久。

如果这么多虚拟形象只是为了从人类用户那里赚钱而创建，那么当人类用户池枯竭时会发生什么？例如，愿意购买课程和工具来打造自己的网红的人只有那么多。

这还假设社交媒体能在AI网红的涌入中幸存下来。从定义上讲，它需要一定数量的人类来维持社交性。如果不加控制，网络将在这些虚假人物的重压下崩溃，因为人类用户不可避免地会被赶走。如果公众的愤怒持续累积，这种情况可能会改变。

对深度伪造、冒充和合成垃圾信息的强烈反对，已经迫使立法者和监管机构更加密切关注，尤其是在使用Grok等工具生成未经同意的性深度伪造事件之后。欧洲的AI法案可能成为一个推动因素，至少在其对AI生成内容的透明度义务生效时是如此。

该法规将要求生成式AI系统的部署者明确披露AI生成或操纵的内容，这可能会迫使公司加强标记AI内容，否则将面临可能的高额罚款。但即便如此，焦点仍然主要放在内容上。