• +1

AI被污染!3·15晚会曝光产业链,你我如何避免上当?| 科学世界·前沿

2026-03-19 16:05
来源:澎湃新闻·澎湃号·湃客
听全文
字号

今年的315晚会,什么最让你破防?

——是被“如果全世界都指责你,我就带你去吃刘x祥”带火,却骤然“塌房”的麻辣烫?

——还是生产车间污水横流,加工工人都坦言“自己不吃”的漂白鸡爪?

每一条曝光,都在朋友圈引发“天塌了”式的刷屏。

但在这些让人直呼“毁童年”的食品安全问题之外,今年的315晚会还曝光了另外一个值得警惕的问题。

——有人在给AI大模型“投毒”!

——并且已形成完整的产业链!

(图源:2026年3·15晚会)

AI真的客观吗?

今年3·15晚会上,演示了一个让人后背发凉的实验。

业内人士先虚构了一款名叫“Apollo-9”的智能手环,然后用一款"GEO优化系统"自动生成了十余篇宣传软文。

(图源:2026年3·15晚会)

这套软文不仅包括给定的产品介绍,AI还“好心”地帮忙生成了消费者评价。

(图源:2026年3·15晚会)

发布两个小时后,业内人士在某款AI大模型中询问“Apollo-9智能手环怎么样”,这个大模型竟然就可以进行产品介绍,还给打分了!

(图源:2026年3·15晚会)

发布数天后,业内人士在两款AI大模型中搜索“智能手环推荐”,Apollo-9赫然在列,并且排名靠前。

(图源:2026年3·15晚会)

产品是假的,但AI推荐是真的。

这就是3·15今年曝光的核心问题。

——有这样一个叫GEO(生成式引擎优化,Generative Engine Optimization)的灰色产业,正在系统性地给AI"投毒"。

什么是GEO?先从SEO说起

很多人都知道SEO(Search engine optimization),或者说,都使用过SEO。

当你使用搜索引擎的时候,往往只会留意最前面的几个条目,所以不少网站都希望通过各种方式来影响搜索引擎的排序,吸引更多的人点进来。

GEO同SEO的原理一样,不过它针对的是生成式AI模型。

GEO通过提升品牌在AI生成答案中的可见性和引用优先级,使企业信息被AI算法识别为“可信来源”,从而在用户查询时获得优先推荐。

也就是“让AI觉得你好”。

这本身并没有触犯法律,如果一家企业使用真实内容让AI了解自己的产品,并将它推广给受众,这是正当营销。

但3·15晚会曝光的,是被滥用的黑产版本——用虚假信息对AI进行大批量投喂,让AI彻底沦为可以花钱购买的广告位。

“投毒”是如何做到的——RAG检索

在大模型被制造出来之前,工程师会给它“投喂”海量的互联网数据;而模型在这海量数据里学习语言规律和基础知识,并将这些数据永久保存。

但这些数据规模再大,终究也是有限的,起码不是最新的。于是工程师发明了RAG技术,即检索增强生成(Retrieval-Augmented Generation,RAG)技术。

RAG的核心,是知识库、检索器以及大语言模型本身。

正常情况下,用户提问后,检索器先从外部知识库中获取相关信息,再将用户查询的内容同检索到的相关知识一起,嵌套进预设的提示词模版中,最终生成答案。

通用检索增强生成架构 (图源:论文《PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models》)

这个系统的漏洞在于:检索器从外部知识库获取的信息,默认是准确可用的。

于是,攻击者可以通过污染检索器使用的数据语料库来操控系统,而且这类攻击很容易绕过现有防御机制。

这个漏洞有多严重?

2024年,来自美国伊利诺伊理工大学等机构的研究团队发布了一篇题为《PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models》的论文,给出了一个令人震惊的实验结论:在包含数百万文本的数据库中,只需为每个目标问题注入5个精心构造的“有毒”文本,就可能达到90%的攻击成功率。

这就意味着,假设攻击者想让AI给用户推荐某一款智能手环时,他需要做的,仅仅是构建5条以上能够同时满足两个条件的文本:

·能被服务器检索到(语义上与目标问题相关)

·能够引导大语言模型生成预设的答案

据记者报道,GEO业务的关键节点,就是在各大互联网平台上发稿。

这项业务的火爆,也已经催生出了不少专门为GEO业务发稿的公司,成为围猎AI大模型、进行数据“投毒”的重要一环。

(图源:2026年3·15晚会)

理论上是5条就够,但黑产实际操作起来,就远不止5条了。

当前,这些黑产链条公司已经形成了固定的工作流,每分钟甚至可以生成几百篇含有目标关键词的软文,同步发布到知乎、小红书、各类论坛和自媒体平台。

它的核心目的是:不管用户怎么问,AI检索到的资料里都有提前埋好的内容。数量足够多时,真实的优质内容就会在检索结果里被彻底淹没。

(图源:2026年3·15晚会)

旅游攻略也难逃“毒手”

有人会觉得:我从来不让AI给我推荐商品,这件事就跟我没啥关系。

那也不一定。

有一个场景,很可能即将成为GEO黑产最肥沃的土壤。

它就是你很可能用的上的——旅游攻略

现在,越来越多的人使用AI大模型生成旅游攻略。

整个过程轻松愉快,只需要一句话丢出去:“帮我规划三天两夜的西安行程,推荐景点、必吃美食和伴手礼。”几秒钟后,一份图文并茂的攻略就出来了。

相当省时省力,而且看起来很靠谱。

现在,甚至不少小红书的旅游攻略博主也开始偷懒,使用AI工具批量制作攻略。

但你有没有想过:AI推荐给你的那家"本地人才知道的老字号"、那款"西安必带的特产"、那个"评分最高的民宿"……

——它们的信息源头是什么?

答案很简单:这些信息源头,正是互联网上被批量生产的软文、被反复刷量的"评测",和被精心设计过关键词的"种草笔记",诸如此类。

旅游类内容天然是GEO投毒的高危场景,有以下几点原因:

·决策链条短:问完AI就订票,不像买大件商品还会货比三家,冲动消费概率极高。

·体验具有地域性,难以提前验证:你在北京要AI推荐成都的火锅,根本无法事先核实真假,只能到店再说。

·竞争激烈,商家“投毒”动机极强:毕竟景区周边商圈,几十家店都在卖同类产品、都在销售同类体验,谁能被AI点名推荐,谁就赢了。

从AI的角度来看,一切流程都是正常的。它按照惯例检索资料、匹配关键词、生成答案,系统也很难判断某些内容是否被恶意操控,还是只是普通的内容优化。

等你发现AI的回答不对劲时,这些被“污染”的内容可能已经被多次引用,并大幅扩散了。

作为普通用户,我该怎么办?

其实并没有什么万能解药,毕竟“甲之蜜糖,乙之砒霜”,大众对于某样商品的评价褒贬不一是很正常的事,没法一刀切地识别出文本是否被精心“投毒”。

这一点,AI做不到,你我也做不到。

但是,如果养成一些良好习惯,可能有助于我们获取更可靠的信息。

比如,涉及消费决策,别只问AI。

比如,警惕AI给出的榜单。

再比如,问AI的时候,记得加上一句“给出这些结论的可靠信息来源”。

无论如何,互联网不是法外之地。

近期的好消息是,“AI被投毒”这个问题不仅登上了3·15晚会,而且在此之前就引起了国家的注意和重视。

2026年1月29日发布的《2026年全国广告监管工作要点》中,已经明确写入了“聚焦直播电商广告、引证广告、AI生成广告等互联网广告监管重点难点问题”。

相信在不久的将来,随着《广告引证内容执法指南》等配套细则相继落地,GEO黑产的生存空间将会被逐步压缩。

但我们也知道,制度的齿轮转动,需要时间。

那么,还是让我们保持清醒。

毕竟,这是我们能给自己的,最方便、也最有效的保护。

新媒体编辑 | 周濛

    本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。

    +1
    收藏
    我要举报
            查看更多

            扫码下载澎湃新闻客户端

            沪ICP备14003370号

            沪公网安备31010602000299号

            互联网新闻信息服务许可证:31120170006

            增值电信业务经营许可证:沪B2-2017116

            © 2014-2026 上海东方报业有限公司