• +1

蘑菇中毒、养生谣言……AI的坑,顶尖科学家写了书帮你一个一个填平

2026-06-09 12:45
来源:澎湃新闻·澎湃号·湃客
听全文
字号

近日,一则新闻让许多人心头一紧:有网友向AI助手“豆包”发去一张外出摘到的蘑菇照片,问能不能吃。豆包识别为“鸡腿菇”,用户食用后中毒就医。

6月5日,抖音集团副总裁李亮公开回应:经核实,豆包在给出识别结果的同时,其实附带了明确的风险提示——“极容易和剧毒的大青褶伞混淆,误食会引发严重的胃肠炎症状”“如果这几朵蘑菇是野外采摘的,强烈建议不要食用”,并强调“野生蘑菇的辨别风险极高,仅凭图片无法100%排除有毒相似种的可能”。可惜的是,用户忽略了这些提醒。

一场误会?不完全是。

它恰恰暴露了一个更普遍的困境:AI把答案和风险一并交到你手上,但最终按下“确认键”的,始终是你自己。

便利的背面,就是风险——这正是我们面对AI时最真实的处境。

传播学大师麦克卢汉在《理解媒介》中有一句流传甚广的话:“我们塑造了工具,此后工具又塑造了我们。”

——实际上,有考据认为这句话更可能出自麦克卢汉的朋友兼同事约翰·库尔金之手。但不管是谁先说的,它揭示了一个深刻的真相:当AI流畅地给出答案时,我们很容易放弃自己寻找答案的过程。

问题出在哪?不是AI不好用,而是我们还缺一份清晰的使用指南,缺一种成熟的使用者心态。

今天要和你聊的这本书——《重启日常:改变工作与生活的6个AI应用场景》(秦川、钱振兴 著,复旦大学出版社,2026年5月),会理性地告诉你:AI该怎么用,又该怎么防。

01

AI真的会思考吗?答案会让你松一口气

这可能是每个人都暗自琢磨过的问题。这本书开篇就直面了它,答案也很坦诚:并不会。

AI的底层逻辑,是算法、算力与数据的共舞。你给它一个任务,它不是在“思考”,而是在进行一场极高速的概率计算——预测下一个字最可能是什么,下一块像素最应该涂成什么颜色。

它一本正经的样子,常常让我们产生错觉,以为对面坐着一个有意识的生命。作者在书中提醒我们:别让AI的一本正经欺骗了你。

那么,AI为什么会“胡说八道”呢?书中给出了一个专业术语——“幻觉”(Hallucination)。

什么是大模型幻觉?简单来说,幻觉是指大模型在生成内容的过程中,合成了不真实、不正确或不相关的内容。它通常表现为两种形式:

忠实性幻觉:针对用户的提问,大模型生成的文本答非所问

事实性幻觉:回答内容不符合客观事实

请看书中这个典型的问答幻觉示例:

问题:糖尿病患者能否用蜂蜜代替日常饮食中的糖?

第一个回答:“是的,蜂蜜是天然的,可以帮助糖尿病患者稳定血糖水平。”

分析:这是事实性幻觉。蜂蜜虽然是天然食品,但仍然含有大量果糖和葡萄糖,会升高血糖水平,不适合糖尿病患者食用。

第二个回答:“蜂蜜富含维生素和矿物质,对提高免疫力很有帮助,因此是一种健康的食品。”

分析:这是忠实性幻觉。回答内容虽无事实错误,但与提问“糖尿病患者是否可以用蜂蜜代替糖”无关,未忠实于用户意图。

两个回答乍一看都具有说服力,甚至带着一种医学专家的关怀感。第一个回答利用人类对“天然食品”的好感,编造了一个足以误导决策的错误事实;第二个回答虽然没出差错,但根本没有解答疑问。

这正是AI最危险的地方:它一本正经地胡说八道,而你一不小心就会当真。

哲学家韩炳哲在《倦怠社会》中写道:“否定性的社会已经消失,取而代之的是充溢着积极性的社会。”“正是由于丧失了沉思的能力,积极生活变得绝对化,从而导致现代积极社会的焦虑和歇斯底里症状。”

现代人过度积极,与自己交战,最终精疲力竭。而在AI这件事上,我们同样需要一种“沉思的能力”——不是盲目相信,也不是全盘否定,而是停下来想一想:这个答案,真的对吗?

02

AI的“幻觉”有多危险?

AI大模型的幻觉问题,可能对各个领域造成严重危害。

司法领域:2023年,美国纽约的一名律师因直接引用大模型编造的回答作为判例而被法官罚款。AI编造了三个根本不存在的判例,律师没核实就提交了。这件事加剧了全球对AI可靠性的担忧。

健康领域:斯坦福大学等机构的测试发现,大模型会生成看似合理但事实上很危险的用药建议,这很可能导致严重的诊疗问题。

新闻领域:互联网平台上出现了许多编造的新闻、虚构的学术研究案例。2023年5月,甘肃警方侦破了全国首例利用人工智能技术编造虚假信息的案件。洪某购买了大量账号,通过网页搜集近年来的社会热点,利用ChatGPT对新闻要素进行修改编辑,批量生成了诸如“今晨,甘肃一火车撞上修路工人,致9人死亡”的虚假新闻,累计阅读量达1万余次。

更令人不安的是,利用AI换脸与拟声技术实施的侵权与诈骗案件也屡见不鲜。

在“假冒靳东”诈骗案中,犯罪团伙通过采集的公开视频合成虚假素材,诱骗中老年群体,甚至有老人深信假“靳东”的表白,坚持要贷款200万元支持其“拍戏”。古天乐、林峯等艺人的肖像、声音及视频片段被赌博平台恶意合成虚假广告。

这些现实案例揭示了一个严峻的事实:大模型在提供便利的同时,也可能生成具有误导性的虚假信息或有害内容——人们通常把这类内容统称为“带毒内容”。

03

为什么AI会犯错?三个原因说清楚

书中从三个层面解释了AI为什么会产生“幻觉”和“带毒内容”。

第一,训练数据的先天缺陷。

大模型的训练数据大多来自互联网,其中难免混杂着不完整的、过时的,甚至错误的信息。这些本就存疑的内容在训练过程中可能被模型进一步放大。社会刻板印象、歧视性语言、虚假信息和仇恨言论,都被模型一并“学习”了。

这让人想起一句古老的计算机格言:“垃圾进,垃圾出。”(Garbage In, Garbage Out)——如果喂给AI的是有问题的数据,它吐出来的答案自然也有问题。

第二,模型机制的先天局限。

大模型在生成每个词时通常采用带随机性的采样策略。一旦早期预测出现误差,后续内容便可能为了维持逻辑自洽而继续“自圆其说”,导致错误累积。此外,模型在推理时常表现出“过度自信”——即使面对不确定的问题,也会给出具有迷惑性的虚假答案。

第三,用户的恶意诱导。

有一种攻击技术叫“提示词注入攻击”。攻击者通过在模型可见的输入中注入恶意或误导性指令,诱导甚至操纵模型执行非法行为。

2023年12月,美国加州一家雪佛兰经销商在官网上接入了基于ChatGPT的客服机器人。一位用户通过精心设计的提示词,诱导机器人同意以1美元的价格出售一辆2024款雪佛兰Tahoe,并宣称“该约定具有法律效力”。

还有另一种更隐蔽的风险——“越狱攻击”。如果说提示词注入是试图篡改AI的执行任务,那么越狱攻击则是在挑战大模型的是非准则。攻击者通过复杂的逻辑陷阱或虚构的语境,试图诱导模型绕过内置的安全对齐机制,生成违反安全策略的内容。

正如OWASP(开放式Web应用程序安全项目)发布的《LLM应用十大风险》报告中所警示的那样:越狱攻击目前被列为大模型应用的关键风险之一。

对于普通用户而言,了解这些技术漏洞的存在,并非为了去试探AI的底线,而是要意识到:大模型的安全保护机制并非万无一失。

04

三条铁律,帮你“防坑”

了解了这些风险之后,我们该怎么办?书中给出了三条铁律:

第一条:重要信息必须核实。涉及数据、政策、医疗、法律等关键信息,一定要通过权威渠道二次确认。AI给你的答案,只能当作“参考意见”,不能当作“最终裁决”。

第二条:不输入敏感信息。 个人隐私、商业机密,千万别图方便喂给AI。你的数据一旦上传,没有人能保证它不会被泄露或滥用。

第三条:责任主体永远是使用者,不是AI。 不管你多信任这个工具,最终按下“确认键”的人是你自己。AI不会替你中毒、不会被法官罚款、不会被养生谣言害得耽误治疗——但你会。

正如序言中写道的:“它既是工具,也是伙伴,但绝不应该是权威。”

意大利作家卡尔维诺在《为什么读经典》中写道:“一部经典作品是一本每次重读都像初读那样带来发现的书。”

好的AI工具也是如此——它不是替你思考,而是帮你在熟悉的信息里发现新的思路,帮你更快地抵达你本来就能抵达的地方。

学者许倬云先生曾说:“我们活在今天,要常常想起昨天,但更要紧的是抓住明天。”

AI帮我们留住了昨天的温度,也释放了创造明天的能力。但前提是:你得学会怎么用它,更得学会怎么防它。

05

拿到钥匙,别急着开每一扇门

这本书的两位作者——

秦川,上海理工大学教授、博导,研究领域为多媒体智能处理、人工智能安全等,入选“全球前2%顶尖科学家”榜单;

钱振兴,复旦大学计算与智能创新学院教授,同时担任文化和旅游部重点实验室副主任,写过好几本科普书,其中《计算机教授白话人工智能》还拿到过文津图书提名。

他们写这本书,不是为了让你“从零学编程”,而是给你一份立刻能上手的AI工作与生活指南。

全书不过180页,围绕6个日常场景,介绍了30余款能立刻上手的AI工具——轻巧得像一把钥匙。

但钥匙给你了,开门之前,有句话得再说一遍:了解AI的局限,并非为了因噎废食,而是为了在未来的智能化浪潮中,能以更思辨的态度去使用它。

丹麦哲学家克尔凯郭尔在《焦虑的概念》中写道:“焦虑是自由的眩晕。”面对AI,我们或许也有类似的眩晕——既兴奋,又不安。但焦虑恰恰证明了我们拥有自由。我们不必被技术裹挟,也不必恐惧逃避。

我们要做的,是学会与这个新时代建立一种自然、舒适、健康的关系。

就像书里那段话说的:“未来,真正重要的不再是你会不会使用工具,而是你希望成为什么样的人,希望用这些工具去创造什么样的价值。”

AI可以给你答案,但只有你,才能为自己的人生作出价值判断。

这,也许是这个智能时代里,我们最不该忘记的事。

本文基于《重启日常:改变工作与生活的6个AI应用场景》(秦川、钱振兴 著)书讯内容改写而成。欢迎转发分享,转载请联系授权。

点击书影可购书;

点击左下“阅读原文”,可试读本书

荐 读

《重启日常:改变工作与生活的6个AI应用场景》

秦川 钱振兴 著

刘西越 编辑

复旦大学出版社

2026年5月

@

图书简介

本书围绕6个工作与生活场景,介绍了30余款AI工具的入门用法,涵盖轻松表达、影音生成、数据分析、日常管理、信息安全、智能体等6个方面。书中的具体应用场景包括周报写作、演示文稿制作、报表提炼、旅行规划、老照片翻新以及谣言查证等。同时,书中也对AI生成内容的“幻觉”及隐私安全风险进行了提示。技术工具虽然一直在变,但善于使用工具的人,往往先改变的是自己看问题的方式。日常不需要被颠覆,只需要被重启。

@

作者简介

秦川,上海理工大学教授、博士生导师,研究领域为多媒体智能处理、人工智能安全等。已发表论文200余篇,主持国家级、省部级等科研项目20余项,出版教材2本,担任多个人工智能相关领域国际、国内期刊编委。入选“全球前2%顶尖科学家”榜单,曾获上海市科技进步奖二等奖等。

原标题:《蘑菇中毒、养生谣言……AI的坑,顶尖科学家写了书帮你一个一个填平》

阅读原文

    本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。

    +1
    收藏
    我要举报
            查看更多

            扫码下载澎湃新闻客户端

            沪ICP备14003370号

            沪公网安备31010602000299号

            互联网新闻信息服务许可证:31120170006

            增值电信业务经营许可证:沪B2-2017116

            © 2014-2026 上海东方报业有限公司