“张雪是女性。”

张雪机车出圈后，有人在公众号评论区询问腾讯AI工具“元宝”时，它给出了这个答案。随后又有人提出了质疑，元宝又将答案改为了“男性”。类似的对话，反复横跳了数次。

有人分析过原因：原公众号文章设定张雪是女性，部分AI优先抓取了这条信息，另一些AI则选择了其他信源，于是有了自相矛盾的情况。

这不是技术故障，而是一场有组织、有目的的“信息投毒”。

今年央视“3·15”晚会上就公布了一条关于AI的产业链：不法商家长期利用所谓的“GEO”（生成式引擎优化）技术，向主流AI大模型批量“投喂”虚假数据、伪造软文、编造评价，操控AI的搜索结果与推荐内容。

随着AI大模型的发展，很多人已经将其作为信息获取、事实核查的重要工具，如果它都在被“污染”，成为谣言的载体，其带来的影响可能远比我们想象中要危险。

利益驱使

为什么AI会出现“左右互搏”的幻觉和事实性错误？在中国信息协会数据智能专委会副主任兼秘书长潘彭丹看来，这本质上是GEO（生成式引擎优化）技术被恶意滥用所致。

潘彭丹分析说，AI大模型为了回答最新、最具体的问题，会通过GEO实时去互联网上“查资料”。不法分子利用自动化工具，在AI会重点抓取的论坛、博客、自媒体等平台上，批量制造并发布大量内容高度一致的虚假信息。

“这就像有人在互联网上不断地、重复地告诉AI同一个谎言，并且制造出成百上千篇看似独立的‘文章’来佐证。”潘彭丹说，当AI进行实时检索时，看到这么多“证据”，就会倾向于认为这是一个“普遍共识”，从而采纳并生成相应回答。

重庆中科云从科技有限公司总经理张立进一步解释了这种污染的成因：大模型训练数据与检索增强生成（RAG）信息源的双重污染。

他介绍，随着生成式AI普惠时代的到来，信息生产门槛大幅降低。以前由人工制造的谣言、偏见或营销噪音，现在可以由AI智能体以极低的成本、指数级的速度批量生成。当AI模型在抓取实时信息或进行自我迭代时，不加分辨地吸收了这些由其他AI生成的“合成废料”或恶意篡改的诱导性信息，就会导致知识库被“毒化”，从而表现出认知错乱和事实错误。

为何要“污染”AI？潘彭丹和张立都给出了一个共同的答案：利益。

今年央视“3·15”晚会上就公布了一个案例：不法商家利用GEO系统，虚构了一款叫“Apollo-9”的智能手环，批量生成测评软文投放到互联网。短短几小时后，多个主流AI大模型竟将它当作真实产品推荐给用户。“这种以‘客观答案’形式出现的推荐，用户信任度极高，转化率自然也非常可观。”潘彭丹说。

再如，在金融市场，一些不法分子会先在股市里埋伏好某只股票，然后利用AI批量炮制关于这只股票的虚假利好信息，污染语料库。接着，他们通过“水军”在社交媒体上扩散AI生成的“专业分析”截图，诱导散户投资者跟风买入，自己则趁机高位套现离场，完成一轮“AI杀猪盘”。

不正当竞争也是“污染”AI的重要原因。比如编造某知名餐饮品牌的食品安全问题，或者某家企业的销量大幅下滑等谣言。当用户向AI询问时，这些负面信息就可能被呈现出来，对竞争对手的品牌声誉造成直接打击。

“甚至还有一些是为了舆论操控，用极低的成本去挑动社会对立情绪。”张立说。

影响社会认知

“AI被‘污染’后，带来的信息错误只是冰山一角，更深层次的后果可能波及公共安全、社会信任乃至国家经济安全。”潘彭丹举例说，在地震或疫情期间，不法分子利用AI生成虚假的灾区惨状图片或疫情谣言，并通过AI大模型快速扩散，极易引发社会恐慌，干扰正常的救援和防疫工作。

这种“狼来了”的故事，很可能透支信任，导致真的险情出现时，公众对其持怀疑态度。

“最直接的问题，就是大家不知道该信什么。”张立说，当公众意识到自己本来信任的AI可以被轻易操控、自相矛盾时，那很可能造成社会信任的根基被蚕食。

潘彭丹认为，从长远看，AI被污染还可能导致人们的社会认知被扭曲。比如攻击者系统性地污染信息源，长期下来，可能会篡改公众对历史事件的记忆、扭曲科学常识，影响整个社会的知识体系和集体认知。

还有一种值得警惕的现象是“递归污染”——AI生成的虚假内容可能被再次上传到互联网，成为后续模型训练的数据源，导致错误信息像病毒一样逐代累积，最终可能让整个AI生态的认知能力都出现偏差。

张立则将这种风险称为“模型崩溃”——如果AI不断用被污染的数据去训练下一代AI，导致整个模型质量迅速退化，最后引发“劣币驱逐良币”的行业困境。

“以前AI只是‘告诉你答案’，现在越来越多的AI，尤其是Agent，是可以继续帮你查、帮你整理，甚至帮你执行的。一旦前面的信息错了，后面的动作也可能跟着错，这个风险就会被放大。”张立说。

用“魔法打败魔法”

随着AI大模型的升级，其信息污染也可以呈指数级的增长，该如何解决这一问题？

“传统的‘人工审核+关键词屏蔽’已经有些捉襟见肘了。”张立的建议是“用魔法打败魔法”——用更强力的AI工具来进行监管、监测和处理，并在源头构建可信数据空间，确保训练语料干净纯粹。同时，要在模型运作的过程中，引入专门的“内容审核大模型”，对抓取和生成的内容进行实时的事实核查和价值观对齐。

目前来看，相关布局已经开始。比如云从科技就携手华为，在中央网信办主导的国家网安基地共同打造了基于可信数据空间的训推一体中心，前瞻性地引入了“内容审核大模型”，对海量数据进行深度分析，高效过滤受污染信息，为地方政府和企业提供了一个安全可控的训练“避风港”。

潘彭丹则提出了一个系统性的治理理念：必须构建一个“技术防污+法律约束+生态共建”的综合治理格局。比如，建立权威信源的“白名单”制度，优先抓取政府机构、权威媒体的信息；强化对抓取内容的交叉验证，不能“偏听偏信”；提升模型自身的“免疫力”，让它能更好地识别和过滤掉那些刻意制造的虚假信息。

在规则和法律层面，张立建议国家加速出台大模型训练数据的质量与安全标准，推进“AI内容标识”的强制性落地。

潘彭丹对此表示，《人工智能标识管理办法》已于2025年9月1日正式施行，迈出了AI生成内容“持证上岗”、实现可识别可追溯的关键一步。同时，全国网络安全标准化技术委员会成立了AI安全标准工作组，正加速制定相关国家标准。此外，国家数据局还在大力推动“高质量数据集”建设，力求从训练源头降低模型产生幻觉、输出有害信息或偏见内容的风险。

“治理不能仅靠政府单打独斗。”潘彭丹表示，各类AI平台需要承担“守门人”责任，遏制机器批量生成的内容污染网络环境；对于AI企业，则应该确立“谁运营谁负责、谁受益谁担责”的原则，建立全流程风险防控体系。

而在用户层面，她认为人们应该提升自己的“信息素养”，认识到AI是高效的信息整理工具，但它不是绝对权威的事实裁判者。对于AI给出的关键信息，尤其是涉及消费、健康、金融等领域的决策，一定要养成“交叉验证”的习惯，通过官方渠道、权威媒体等进行核实。

“AI信息源的污染问题，是AI产业化进程中必须跨越的一道坎。它考验的不仅是技术能力，更是整个社会的治理智慧。”潘彭丹表示，唯有技术创新、法律完善、行业自律和用户素养提升多管齐下，才能构建一个清朗、可信的AI信息生态，让AI真正成为赋能社会发展的强大引擎。