人工智能（AI）技术的快速发展已经重塑了传播格局，尤其是AIGC的狂飙猛进加剧了变局的形成。一方面，AIGC提升了内容生产效率，推动了网络内容生态的多样化和个性化；另一方面，也给网络内容生态与传播秩序带来一些不良影响。因此，建议加强监管政策的精准性和技术识别能力，同时推动专业机构生产的真实新闻数据纳入大模型语料库，以提升短期应对能力和长期治理能力。

AI快速发展引发的“信息污染”情况

以错误信息和虚假信息为代表的信息失序。AI快速发展引发的“信息污染”本质是数据来源的可靠性不足导致。根据信息内容本身属性和信息传播主体意图，主要分为错误信息和虚假信息两类。错误信息指的是由于训练AI模型的数据缺陷导致其输出和生成的二次内容存在客观错误。虚假信息指的是在信息传播主体具有明确意图下，利用深度伪造技术进行有意识的网络诈骗与舆论操纵。当下，AIGC已经具备视频、声音、文本、微表情合成等多模态的伪造能力。可以说，随着AI介入到虚假信息生产环节并成为一种牟利产业后，规模化效应将导致普通用户搜寻真实信息的难度和成本呈现几何级增长。

以侵犯隐私为代表的个人信息泄露与“造黄谣”“软色情”传播。由于AIGC的一大重要数据来源是各网络平台的用户生成内容，加之应用场景不断生活化，导致一系列损害用户权益的不良信息在网络空间传播。一是以AI换脸为代表的“数字分身”应用存在个人隐私泄露风险。诸如此前某相机应用要求用户上传20张人像照片，以9.9元的价格为用户提供不同类型的写真照片。此类应用在验证、付费过程中往往需要让渡脸部数据、手机号码等隐私数据，同时相关软件在初始的用户协议中都强调了用户同意授予软件及关联公司具有免费、不可撤销、永久、可转授权和可再许可等权利，僭越了用户权益边界。二是以“一键脱衣”“微表情合成”为代表的“造黄谣”和“软色情”传播。除了针对女性和明星，以未成年人为主要对象的软色情图片和视频也借助AI浪潮卷土重来，和成人一样被明码标价，并延伸出黑色产业链。

以侵犯知识产权为代表的二次创作在网络平台盛行。AI的快速发展也逐渐影响到文学、绘画、影视等创作领域，原创作品沦为人工智能的养料，不仅降低了艺术创作的门槛，也侵犯了原创者的知识产权。在纯文学领域，2023年10月，由AI写作的小说《机忆之地》获得江苏青年科幻作品大赛二等奖，在未提前告知评委的前提下，6位评委中仅1人看出了作品的AI属性。在绘画领域，国外Midjourney、国内网易旗下LOFTER等平台均可以根据用户关键词生成相关作品，但也引发原创内容创作者的抵制，认为AI绘画将助长抄袭、剽窃风气，并质疑开源数据获取的合理性和合法性。在影视创作领域，利用AI技术的二次拼接、AI换脸等正在B站等视频网站流行，视频制作者可以根据个人兴趣偏好将毫不相关的影视、动漫片段进行合成，引发二次创作的侵权纠纷。

“信息污染”可能带来的风险隐患

意识形态风险。舆论生产流程被简化，算力资源压制下算法歧视和内容操纵将助长国际与国内舆论极化。

一是境外舆论场可能利用人工智能信息技术加大对中国的偏见性信息传播，甚至影响国际社会对中国的认知。

二是人工智能的快速发展加快了错误信息和误导性认知的传播速度。在特定社会环境的影响下，带有偏见的信息和数据更容易在智能化平台上扩散，从而加剧了中国社会中群体和地域间的矛盾与分歧。由于AI信息伪造的门槛较低、成功率较高，且技术反制较为困难，信息泡沫效应可能愈加明显。同时，作为AI技术重要使用群体的青年人，长期浸淫在信息纷杂的信息环境中，对复杂社会问题缺乏深入的思考和辨别能力，被极化言论所左右导致立场松动。

网络安全治理风险。网络诈骗等犯罪门槛被降低，民众切身安全遭遇挑战，社会治理成本不断提升。

一是网络诈骗等AI新技术应用降低犯罪成本和门槛，网络黑灰产业问题难解。AI技术增加了匿名性、隐蔽性，使犯罪分子可能逃脱监管，降低了违法犯罪的风险成本，提升了犯罪的预期收益。

二是黑客利用AI实施网络犯罪，网络安全风险剧增。

三是AI对信息安全甚至物理环境的威胁上升。仅从网络攻击上看，AI可以兼顾攻击的规模和效率，使劳动密集型网络攻击（如鱼叉式网络钓鱼攻击）造成更大威胁。还有人利用AI破解或操控无人机、智能汽车等设备，进行破坏性犯罪。

四是指纹、人脸识别等生物验证方式的可靠性大大降低。虹膜、指纹、面部信息等均是当前最普遍的生物特征信息，这些生物信息大多是唯一的、不可更改的，一旦攻击者利用AI破解相关生物特征应用解码方式，其影响可能伴随终生，难以消除。

传播秩序风险。虚假信息将长期存在于网络空间，合成数据将超越原始大数据成为传媒产业新资源，用户辨别能力不足，以主流媒体为代表的专业机构影响力将进一步被削弱。

一是AI生成内容将逐渐占据网络空间。据相关研究团队调查，已在全球范围内识别出1150个不可靠的人工智能生成新闻和信息网站，并涵盖包括中文在内的16种语言。这些网站发布了大量涵盖政治、科技、娱乐、旅游等领域的机器生成文章，其中诸多内容为虚假信息，如对政治人物的错误报道、名人死亡谣言、虚构的事件以及将旧闻当作新闻报道等。

二是虚假信息混杂其中的合成数据将扰乱传媒产业市场。由于AI生成信息缺少专业的审核与把关，因此虚假信息将与真实信息共同混杂的合成数据将超越原始大数据成为传媒产业的新资源。在生成式AI的迅速发展下，虚假信息将滚雪球般越来越大。根据NewsGuard的追踪研究，虽然诸如OpenAI等科技公司强调大模型的进化将更新技术，提升真实回答的比例，但结果却是GPT-4比GPT3.5更擅长通过各种形式加强错误叙事的说服力，无论是ChatGPT还是谷歌的Bard，在主要新闻话题上出现虚假报道的可能性高达80%至98%。

三是用户辨别能力不足，将导致专业机构影响力被持续削弱。技术的快速演进也在加剧数字鸿沟，生成式AI的突飞猛进无形中也提高了用户搜索真实信息的成本和难度，在用户规模不均衡的传播格局下，主流媒体为代表的专业机构和政务媒体等官方力量的影响力将持续削弱，舆论引导能力和效能受到影响。

对策建议：监管政策、技术反制与舆论应对

监管政策上，坚持以算法治理和数据治理为核心，聚焦人工智能发展的具体场景进行政策迭代，规避风险。一是对已经出现的人工智能乱象依法亮剑，细化标准。二是对AI相关应用，在行业内部设立通行的用户协议和隐私协议规则。三是对于高危风险场景应特别立法，以分级监管思路保障政策的针对性和迭代性。

技术反制上，加强与国际同行交流，研发对抗新型AI技术滥用引发的风险。一是建立健全人工智能生成内容溯源规范，实现对于模型、设备、人员的精准溯源和治理，从源头上提高对生成式人工智能内容的系统化管控能力。二是加强对人工智能问答模型的安全监管。三是搭建常态化交流机制，强化国际监管合作，细化AI伦理准则。

舆论应对上，既要支持专业机构与人工智能技术的合作，也要加强对虚假信息的应急处置和反制机制。一是要在综合研判、风险可控的前提下，将主流媒体为代表的专业机构所生产的真实信息与数据开放给已经通过备案的大模型厂商，从源头上提升语料库的质量。二是建立包括网络平台、专业媒体、社交平台、学术研究者、网信部门政策制定者在内的多主体合作的第三方机构，根据AI技术演进的趋势和速度，定期发布面向公众的白皮书。其中，专业媒体和事实核查机构更要发挥主动性，成为对抗虚假信息、净化网络内容生态的独立免疫屏障。三是短期反制与长期应对相结合，既要对公共突发事件、政治敏感信息进行快速澄清、消除影响，同时也要系统性关注涉及历史观的虚假信息，避免记忆捏造等情况出现。

（本文摘编自论文《AI快速发展引发的“信息污染”问题、存在的风险隐患及对策建议》，作者：复旦大学发展研究院助理研究员，辛艳艳）

头图来源：图虫创意