界面新闻记者 |
界面新闻编辑 | 文姝琪
今年上半年，“华山医院前院长张明远客死洛杉矶”的消息在 *** 上广为流传。但经过一段时间的发酵之后，其被证明是一条由AI生成的假新闻。
这个消息在各种微信群中广泛流传。界面新闻记者注意到，一个成员大多是媒体从业者的微信群，在讨论这条消息时，依然只是从信息本身出发，没有人质疑过信息的真实性。
抖音生态治理团队一位参与处理此事件的人士告诉界面新闻，其在查证该消息时发现这则消息已经在简中互联网泛滥成灾，甚至某垂直医疗内容社区也发布了这则信息。“当时团队意识到这则消息可能有AI编造的痕迹，是发现大量自媒体发布的信息相似度太高。”
抖音生态治理团队随后进行谣言核查，之一时间到华山医院官网查询医生简介，但并未查到张明远的名字，又搜索了海外的信息，也没有发现相关报道和讨论。随即，治理团队通过联系华山医院等相关方核实情况，随即对谣言内容进行处置。
今年以来，还有更多类似的事件频繁搅动舆论场。从“每20个80后有1人去世”到“上海退休教授靠阳台核电池供电”，从“某超一线明星在澳门豪赌”到“陈奕迅去世”……
AI生成内容的高拟真度与欺骗性，这让 *** 谣言治理面临了更大的困境。
9月1日，《人工智能生成合成内容标识办法》正式施行，办法要求人工智能生成合成服务提供者提供生成合成内容下载、复制、导出等功能时，应当确保文件中含有满足要求的显式标识，并鼓励服务提供者在生成合成内容中添加数字水印等形式的隐式标识。
在新规正式实施之际，抖音、快手、微信公众号、微博、百度等平台相继发布公告，上线内容标识功能。一方面， 显式AI内容标识功能能够方便用户辨别AI生成的内容；另一方面面，隐式AI内容元数据标有助于为内容溯源提供技术支撑。
这些全新的举措能否解决治理 *** 谣言带来的困境？
AI制造的假新闻为什么频繁搅动舆论场？
*** 谣言已经不是新鲜事，但随着生成式AI被广泛应用， *** 谣言呈现出了一些新特点。
此前几年，诸如“吃黑木耳能清理血管垃圾”“小孩发烧要赶紧吃退烧药”等话题在微信公众号、今日头条等平台广泛流传，这些谣言往往利用老年人等群体对健康科普等话题的关注，以及信息获取和甄别能力的局限来误导他们。
为了治理这些 *** 谣言，各个平台都上线了辟谣栏目，定期对流传比较广泛的 *** 谣言进行辟谣。这些 *** 谣言甄别的难度并不大，其大多属于常识类内容，只要和专业权威内容进行比对就能识别。
据界面新闻了解，今日头条、抖音等平台已上线了谣言库，在经专业的核实和研判之后，将这类信息录入库中，能够在后续的新增发文环节进行相关的拦截。
但生成式AI被越来越多应用在内容创作之后，内容生产的门槛被大幅降低，越来越多新闻事件类的谣言被制造出来。而且，这些谣言往往能够触发读者的某些情绪，比常识类谣言又更强的传播能力。
在这些由AI制造的假新闻中，一类是由突发热点事件衍生出来的。这些突发热点事件本身的关注度就非常高，衍生出来的信息也更容易受到大家关注，而且真假信息混合在一起，公众根本没有能力辨别。
比如，在5月初的协和“4+4”事件中，“肖某胸腔镜下肺叶切除术手术经过”的信息经过微博平台确认为AI编造，但相关博主并未在发布时进行标识，导致大量用户误解。微博相关负责人向界面新闻透露，平台在确认谣言之后，之一时间进行了辟谣，并对相关违规账号进行阶段性禁言处置。
而在今年年初*定日县地震发生后，一张“小男孩被埋图”在互联网平台广泛传播，图片中一名戴帽子的小孩被压在倒塌的建筑物下，满身灰土，让很多网友深感心疼。实际上，这张图片是一位网友在2024年生成，并声明是AI生成。地震发生后，一位青海的网民为博取眼球，将这张照片和*地震发生关联，致使谣言信息传播扩散。
界面新闻从抖音生态治理团队了解到，其在研判这条信息时，发现图片中小男孩有六个手指，有非常明显的AI生成痕迹。但很多网友都被图片传递的情绪所感动，没有注意到图片细节存在的问题。
另一类AI制造的假新闻则完全是无中生有。其往往戳中的网友们的多种情绪点，能够迅速引爆话题，带来的公共危害更大。
据界面新闻统计，今年几乎每个月都出现过几起由AI编造的假新闻搅动舆论场。除了“华山医院前院长张明远客死洛杉矶”的谣言之外，还有“四川滑坡事件中有一男子笑得那么开心”、“L3级自动驾驶判决车企担责70%，驾驭法规全面重构”等不下10起。
相比于人工制造的谣言，这些AI生成的假新闻细节更丰富，甚至还包含了图片、视频等多种形态的内容相互印证，欺骗性进一步加深。
假新闻治理难度仍然很大，平台探索新 ***
目前，“华山医院前院长张明远客死洛杉矶”谣言案件已被警方查清。根据上海公安网安部门公布的信息，犯罪嫌疑人王某某等3人运营的是短资讯类消息自媒体，有4个“大号”，还有500多个“小号”，每天发布1万条帖文，内容五花八门，基本都是AI凭空捏造。截至案发，其已利用AI工具自动生成并发布不实帖文30余万条。
王某某等人在利用AI炮制假新闻时，找到了一个App作为素材库，按照领域、“阅读量top”、发布时间等，批量采集爆款内容，随后用AI工具批量改写和发布。“张明远”的故事就是这样生成的。
批量炮制假新闻并发布，给各平台的内容治理带来了非常大的压力。以“张明远”谣言事件为例，平台从发现这条新闻可疑，到最终核实确认为假消息，可能只用了一天的时间。但这条新闻已在各社交平台有了较为广泛的传播。
尽管各媒体和平台对“张明远”相关谣言也有辟谣，但界面新闻记者了解发现，大多看到“张明远”谣言的读者，并没有再看到辟谣的内容，很多人甚至到现在都不知道这是一条假新闻。
在清华大学新闻与传播学院副教授陆洪磊看来，生成式AI正在重塑谣言的传播生态，技术的加持让AI谣言无论在空间、速度还是结构、方向、效果上，都更具“说服性”、虚假性和强传播性，使得传统辟谣手段难以招架。
据界面新闻了解，平台批量处理谣言已经不是问题，目前的技术手段已经完全可以快速下架已发布的谣言内容，并阻止新发内容上线。当下，平台治理谣言内容的难点一方面在于捕捉潜在不实信息风险和核实确认信息的真实性，另一方面则在于如何让更多受众看到辟谣的信息。
上述抖音生态治理的人士告诉界面新闻，今年平台面临的假新闻治理难度确实在变大，人力和技术投入成本也在持续上升。在文字内容治理上，AI生成内容与真实内容难以区分，来源也难以判断；在图片和视频画面内容治理上，大模型技术的进步导致AIGC内容的瑕疵越来越少，肉眼难以分辨真假，只能越来越依靠技术手段进行识别。
9月1日，抖音升级AI内容标识功能，将对创作者未进行标识的疑似AI生成内容采取更清晰的标识措施。如果平台识别到内容的元数据中存在隐式标识，将在作品页面添加“作品含 AI 生成内容”的标识；如果平台利用技术手段检测到疑似的AIGC内容，也会在作品页面添加 “疑似使用了AI生成技术，请谨慎甄别” 的标识，提醒用户注意甄别。
而在假新闻内容辟谣上，抖音生态治理人士表示，平台探索了在搜索场景推出辟谣卡、定向精准推荐辟谣视频等手段，但用户对辟谣信息的关注度低，且用户群体中普遍存在 “谣言易信、辟谣难接受”的社会心理，这导致心智建设成为长期难题。
目前，不同平台都在探索假新闻的治理举措。比如，抖音在持续建设发现虚假不实信息信号的能力。抖音相关治理团队表示，在虚假信息治理链路中，内容虚假的预警信号不止局限于热点事件。包括用户反馈、内容特征分析、旧闻再次传播等。在视频传播的各个阶段，这些信号都会成为治理团队捕捉潜在不实信息风险的来源。
而微博在积极探索未标识的AI生成内容的处置规则。据界面新闻从微博相关人士处了解，微博在探索针对单条和多条内容由AI生成且未主动标识的账号、由AI生成且未主动标识造成恶劣影响和未造成恶劣影响的账号进行不同程度的处罚。
其中，平台针对由AI生成且未主动标识且造成恶劣影响的账号，将进行禁言处理；针对多次发布由AI生成且未主动标识的账号，将进行限流处理；针对仅发布单条由AI生成且未主动标识且未造成恶劣影响账号，对内容打标签提示疑似由AI生成。
在微博针对用户的调研中，一些用户还提议，平台还可以标注AI引用来源或对原创和引用进行区分，还有一些用户提议平台应对AI生成的内容进行强制标识。
百度除了上线技术手段识别AI生成内容之外，还开通投诉举报通道，鼓励平台用户参与监督，平台会在之一时间进行核实受理相关投诉，并对核实违规的内容及账号及时处理并公示。
虽然各个社交媒体平台正在积极治理生成式AI带来的假新闻，但仍然还有很长的一段路要走。在一位长期关注内容生态的行业人士看来，目前用户避免被假新闻误导的更好 *** 是先核实内容来源是否权威，如果仅仅是不知名自媒体账号发布，对内容的真实性需保持一些合理怀疑。
