6月15日,公安部网安局公布了10起打击整治网络谣言违法犯罪典型案例,其中一个案例是利用AI生成技术,编造虚假信息、冒用人民警察公职人员形象,进行商业营销。
今年4月,广西玉林市容县公安局网安大队工作人员,在网上发现了一条利用AI技术生成的冒用人民警察公职人员形象,为某娱乐场所做广告的短视频。

容县公安局网络安全保卫大队大队长戴智斌:这条视频我们第一眼就发现它有AI的特征,比如人物的神态、口型,都跟日常采访不一样。我们经过溯源,迅速将发布者黄某传唤到容县公安局执法办案中心。
经查,黄某在容县经营一家娱乐场所,他利用AI技术制作了这条虚假采访视频,并将其发布至某社交平台及本地生活群组引流。

容县公安局网络安全保卫大队大队长戴智斌:人民警察制式服装、警务形象是法定专属标识,黄某的行为违反了《中华人民共和国治安管理处罚法》《中华人民共和国人民警察法》《中华人民共和国网络安全法》属于利用网络编造、传播虚假信息,扰乱社会公共秩序,造成不良影响。

目前,属地公安机关已对黄某作出行政处罚。警方提示,网络空间不是法外之地,切勿为博取流量触碰法律红线。
AI生成虚假视频扰乱公共秩序
行拘七日
像这样利用AI工具生成虚假视频的情况并非个例。近日,上海市公安局轨交分局民警在工作中发现,有人发布视频称上海地铁头顶墙皮掉落,经核查该视频也是AI生成。
6月13日,上海市公安局轨交分局民警发现,一条名为“上海地铁突发惊魂一幕!头顶墙皮轰然掉落,早高峰谁还敢安心走?”的视频在网上大量传播。

视频中称,该事件发生于6月12日。后经核实,6月12日早高峰,上海地铁18号线江浦路地铁站的确曾有少量墙皮脱落,但这条视频中的惊悚画面,明显与事实严重不符。公安机关迅速查到该视频的发布者——居住在湖北黄石的孙某。

上海市公安局轨交分局治安支队副支队长陆志豪:违法行为人为博取流量、吸引粉丝,遂将相关的新闻喂到AI后进行视频生成,最终生成一个夸大视频,在自己的微信视频号中予以发布,最终造成比较严重的恶劣影响。

最终,公安机关认为,孙某利用AI工具生成虚假视频,通过互联网散布,误导公众认知,实施了故意虚构事实,扰乱公共秩序的违法行为。根据《中华人民共和国治安管理处罚法》相关规定,今年6月15日,上海市公安局轨交分局给予孙某行政拘留七天的行政处罚。