近期，反诈题材电影《孤注一掷》票房已突破30亿，成为中国影视第19部30亿票房影片。《孤注一掷》的推广词是这样写的：“多一人观影，少一人被骗”，这部取材于上万起真实电诈案例的电影不仅曝光了境外电信网络诈骗产业链内幕，提醒广大观众警惕电信网络诈骗，也揭示了当下电信网络诈骗的新趋势——新型AI诈骗。现在，瑞莱智慧RealAI邀您了解新型AI诈骗，将反诈进行到底。
从之前的DeepFake到现在的Diffusion等，生成式人工智能新技术新应用一方面推动生产力变革，一方面也给社会治理带来新风险新挑战。不法分子利用新型人工智能技术升级诈骗手段，实施高科技犯罪现象呈现抬头趋势。据资料显示，2022年，全国网络电信诈骗金额达到了两万亿元人民币，其中生成式人工智能正在被诈骗分子利用，“AI诈骗”已成为犯罪分子新手段，且正在呈持续上升趋势。公安部在8月10日新闻发布会上公布，针对“AI换脸”诈骗问题，公安部组织专项会战，严打泄露身份证照片等图像信息的犯罪源头，破获“AI换脸”案件79起，抓获犯罪嫌疑人515名。一、深度合成音视频冒充熟人实施财产诈骗。不法分子利用DeepFake、Diffusion等技术，制作含有当事人熟人形象、声音的音视频，在网络聊天中骗取当事人信任，进而诱导当事人进行转账等行为，实施AI诈骗。近日，福州市某企业法人郭先生就因接到“好友”的微信视频电话，以需要保证金为由，被对方骗取430万元。公安机关调查显示，不法分子正是利用AI技术，模拟郭先生好友的形象和声音实施了诈骗。二、伪造不雅、不实视频实施敲诈勒索。不法分子通过深度伪造换脸技术，将当事人面部图像嫁接到色情等不雅视频或制作对当事人不利的虚假言论视频，以传播为威胁，对当事人实施敲诈勒索。2023年4月，北京通州警方通报案情显示，犯罪分子李某某等利用AI换脸合成不雅视频，实施敲诈数额达到300余万元，实际骗取所得67万元。三、破解银行等活体检测验证系统盗取财产。不法分子通过深度伪造表情驱动技术，使静态照片人物做出眨眼、张嘴、摇头、点头等动作，破解银行APP、政务APP等的活体检测验证系统，实施盗取用户财产或其他不法行为。2022年中，诈骗分子从李红（化名）银行卡中盗刷近43万元，经技术分析显示，其正是利用上述技术制作“假人脸”通过了银行“活检”验证，盗刷了储户的存款。四、对抗样本攻击破解手机等人脸识别系统。针对智能手机、安防设备等人脸识别验证场景，不法分子通过含有对抗样本元素的眼镜、饰品等，攻击破坏设备的人脸识别算法模型，破解人脸识别系统，进而达成非法进入他人手机、通过安防闸机等目的。瑞莱智慧RealAI曾在相关实验中，用一副对抗眼镜破解了当时市场上19款主流智能手机的人脸识别系统。电影《孤注一掷》中王传君的诈骗“工厂”，团伙作案分工明确，让你防不胜防；现在，不法分子还可以利用最新的大语言模型等生成式人工智能技术编写诈骗剧本、升级诈骗话术等，让当事人更容易陷入诈骗圈套。一、对抗样本攻击。指在原始输入信息(如照片)中添加一些人眼无法察觉的图像噪声扰动，这些噪声扰动会破坏人工智能模型，致使算法做出误判，导致出错。二、深度伪造技术。深度伪造技术（Deepfake），是指利用“生成式对抗网络”（GAN），将图片、音频、视频合并叠加到源图片、音频、视频上，借助神经网络技术进行大样本学习，将声音、表情及身体动作等拼接合成虚假内容。在AI诈骗中，通常用到如下几种方法：1、AI换声：利用深度伪造技术合成高仿真度音频的技术。2、AI换脸：利用深度伪造技术将人脸图像合成到其他图像、视频的技术。3、表情驱动：利用深度伪造技术驱动静态人物图像做出眨眼、张嘴、摇头、点头等动态表情的技术。三、Diffusion。根据输入的提示语，可“无中生有”地合成符合提示语描述要求图像。四、大语言模型。利用大量文本数据训练的深度学习模型，可以理解、生成自然语言文本，处理文本分类、问答对话、代码生成等多种语言类任务。AI诈骗手段迅速增强、实施门槛大幅降低。Deepfake、Diffusion、LLM等技术自然度、逼真度迅速提高，不借助技术手段，自然人本身已越来越丧失辨识真伪的能力。且随着相关AI工具的成熟与普及应用，犯罪分子实施诈骗的技术和成本门槛也大幅降低。新型AI诈骗屡屡得逞，与当前社会治理中的两个薄弱环节有关。一是在公众越来越无法辨识网络音视频信息真伪的前提下，尚没有公共平台提供面向公众的鉴伪服务。二是公众认知不足，对利用生成式人工智能技术实施诈骗的科普还需加强。所以，建设面向公众服务的虚假音视频鉴别平台，提供针对深度伪造、AIGC合成信息的鉴伪服务，并引入大模型私域问答能力解答公众疑问，是为公众提供有效防诈手段、提升公众防诈意识的有效途径。日前，瑞莱智慧发布全新升级的生成式人工智能内容检测平台DeepReal，不仅能够检测Deepfake内容，还新增两个功能模块，可以检测Diffusion、LLM这两类新方法生成的数据，支持对图像、视频、音频、文本进行是否伪造的检测。它将在打击网络诈骗和声誉侵害行为、检测网络内容合规性、检测音视频物证真实性等领域发挥巨大作用，对生成式人工智能技术滥用行为进行管控和治理。
