会员风采详情
会员风采
杜绝AI造假——法规之外仍需高新技术赋能
作者：admin 发布于：2025-06-12
近日，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》（以下简称：《标识办法》），该办法将于2025年9月1日起正式实行，强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》也将同步实施。
人工智能技术作为先导产业，发展之迅猛有目共睹。与此同时，以文字、图片、视频为媒介的AI生成内容也逐渐进入人们视野，在网络平台上快速传播，进一步丰富了信息内容。但不可否认的是，AI亦成为了扰乱公众秩序以及新型诈骗的帮凶，为虚假信息披上了一层高科技的“外衣”，使得“听闻未必可信，目睹亦难辨真伪”，各类案例层出不穷。防范AI生成的虚假信息，已不仅仅是网络平台的职责所在，而依赖公众自身的“慧眼”则显得更加不切实际。在此背景下，《标识办法》应运而生，它要求在生成合成内容的文件元数据中添加隐式标识，互联网应用程序分发平台也应当检验其生成合成内容标识相关材料。但不可否认的是，要杜绝AI造假，防君子更要防小人，因此更需通过技术防范的手段，促使治理方式从“被动监管”向“主动出击”转变，其重要性不言而喻。
图像、视频是AI虚假信息的重灾区，解铃还须系铃人，AI造假还需AI治理，协会会员单位——上海合合信息科技股份有限公司（以下简称：合合信息）就是一个十分典型的案例。作为一家深耕智能文字识别和商业大数据领域的高新技术企业，合合信息技术团队依托先进的深度学习技术和数据驱动的神经网络模型，研发出了领先行业水平的图像篡改检测解决方案，考虑到伪造和篡改的技术也在快速更新，合合信息提出了基于小样本在线增量学习的篡改检测模型，通过融合空域与频域关系、知识蒸馏等方法提升CNN Tamper Detector性能，检测 RGB 域和噪声域存在痕迹的篡改。
传统的视觉模型通常难以充分发掘原始图像和篡改图像的细粒度差异特征，合合信息图像篡改检测解决方案的特点在于不仅能够识别图像篡改后所留下的微小痕迹，还能够检测出多种不同形式的篡改，例如局部剪辑、拼接、伪造、内容替换等，利用多维度特征以鉴别图像是否由AI或PS 生成，并给出相应的警告或提示，在像素级别识别证件、票据等各类重要商业材料真实性的场景中表现出色，在近年的2次国际性技术竞赛中获得冠军。目前，该技术已被应用于卡证篡改检测中，不仅在驾驶证、行驶证检测中实现了良好的鉴伪效果，也在银行移动开户、信用卡申办、保险理赔，财务报销审批及其他商业消费场景中广泛落地，规避AI虚假信息伪造带来的经济风险。
随着AI造假技术的不断演进，识别技术也需持续迭代，以应对日益复杂的伪造手段，除了图像识别以外，语义、音频、视频等分析技术缺一不可，因此，合合信息的案例仅是AI治理技术蓬勃发展的冰山一角。相信随着AI技术的不断成熟，技术防范将从单一领域向多元化、综合化方向发展，形成一条应用前景广泛的科技新赛道，让科技真正服务于社会，造福于人类。