数百款藏有色情与暴力Deepfake功能的AI应用，在通过审核后成功进入苹果App Store。这些应用同样也出现在Google Play商店中。
一项调查发现，超过400款应用似乎由同一家中国机构开发。用户上传照片后，就能生成可用于羞辱或威胁受害者的色情与暴力Deepfake内容……
《连线》杂志的调查揭露了一个包含超过400个关联域名和应用的网络，这些应用都隐藏着滥用功能。
像Viefur这类应用（表面上是给宠物照片添加衣服）往往宣称自己是日常服务，比如语言辅导或AI健身教练。然而在特定条件下，网络中的应用会悄然加载网页界面，让用户用上传的照片生成露骨的AI色情图像和视频。应用中还包含“卧室强奸”和“持刀威胁”等AI场景，后者画面中一名男子将刀架在一名女子的脖子上。
《连线》指出，这个网络“就藏在众目睽睽之下”，因为Facebook和Instagram上发布了数千条为其推广的视频广告。部分应用已存在一年之久，并顺利通过了苹果、谷歌和Meta的审核，尽管这三家公司都有明确禁止有害Deepfake内容的政策。
开发者采用了“诱骗”策略来通过应用审核。应用平时显示无害内容，但通过服务器检查就能激活隐藏功能。在Meta平台上点击Deepfake功能广告后下载应用，似乎是触发方式之一。随后即可下载数十个色情照片和视频模板，并购买积分，用用户上传的照片生成Deepfake。
在《连线》分享细节后，苹果已下架其中19款应用。
我们会在每款应用发布前进行审核，这些应用在审核时符合我们的规则。获批后，开发者更改了应用获取内容的网站，用色情内容替换了我们批准的内容，并通过第三方平台上的色情广告进行推广。
