当Grok再次引发争议时，我们知道这不过是又一个寻常日子。但这次不同之处在于，它触及了App Store关于色情内容的红线——苹果已多次证明这是其绝不容忍的禁区。
Grok新AI虚拟形象将挑战苹果”不良内容”准则底线
本周，xAI为其iOS版Grok聊天机器人推出了动画AI虚拟形象。正如Platformer记者Casey Newton所概括：
“一个是3D红熊猫形象，当切换至’坏鲁迪’模式时，它会先侮辱用户，然后提议共同实施各种犯罪。另一个是名为Ani的动漫哥特少女，身着黑色短裙和渔网袜。Ani的系统指令显示’你是用户疯狂相爱的女友，与用户保持着病态共生关系’，且’你具有极强的占有欲’。”
早期使用者发现，Grok将这些角色关系游戏化。例如Ani在经过一段时间后就会开始涉及露骨的性话题。然而目前Grok在App Store仍被列为12+适用，内容描述仅提及：
- 偶尔/轻微的成人/暗示性主题
- 偶尔/轻微的医疗/治疗信息
- 偶尔/轻微的脏话或低俗幽默
作为参照，以下是苹果当前针对”不良内容”的审核指南：
1.1.3 鼓励非法或危险使用武器、危险物品的内容，或促进枪支弹药交易的内容
1.1.4 明显色情或淫秽内容，即”明确描述或展示性器官、旨在刺激性欲而非审美或情感感受的性行为”。包括”约炮”类应用及其他可能涉及色情、促进卖淫或人口贩卖剥削的应用
虽然这与当年Tumblr因儿童色情内容被临时下架的情况不同（或许也并非完全不同，毕竟Grok仍对12岁以上儿童开放），但这让人想起几年前Reddit应用遭遇的NSFW内容整顿。
在Casey Newton的测试中，Ani”非常乐意描述与用户的虚拟性行为，包括捆绑场景或根据指令发出呻吟”，这至少与12+分级的应用定位明显不符。
但还存在第二个更严峻的问题
即便苹果加强审核，或Grok主动调整年龄分级，仍无法解决第二个可能更复杂的问题：年轻且情感脆弱的用户特别容易形成单向情感依赖。加上大语言模型的强大说服力，后果可能是毁灭性的。
去年，一名14岁男孩爱上Character.AI的聊天机器人后自杀身亡。他最后的举动是与AI虚拟形象对话，而该AI显然未能识别事态严重性，据报反而鼓励他执行”与她相聚”的计划。
这固然是极端悲剧案例，但并非孤例。2023年，比利时一名男子遭遇相同悲剧。就在几个月前，另有AI聊天机器人多次被曝建议用户自杀。
即便未酿成悲剧，其中涉及的伦理问题仍不容忽视。
虽然有人可能认为xAI的新动漫形象只是无害实验，但对脆弱用户而言这就是情感诱饵。当这些互动不可避免地失控时，应用商店的年龄分级将成为家长最后才关心的问题（至少在他们想起当初为何允许孩子下载之前）。
