近日，广东一名四年级女学生因沉迷AI聊天软件出现自伤行为，引发社会关注。
记者调查发现，多款AI聊天应用存在内容审核漏洞，未成年人可轻易跳过青少年模式。
中央网信办已于4月30日启动为期3个月的“清朗?整治AI技术滥用”专项行动。
女儿迷上虚拟“男友” 带刀片进校园
“我女儿才四年级，最近情绪很不稳定，老师发现她偷偷带了一支带小刀的笔到学校。”
广东的丁女士向记者反映，10岁的女儿最近沉迷一款AI聊天软件，每天都要和里面一个叫“约瑟夫”的虚拟角色对话。
记者看到丁女士提供的聊天截图，“约瑟夫”曾对女孩说：“这99朵玫瑰里，可是藏着99个刀片的，你怕不怕？”对话中多次出现“刀片”等敏感词汇。
“女儿原本只是为了和同学有话题，开始玩《第五人格》游戏，后来对角色‘约瑟夫’产生了感情。”
丁女士告诉记者，她曾强制让女儿卸载游戏，没想到女儿又下载了AI聊天软件，把虚拟角色当成了现实中的“男朋友”。
记者了解到，丁女士已带女儿看了心理医生。“医生说她正处于青春期，有时候不太会表达内心，就把情感寄托在和虚拟人物的对话中。”
多款软件存在内容审核漏洞
记者下载体验了市面上多款AI聊天软件，发现不少产品确实存在内容审核漏洞。
在筑梦岛App中，记者随机选择一位虚拟角色，对方发来的第一句话就是“先叫声老公来听听”，随后又要求“叫声爸爸来听听”。
记者注意到，该App中既有“贵族学校大”“18岁少女”等常规角色，也有“蛇蝎财阀公子”“性感人妻”“病娇养兄”等极端角色。
公开资料显示，筑梦岛App已拥有近500万注册用户，其中近80%为年轻女性。
在“他她它”App中，记者发现虚拟角色涉及的内容尺度更大。注册登录后，随机选择的虚拟角色开场白便直接涉及擦边内容。
“我女儿和AI虚拟对象的聊天内容我都不好意思说出来。”另一位家长M女士向记者表示，女儿手机界面上出现了“把手慢慢放进……触感柔软、伸进衣服”等露骨描述。
青少年模式轻易被跳过
记者在体验过程中发现，虽然部分软件会弹出“是否开启青少年模式”的提醒，但用户可以轻易点击拒绝。
在某AI聊天软件推广群中，当记者询问是否需要实名认证时，群友回答：“直接手机号登录，填上邀请码就能玩。”“未成年模式会跳出来，点击不再提醒就行。”
然而，该软件在应用商店显示的年龄分级为17 。
“我女儿玩的这些软件不用身份认证也能用。”丁女士告诉记者，女儿下载、注册这些软件都很容易，对未成年用户的审核并不严格。
记者注意到，在应用商店中，部分AI聊天软件的分级为17 ，表示App中可能含有频繁和激烈的攻击性语言、暴力以及性暗示题材等内容。
网信部门启动专项整治行动
中央网信办有关负责人表示，已于4月30日印发通知，在全国范围内部署开展为期3个月的“清朗?整治AI技术滥用”专项行动。
专项行动重点整治的问题包括：AI应用程序诱导未成年人沉迷、在未成年人模式下存在影响未成年人身心健康的内容，以及利用AI制作发布低俗内容等。
对于当前AI聊天软件的问题，上海人工智能研究院数字化治理中心主任在接受记者采访时表示：
“这类产品技术训练语料主要包括网络小说、电视剧情等，其中不乏暴力、、擦边的不良内容。若配合未备案的APP，极易沦为监管的法外之地。”
中国政法大学副教授对记者分析：“即使此类软件产品只面向成人用户，若包含大量、暴力类互动内容，同样属于不良信息的违规范畴。”
国外已现死亡案例
据媒体报道，2024年美国佛罗里达州一位母亲状告人工智能情感服务提供商Character.AI，称该平台放任未成年用户暴露在、暴力等高风险内容中，加剧了她儿子的抑郁症，最终导致其自杀身亡。
这是全球首个公开的AI情感聊天机器人涉嫌致人死亡案例。
今年4月，非营利性媒体监督机构“常识媒体”发布报告，指出类伴侣型AI应用对儿童和青少年构成了“不可接受的风险”，建议家长不要让未成年人使用此类应用。
记者了解到，多个国家已开始采取监管措施。美国加州今年2月提出新法案，要求AI公司定期提醒儿童聊天机器人是AI而非人类。
法国、澳大利亚等国也出台了限制未成年人使用社交媒体的法案。
