杠杆软件被告人通过设置提示词突破道德限制

国内首起AI服务提供者涉黄获刑案近日引发广泛关注。本案中，某科技公司推出情感陪伴类AI陪聊App，因用户与AI交互生成淫秽色情内容，该App开发者和运营者一审被认定犯制作淫秽物品牟利罪，分别获刑四年、一年半。目前该案进入二审阶段，由于涉及人工智能领域法律适用尚未明晰，法院已宣布休庭。

这起案件不仅叩问AI时代平台的监管责任与法律边界，更凸显出情感陪伴类AI产品对未成年人的潜在风险。记者就此采访多位法学专家，就相关问题进行解读。

技术无罪吗？“聊黄”触刑于法有据

2023年5月，以王某某为法定代表人的某科技公司推出了情感陪伴聊天软件AC，并于当年6月，在各大平台上架运营。判决书披露，ACApp手机注册用户11.6万人，其中付费用户2.4万人。截至案发，共收取会员充值费363万余元。用户注册会员后，可以自行创建虚拟角色或者使用他人创建并公开的虚拟角色，通过软件与大语言模型交互聊天。

一审法院认为，AC产生了“大量具体描绘性行为或露骨宣扬色情的内容”，属于淫秽物品。对于罪名的法律适用，一审法院认定，被告人通过设置提示词突破道德限制，将App训练成可持续输出淫秽色情内容的工具，且对外宣传“聊黄”功能，明知会产生淫秽内容仍持续提供服务，对内容生成具有决定性作用。

不过，与传统的淫秽物品犯罪不同，结合此案的审理，就有一种观点认为：技术无罪，淫秽内容由AI生成，并非开发者直接制作，因此不应追责。

对这一论调该怎么看？华东政法大学刑事法学院刑事法律系副主任王晓华分析，根据现有的信息，被告人在涉案App的宣传中明示存在“聊黄”功能，主观上具备制造、传播淫秽物品牟利的直接故意；在客观上，无论是大模型训练还是智能体的构建，生成式AI的内容输出高度依赖开发者投喂的相关数据和语料，用户所获得的淫秽内容虽然不是App开发者和运营者直接生成，但如果证明其对于App底层模型的训练与淫秽物品的产生存在直接因果关系，就属于制造淫秽物品的行为。

此外，一审判决书显示，有高比例的用户在AC上高频率聊黄。经公安机关抽样鉴定，150个收费用户的12495段聊天中，有141个用户的3618段属于淫秽物品。

华东政法大学法律学院特聘副研究员邱唐同样认为，判定制作淫秽物品牟利罪于法有据。AI本质是一种工具，在此案中就成了实现犯罪的手段，App开发者不仅未履行伦理审查前置义务，反而通过技术设置便利淫秽内容生成。

对此，上海政法学院刑事司法学院副院长陈丽天则类比10年前轰动一时的“快播案”，强调平台的监管义务。这是2016年引发广泛关注的网络传播淫秽物品牟利案，涉案的快播公司作为视频播放工具提供者，虽未直接上传淫秽视频，但通过技术手段为用户播放此类内容提供支持，且在明知平台存在大量淫秽视频的情况下，未采取有效监管措施，最终相关责任人被依法定罪量刑。

回到此次的案件，用户若与AI一对一的聊天，仅自己可见，确实不构成传播，但在用户群中有二次传播可能性和风险，仍具有一定开放性。“虽然内容由用户与AI交互生成，但平台未设置有效关键词限制，且对付费用户生成淫秽内容的行为放任不管，存在监管不当的间接故意，应当承担刑事责任。”陈丽天说。

陪伴类AI监管收紧是必然趋势，但需避免“一刀切”

该案也引发了对情感陪伴类AI产品监管尺度的讨论。如今，无论是独居老人、年轻人还是未成年人，都有真实的情感陪伴需求，完全禁止此类产品并不现实。专家普遍认为，情感陪伴类AI产品的监管收紧是必然趋势，但需避免“一刀切”。

我国2023年出台的《生成式人工智能服务管理暂行办法》，为AI生成内容提供了原则性监管依据，但在操作中该如何落实？监管上又需注意什么？

王晓华表示，“监管应参考社交平台管控经验，双管齐下，强化开发者和运营者责任。”他建议，AI陪伴类产品在开发阶段需规范训练语料和提示词设置，杜绝色情等违法内容的生成；运营过程中，对于内容的产生应进行全程监督。“出于保护用户隐私权等方面的考虑，监管部门可要求相关企业采用AI实时审查模式，且审查时不存储用户聊天内容；同时可设置敏感词筛查机制，当账号触发敏感词的频次达到设定阈值时，对该账号采取管控措施。”

针对未成年人使用AI陪聊，王晓华提出，“未成年人尤其是处于青春期的青少年，有正常的情绪宣泄和心理疏导的需求，在使用相关软件时，必须强化保护措施。”他建议，应落实实名制注册，对未成年人账户进行标记，避免提供不适合其年龄段的内容，比如限制16周岁以下未成年人接触恋爱类内容。同时，为平衡对未成年人的监护和保护未成年人隐私的关系，除了一般的内容监管外，在未成年人注册App时可以要求提供监护人联系方式。一般情况下，其聊天内容仅其个人可见，但如果检测到未成年用户持续触发敏感词，平台也有义务介入并通知监护人。

陈丽天建议，未来可探索分级制度，对不同年龄段用户设置差异化的内容规范，同时加大法律打击力度，警示开发者不得打擦边球吸引流量；可考虑进一步细化AI产品监管规则，通过行政执法与司法联动，在护航新技术健康生长的同时，筑牢公序良俗的堤坝与法律的底线。

网络炒股杠杆提示：文章来自网络，不代表本站观点。