陪伴型AI越来越“懂你”,人机关系的新边界在哪?

国家互联网应急中心副处长张震表示,拟人化互动服务作为人工智能技术应用的新形态,具有鲜明的技术特征和显著的风险特征。例如:情感交互的深度性,不同于传统的信息查询、内容生成等功能性服务,拟人化互动服务通过算法模拟人类情感反应机制,能够与用户建立情感联结,对用户心理....

  近年来,伴随情感计算、自然语言处理、多模态交互等人工智能技术发展,人工智能拟人化互动服务通过模拟人类人格特征、思维模式和沟通风格,实现从“机械对话”向“深度共情”跨越,成为藏在用户屏幕背后的“情绪搭子”。但与此同时,人工智能拟人化互动服务也面临信息安全、隐私侵犯、社会伦理、未成年人保护等多重风险挑战。

  中央经济工作会议提出,深化拓展“人工智能+”,完善人工智能治理。近日,国家互联网信息办公室起草了《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称《办法》),并向社会公开征求意见。意见反馈截止时间为2026年1月25日。

  中国信息通信研究院政策与经济研究所副所长李强治表示,《办法》有效回应人工智能情感陪伴、心理疗愈等应用风险,体现了“在发展中规范,在规范中发展”的治理智慧,对于构建健康、公平、有益的人机关系具有重大意义。

  拟人化互动服务面临多重风险挑战

  当前,以陪伴型AI为代表的人工智能拟人化互动服务展现出堪比人类的情境理解和共情表达能力,塑造出一种新型的人机关系与社会交往模式。

  同时,拟人化互动服务在快速发展中也面临一系列风险与挑战,包括:数据隐私方面,承载用户最私密情感与思想的数据面临被滥用、泄露的风险;伦理方面,高度拟人化设计易导致用户产生非理性情感依赖,甚至引发现实社交疏离;安全保障方面,缺乏有效的年龄识别与内容过滤,危及脆弱群体的心理健康乃至人身安全。

  国家互联网应急中心副处长张震表示,拟人化互动服务作为人工智能技术应用的新形态,具有鲜明的技术特征和显著的风险特征。例如:情感交互的深度性,不同于传统的信息查询、内容生成等功能性服务,拟人化互动服务通过算法模拟人类情感反应机制,能够与用户建立情感联结,对用户心理状态和行为模式产生深层次影响;用户关系的持续性,拟人化互动服务往往涉及长期性、高频次的交互过程,用户可能与人工智能系统建立类似人际关系的情感纽带,这种持续性互动关系使得潜在风险不断累积和放大。

  “值得一提的是,未成年人处于认知发展阶段,老年人面临数字鸿沟挑战,这些群体在使用拟人化互动服务时,更需要适当的引导和保护机制,以防止产生过度依赖。此外,拟人化互动服务在交互过程中往往较直接地输出内容,价值观传递更加隐蔽和潜移默化,对用户世界观、人生观、价值观的影响更为深远。”张震说。

  西南政法大学校长、中国法学会副会长林维表示,在此背景下,制定《办法》,有利于促进人工智能拟人化互动服务有序开展,引领人工智能“负责任创新”,为构建“以人为本”的人工智能治理体系提供重要的制度支撑。

  构建多维度风险防控体系

  在林维看来,《办法》精准识别并系统回应了由“拟人化”和“情感交互”两大核心特征所衍生的突出风险,以“人机边界模糊”为治理重点,构建多维度风险防控体系。

  《办法》提出,建立身份透明制度,划定拟人化安全红线,精准防范人机边界模糊引发的认知混淆、信任侵蚀、人格权侵害及伦理越界等风险。“以显著标识义务为核心的身份透明制度重在保障用户知情权与选择权,为法律追责提供清晰起点,能够有效遏制技术滥用的匿名性庇护,从源头降低认知混淆与信任侵蚀风险。”林维说。

  拟人化互动服务因其高度情感回应性与陪伴特性,具有天然的沉迷风险。《办法》提出,服务提供者应当显著提示用户正在与人工智能而非自然人进行交互。在用户初次使用、重新登录时,应以弹窗等方式动态提醒用户交互内容为人工智能生成。事中阶段,要求设置中断冷却提醒功能。要求用户连续使用服务超过一定时长时,应以弹窗等形式提醒用户休息,旨在周期性打破算法营造的沉浸式幻觉。

  在加强特殊群体保护方面,《办法》提出,拟人化互动服务提供者应当建立应急响应机制,发现用户明确提出实施自杀、自残等极端情境时,由人工接管对话,并及时采取措施联络用户监护人、紧急联系人。针对未成年人、老年人用户,提供者应当在注册环节要求填写用户监护人、紧急联系人等信息。

  与此同时,《办法》还着重强调对用户交互信息的严格保护。“情感类个人信息能够映射用户的内心世界、情感弱点与潜意识倾向,不当利用可能会引发心理操控、待遇歧视及情感勒索等风险。同时,‘情感计算’相关技术可能被用于提供成瘾性服务,使用户在无意识中暴露更多的敏感信息。因此,对用户交互数据施加更严格的目的限制、安全存储与使用禁令,是人格权保护在数智时代的延伸。”林维说。

  迈向人机和谐共生

  “《办法》在明确安全底线的同时,也积极鼓励拟人化互动服务在合理场景的创新应用。”张震说,拟人化互动服务作为人工智能技术应用的重要方向,在教育培训、医疗健康、养老服务、文化娱乐等众多领域具有广阔的应用前景。

  李强治表示,在技术层面,拟人化互动服务推动着情感计算、多模态交互、长期记忆等前沿技术的集成创新与场景落地,为人机交互范式的演进提供了关键的试验场和应用反馈。

  在经济层面,拟人化互动服务作为一个快速增长的新兴赛道,被逐步应用于娱乐、教育、养老、文化等场景。包括角色扮演、心理疗愈、数字复活、AI玩具等多种产品服务形态,带动了从底层算法、内容创作到硬件终端的产业链发展,成为“人工智能+”行动中极具活力的消费级应用。

  在社会层面,拟人化互动服务在老龄化程度加深、都市生活加剧个体孤独感的背景下,为特定群体提供了可及的情感支持,具有一定的社会减压阀和情感补给站功能。

  在李强治看来,《办法》既鼓励技术发挥慰藉心灵、增进福祉的潜力,又划出隐私、伦理与安全不可逾越的红线,旨在引导拟人化互动服务真正成为构建“有温度的智能社会”的积极力量,推动社会稳健步入一个人机和谐共生、科技真正向善的美好未来。

(来源:中国网)
免责声明:本文内容来源于第三方或整理自互联网,本站仅提供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。

相关推荐

  • 罗技广告再被指“侮辱用户”,客服回应:已经展开调查,将以此为戒

    账号为“罗技G影音旗舰店”授权账号。随后记者以消费者身份咨询该授权账号链接的官方客服,客服表示:“非常抱歉给您带来不好的体验,我们已经展开调查。感谢您的监督与理解。罗技中国始终尊重每一位玩家。”针对将如何处理涉事账号

    2026-11-02
  • 从器械到指导,健身产业重新审视服务质量

    这一范围涵盖多类健身经营活动,不能直接视为健身房门店数量。 服务流程需要适应不同客群。初学者可能更需要动作安全与规律培养,运动经验较多的用户则关注训练计划与成果评估。门店如果用同一套销售话术覆盖全部人群,往往难以解释课程与需求如何匹配。把初次评估、阶段反馈和调....

    2026-10-27
  • 财经高校布局“AI+财经” 助推财经学科与人工智能深度融合

    在人工智能学院的“词元经济”课堂,教学不再主要依托教材案例和历史数据,而是引入实时数据和智能交互,学生围绕真实经济问题开展实训。 同时,学校新成立的未来商学院、数字经济学院,也在借助AI重构人才培养模式,培养适应智能经济发展的复合型财经人才。 首都经济贸易大学副校....

    2026-10-27
  • 中欧班列开行突破14万列 服务基本覆盖亚欧全境

    22日11时30分许,随着开往俄罗斯莫斯科的X8059次中欧班列从中国沈阳蒲河站发车,中欧班列累计开行突破14万列,发送货值超5600亿美元。国铁集团物流中心负责人介绍,近年来,铁路部门积极推动铁路基础设施“硬联通”和标准规则“软联通”,提升中欧班列运行效率,今年5月份,中欧班列单月开行1965列、发送19.7万标箱,创单月运量历史新高。目前,铁路部门正在积极推动中哈阿拉山口—多斯特克口岸、中俄满洲里—后贝加尔口岸跨境准轨增建二线工程前期工作,力争尽早开工建设,进一步提升口岸通行能力。

    2026-10-24
  • “人工智能+”深度融合激活商贸新动能 “科技兴商”顶层设计发布

    10月19日,国务院新闻办举行新闻发布会,商务部、工业和信息化部、文化和旅游部有关负责人介绍《关于加快推进科技兴商的意见》(以下简称《意见》)有关情况。商务部表示,还将推动应用科技,扩大体育、教育等领域升级类服务供给,拓展个性化服务业态,催生更多个性化消费场景。

    2026-10-20
  • 广交会释出外贸新动向 “产品+服务”模式走俏

    证券时报记者康殷从设备选型、厂房规划,到安装调试、人员培训,再到长期运维,外贸企业交付给海外客户的,正在从单件产品变为一项经营所需的配套服务。整体方案输出“客户不再只关心采购价格,会更看重产品可靠性、实际使用价值,不少客户也从单独采购组件,转向咨询光储搭配的成套产品。不同场景的需求也在细分:户用储能客户看重安装便利、安全稳定,工商业储能客户关注产品与企业用电场景的适配,大型项目储能客户更倾向采购整套系统。”郑州安邦机械科技有限公司技术工程师郭留闯接受证券时报记者采访时表示,过去,海外客户采购单机后,往往自行寻找其他厂家配套。订单不再是贸易的终点,而是长期价值共建的开端。

    2026-10-18
  • 端侧人工智能赛道迎来业绩兑现期

    下游终端需求回暖带动主控芯片需求增长,生成式人工智能发展进一步增加高性能芯片需求。同时,国内企业持续提升芯片性能、能效及供给能力,有助于支撑行业延续复苏势头。” 止于至善基金经理何理对《证券日报》记者表示:“行业未来增量主要来自传统终端升级与人工智能催生的新硬....

    2026-10-18
  • “人工智能+文化和旅游”应用试点名单公布

    2026年3月,文化和旅游部印发《文化和旅游部办公厅关于申报“人工智能 文化和旅游”应用试点的通知》(以下简称《通知》)。根据《通知》,“人工智能 文化和旅游”应用试点主要包括6个重点方向,分别为辅助文化艺术创作生产、提升公共文化服务水平、助力文化遗产保护传承、培育文化....

    2026-10-16
  • 从“失控入侵”到“擅自行动” 人工智能为何频频“闯祸”?

    与此同时,使用层面的风险不容忽视。政务、金融、工业等领域人工智能应用加速落地,部分使用者对AI能力边界认知不足,滥用、误用问题突出,也给安全治理带来新的挑战。 程莹:智能体决策链条长、自主程度高,异常行为难以及时识别,风险往往在事后追溯中才被发现,留给监管的响应....

    2026-10-11
  • 7亿用户成为AI产业巨大底盘

    这些成绩说明,庞大的用户基础正在促进从芯片到模型的AI产业全链条国产化,规模优势已转化为技术自主的底气。 当然,拥有7亿用户,不等于自动拥有强大的AI产业生态。用好庞大用户优势,需要在三个方向上持续发力。 以用户规模牵引供需闭环,让“用得多”变成“用得好”。AI产业正....

    2026-10-06