DeepSeek的爆火引发了公众对大语言模型（人工智能AI）的广泛关注，有人深夜向它倾诉职场压力，也有人将其作为抑郁情绪的“树洞”。随着越来越多的用户开始自发利用这种7×24小时在线的大语言模型进行心理支持与情感陪伴，不可忽视的风险也随之产生，比如依赖性、病耻感加剧等隐性风险，错误的诊断与医疗建议等显性风险，甚至可能出现自杀等极端风险。
近日，上海交通大学医学院附属精神卫生中心联合上海人工智能实验室，在《精神病学与临床神经科学》杂志上在线发表题为“风险评估链：公共精神卫生领域中更安全的大语言模型的框架”的综述文章，从行动者网络理论的视角出发，系统揭示了大语言模型在公共精神卫生中的多层次风险，并提出从技术到社会的综合治理方法。
揭秘AI与用户的对话机制
该文章首先将用户与大语言模型的对话场景建构为一个行动者网络，其中双方都是相互影响着的具有能动性的行动者。基于动态解释理论，进一步阐述了用户与大语言模型对话中的语境、对话行为与反馈。二者对话的语境包括：既往对话历史与模型的系统提示（语言语境），用户的对话意图与模型的应用领域（语义语境），用户的认知状态与模型本身的性能（认知语境），对话发生的设备与环境（物理语境），以及由用户主导发起与结束对话的社会语境。
在当前语境下，用户输入提示词，模型根据提示词生成回复，实现对话行为。随后对话行为产生两种反馈：用户通过对话获得信息或产生情绪反应，而模型根据用户回复进行自我修正与改进。这些反馈进一步改变当前语境，推动对话深入与发展。
与人和人之间的对话相比，用户与AI对话最显著的特征是身处较为松散的物理语境与社会语境，这些特征可能使用户倾向于述说负面、私密或者具有争议性的话题。孤独感强的用户尤其偏好这种对话类型。但是，松散的物理语境同时也可能加深用户的孤独感，形成一种恶性循环。
四类潜在风险不容忽视
研究表明，用户与模型共同影响着对话的进行与效果，因此文章提出了风险评估链（Chain of Risks Evaluation, CORE）的理论框架，指出大语言模型在公共精神卫生中潜在四类风险。
通用风险 通常源于模型训练数据的偏差、算法设计缺陷或价值观未对齐，涉及对人类基本权利和心理健康构成的威胁，包括输出歧视与污名化内容、泄露用户隐私信息、诱导用户自伤自杀等。
语境特异风险 指模型的回复可能脱离语境或传达虚假信息，比如对用户提供不恰当乃至错误诊断或不准确的医疗建议，可能引起用户误解、忽视或者过度关注自己的心理状态，造成不必要的心理困扰。
用户特异风险 指模型的情感支持可能会与孤独程度高的用户产生更强烈的共鸣，导致这类用户产生依赖性。由于AI目前还无法替代常规的面对面心理治疗，过度依赖它可能导致自我诊断和自我治疗的误判，从而延误规范的临床诊断和循证治疗，并加重症状。
用户—语境特异风险 指模型由于难以准确理解和权衡每个用户独特的心理状态、支持系统和生活处境，可能在无意中给出脱离用户个体特征与特定语境的有害回复。比如鼓励用户直面内心的恐惧，可能对轻度焦虑的用户有益，却对处于发作期的创伤后应激障碍用户有害。
多种对策综合防范风险
CORE理论提出了大语言模型在公共精神卫生领域中的四类风险，那么如何防范这些风险呢？文章进一步从训练数据、模型开发、伦理考量与社会参与等角度给出了综合治理策略，主要包括：设计全面的评估基准来测试大语言模型在公共精神卫生领域中的安全性；通过数据集优化技术改善训练数据的质量与代表性；对模型进行特定领域的微调，以提高准确性；利用检索增强生成等方法减少模型幻觉；开发用户画像技术以适应不同用户的需求；实施提示工程以引导更安全的交互；制定全面的使用指南和道德准则，以规范开发与应用等。
最后，文章呼吁精神卫生从业者积极参与相关研究，通过实证研究深入了解大语言模型对不同用户群体的心理影响，积极开展科普教育，宣传接受专业心理健康服务的重要性。
总而言之，技术开发者、精神卫生从业者、政策制定者与社会公众应该多方协作、凝聚力量，共同探索大语言模型在公共精神卫生中的合理应用与风险治理，让AI真正为公共精神卫生事业赋能。
