“通过AI简历筛选，要求招聘一位骨科护士，结果AI给出符合结果的简历却是一名兽医。”在日前举行的上海职工劳动和技能竞赛数字经济专项赛决赛上，一位参赛选手和评审老师的对话曝光了一个行业内存在的问题：一切交给AI，当甩手掌柜，但对可能产生的伦理风险、法律风险等没有得到运用者应有的重视。很多企业对于AI的需求只求“跑得快”，但对于结果会不会跑偏，却没有投入更多的力量去把控。

记者调查发现，“重开发、轻治理”的现象，几乎出现在各个频繁使用AI的行业领域内。对此，作为该项比赛的评审之一，模驭AI创始人兼CEO李泽涵博士在赛后接受记者采访时表示，拥抱AI是大势所趋，但“人”在AI的最终管理上不应缺位。

“工具狂欢”

该回归理性了

在此次上海职工劳动和技能竞赛数字经济专项赛决赛上，一位大型人力资源公司的员工在汇报她的AI简历筛选系统时，和评审李泽涵博士有过一段精彩的交锋：“我们的效率大大增加”“可你们的风险大大增加”“我们招到了适合的人”“但你们可能也错过了更适合的人”……

在你来我往的辩论中，话题渐渐集中到AI系统开发后是否经过风险排查。李泽涵博士在接受记者采访时一针见血地指出了这个案例背后的技术真相：“这是生成式AI的致命弱点——它表面的智能交互，实际上是在做‘概率预测’，而非‘逻辑理解’。”

他进一步解释道，AI在看到“骨科”“手术”这些词时，就像在玩“文字接龙”，它根据海量数据预测下一个最可能出现的词是“医疗经验”，但它并不像人类一样真正理解“给人看病”和“给动物看病”的本质区别。这就是典型的AI“幻觉”，它在用概率蒙混过关。李泽涵提醒道，在AI构建的高效现象背后，运用AI的人应回归理性，重视风险排查工作。

过度依赖AI

或让企业失控

在AI深入各行各业的当下，人过度依赖AI，把一切开始和结果都交给AI，而不做风控员、把关者、掌舵人，结果往往会给企业“挖坑”。

如某教育企业的学生行为分析系统，因工作人员未对学生的姓名、住址等敏感信息脱敏，就喂给AI完成某些指令工作，造成隐私泄露，不仅面临家长的大量投诉，更面临巨额罚款，品牌声誉跌至谷底。

又如某电商的用户复购预测模型上线6个月后，准确率从85%暴跌至50%——因未监控到用户购物习惯从PC端转向小程序，模型仍基于旧数据训练，最终错失双十一关键流量。

再如一些电商领域存在图片同质化和侵权风险。许多企业用AI批量生成商品图与商品短视频，虽然效率高成本低，但AI总是倾向于生成统计学上“最平均、不出错”的面孔和构图。“算法平均主义”导致市面上的广告图千篇一律，不仅让消费者产生审美疲劳，更让品牌失去了独特的“人味”和辨识度，这同样是一种隐性的商业风险。

在李泽涵看来，这就是一种“AI资源错配”。很多企业力求“跑得快”，预算都花在AI应用开发上，但在合规审查、结果校验等风控环节却吝啬投入，甚至还会节省这些后道工序的工作人员。“这种结构性的失衡，一旦失控，后果不堪设想。”

把决策权

牢牢抓在人的手中

那么，企业该如何规避风险？李泽涵认为，不能仅满足于应用层面的“能用”，更要构建全生命周期的防御体系。

他认为，企业要在建立AI工作标准操作流程（SOP）的基础上，把人当作“最后的守门员”。他强调，AI可以负责海选与初筛，但人类必须负责精验与决策。特别是在招聘录用、内容发布等关键节点，必须强制设置人工复核环节，不能把方向盘完全交给算法。

“AI会在海量数据的投喂下，逐渐形成一套旁人不能轻易察觉的偏见，比如对学历、出身的隐形歧视。如果不进行系统谨慎的排查，AI可能会‘杀人于无形’。”李泽涵建议，企业要最大限度地消除AI带来的不确定性，让技术真正服务于人，而不是被算法绑架。