7月2日，首都医科大学附属北京友谊医院放射介入科金龙/栗荐团队联合北京同仁医院王宁利团队、复旦大学附属中山医院葛均波/李晨光团队以及英国帝国理工学院、英国伦敦大学学院等国内外多家知名机构，在Nature旗下数字医学顶刊npj Digital Medicine（IF=18）在线发表题为“Physicians and artificial intelligence diverge in evaluating large language models on real clinical cases”的研究论文。

该研究直击当前医疗人工智能评估的核心难题：大语言模型（LLM）在临床场景中究竟表现如何？谁来评估、如何评估？为解决该问题，研究团队开展了迄今为止规模最大的多中心、多学科评估研究，首次系统地揭示了医生与AI智能体在评估LLM解读真实临床病例时存在的系统性认知分歧。

跨越7个专科、400余位医生的真实世界评估

研究团队回顾性纳入了2024年多中心收集的真实临床病例，涵盖心内科、神经内科、肝胆外科、眼科等7个医学专科。超过400位来自不同年资层次和不同地域的执业医生，对5个通用大语言模型（GPT-4o、Claude 3.5、Qwen-Max、DeepSeek-R1、OpenAI o1）生成的病例解读进行了多维度的盲法评估，其维度涵盖全面性（Comprehensiveness）、连贯性(Coherence)、准确性(Accuracy)、有用性(Helpfulness)、无害性(Harmlessness)和结构性(Structure)六个方面。

与此同时，研究团队部署了与医生配置相同的AI智能体作为对照，采用相同的病例材料和评估维度，以检验自动化评估工具能否补充或替代人类医生。

临床年资与地域差异塑造医生评估异质性

研究发现，医生对大语言模型的评估并非铁板一块——临床年资显著影响评估偏好。初级医生更倾向于Qwen-Max，而高年资专家则在连贯性、准确性和临床有用性等维度上对GPT-4o和DeepSeek-R1给予更高评价。最受青睐的模型在不同年资组之间并不稳定，提示临床经验塑造了多维度的评估优先级。

更具启示意义的是，高原地区与平原地区医生的评估模式也存在显著差异——部分模型的相对排名甚至出现方向性逆转。这一发现表明，临床实践环境可能深刻影响医生对LLM生成内容的判断标准，未来LLM评估研究应将执业环境作为重要的分层变量。

AI智能体：高效但无法替代人类临床判断

在平行评估中，AI智能体在所有六个维度上均将OpenAI o1视为最优解，而人类医生则更青睐DeepSeek-R1和GPT-4o，这种系统性偏好分歧集中在排名顶端。尽管在一致性分析中，AI智能体与人类医生之间呈现出中等程度的整体一致性（Kendall‘s W=0.798），但智能体无法复现人类医生评估中因年资和地域差异而产生的丰富异质性。

研究特别指出，AI智能体在不同模拟经验水平下产生的排名高度一致（76.7%），而人类医生中这一比例仅为3.3%。这种高度一致性不应等同于有效性，恰恰相反，它表明当前AI作为评估者，尚无法模拟人类临床判断的结构化异质性。

研究意义：以多样性锚定AI临床评估

该研究的核心启示在于：对大语言模型临床价值的评估，不能依赖单一的标准化考试题目或基准测试。真实世界的临床评估需要以人为本、丰富多元的评估框架，涵盖不同专科、不同年资和不同执业环境的医生视角。AI自动化评估可在初步筛查或探索性基准测试中发挥作用，但临床相关性、安全性和实用性的最终判断，暂时仍需锚定于人类本身，这也对未来的专科AI智能体研发提供了新的思考与方向。

研究工作得到国家重点研发计划、国家自然科学基金、中国科学院西部之光基金、北京友谊医院种子计划、河南省高层次人才培养计划等项目的支持。