机器学习VS ChatGPT-4，谁更胜一筹？

科研绘图医学插图机构

上海/插画师/67天前/5浏览

版权

科研绘图医学插图

Collect

在骨科临床诊疗中，脊柱结核（STB）与脊柱肿瘤（ST）的鉴别诊断一直是令医生头疼的难题。这两种疾病不仅临床表现相似，影像学特征也常常重叠，稍有不慎就可能造成误诊，进而影响治疗方案的选择和患者的预后。

近年来，人工智能技术的飞速发展为医学诊断带来了新的希望。大型语言模型如ChatGPT-4凭借其强大的自然语言处理能力，在多个医学领域崭露头角；而机器学习模型则在图像识别、数据分析等方面展现出独特优势。那么，在脊柱结核与脊柱肿瘤的鉴别诊断中，这两类人工智能技术究竟表现如何？中南大学湘雅医院的一项回顾性队列研究给出了答案。

研究背景：鉴别诊断的临床困境

脊柱结核和脊柱肿瘤都是脊柱外科常见的疾病，但二者的治疗原则和预后却大相径庭。脊柱结核以抗结核药物治疗为主，必要时辅以手术；而脊柱肿瘤则多需要手术切除、放化疗等综合治疗。因此，准确的鉴别诊断是制定合理治疗方案的前提。

然而，在实际临床工作中，这两种疾病的鉴别并不容易。它们都可能表现为腰背部疼痛、脊柱畸形、神经功能障碍等症状，影像学上也都可能出现椎体破坏、椎间隙狭窄等改变。传统的鉴别方法主要依靠医生的临床经验、实验室检查和影像学分析，但这些方法的准确性往往受到多种因素的影响，误诊率较高。

随着人工智能技术在医学领域的应用越来越广泛，研究者们开始探索利用人工智能辅助脊柱结核与脊柱肿瘤的鉴别诊断。本次研究就是在这样的背景下开展的，旨在比较多种机器学习模型和ChatGPT-4在这一领域的诊断性能。

研究设计：严谨的数据与方法

研究对象

本研究回顾性收集了2016年1月至2023年6月中南大学湘雅医院收治的143例脊柱结核病例和153例脊柱肿瘤病例，所有病例均经病理检查或临床随访证实。

数据收集

研究收集了患者的多项临床资料，包括：

基本信息：年龄、性别、病程等；

实验室检查结果：血常规、血沉、C反应蛋白等；

血清肿瘤标志物：癌胚抗原、甲胎蛋白等；

影像学资料：磁共振成像（MRI）和计算机断层扫描（CT）等。

研究方法

研究采用了6种不同的机器学习模型以及ChatGPT-4来进行鉴别诊断，并对它们的性能进行了评估。其中，机器学习模型包括梯度提升机（GBM）、随机森林、逻辑回归等。

评估指标主要包括灵敏度和特异度。灵敏度是指在实际患病的患者中，被正确诊断为患病的比例；特异度是指在实际未患病的患者中，被正确诊断为未患病的比例。

研究结果：机器学习表现更优

机器学习模型的表现

在6种机器学习模型中，梯度提升机（GBM）算法模型表现出了最高的鉴别诊断效率。

在训练队列中，GBM模型在区分脊柱结核和脊柱肿瘤方面达到了98.84%的灵敏度和100.00%的特异度。这意味着，在已知结果的训练数据中，该模型几乎能够准确识别出所有的脊柱结核患者和脊柱肿瘤患者。

在试验队列中，GBM模型的表现依然出色，其灵敏度为98.25%，特异度为91.80%。这表明，该模型在未知数据上的泛化能力也很强，能够保持较高的诊断准确性。

ChatGPT-4的表现

相比之下，ChatGPT-4的鉴别诊断性能则不太理想。其灵敏度为70.37%，特异度为90.65%。

研究还发现，在单题情况下，ChatGPT-4的灵敏度和特异度分别为71.67%和92.55%；而在复问病例中，其灵敏度和特异度则进一步下降，分别为44.44%和76.92%。这说明，ChatGPT-4的诊断性能受提问方式和病例复杂程度的影响较大。

研究结论：GBM模型价值显著

综合以上结果，研究得出结论：梯度提升机（GBM）模型在脊柱结核和脊柱肿瘤的鉴别诊断中具有显著的价值，而ChatGPT-4的诊断性能仍然不理想。

这一结论为临床医生提供了重要的参考。在今后的临床工作中，医生可以考虑将GBM模型作为辅助诊断工具，以提高脊柱结核与脊柱肿瘤鉴别诊断的准确性。而对于ChatGPT-4等大型语言模型，虽然目前其诊断性能还不能满足临床需求，但随着技术的不断发展，其在医学领域的应用潜力仍然值得期待。

讨论与展望

机器学习的优势

机器学习模型在本次研究中表现出色，主要得益于其强大的数据处理和模式识别能力。它能够从大量的临床数据中挖掘出潜在的规律和特征，从而实现对疾病的准确诊断。

与传统的诊断方法相比，机器学习模型具有以下优势：

客观性：不受医生主观经验和情绪的影响；

高效性：能够快速处理大量数据，提高诊断效率；

准确性：在经过充分训练后，能够达到较高的诊断准确性。

大型语言模型的潜力与挑战

ChatGPT-4作为一种大型语言模型，在医学问答、知识普及等方面具有一定的优势。但在本次鉴别诊断研究中，其表现并不理想，这主要是由于以下原因：

数据依赖：大型语言模型的性能很大程度上依赖于训练数据的质量和数量，而在脊柱结核与脊柱肿瘤鉴别诊断方面，可能缺乏足够的高质量标注数据；

推理能力限制：虽然大型语言模型具有一定的推理能力，但在处理复杂的医学问题时，其逻辑推理和因果分析能力仍然有限；

对输入格式的敏感性：如研究所示，提问方式会影响ChatGPT-4的诊断结果，这在一定程度上限制了其临床应用。

不过，随着技术的不断进步，大型语言模型的性能也在不断提升。未来，通过收集更多的高质量医学数据、改进模型结构和训练方法，大型语言模型有望在医学诊断领域发挥更大的作用。

未来发展方向

本次研究为人工智能在脊柱疾病诊断中的应用提供了新的思路。未来，研究者们可以从以下几个方面进一步开展工作：

扩大样本量：进一步收集更多的病例数据，以提高模型的泛化能力；

融合多模态数据：将影像学数据、实验室检查数据、临床症状等多模态数据进行融合，以提高诊断的准确性；

优化模型算法：不断改进机器学习和大型语言模型的算法，以适应复杂的医学诊断需求；

开展前瞻性研究：通过前瞻性研究验证模型的实际应用效果。

总之，人工智能技术在医学领域的应用前景广阔。本次研究表明，机器学习模型在脊柱结核与脊柱肿瘤的鉴别诊断中具有显著优势，为临床诊断提供了新的工具和方法。相信随着技术的不断发展，人工智能将在更多的医学领域发挥重要作用，为提高医疗质量和患者预后做出更大的贡献。