• 程序性能的变化。 [时间范围：研究日]
  在每种练习中的性能都是利用模拟器中的原始数据来测量的，该数据可通过先前建立的AI算法在经过验证的指标上进行评估。
• 学习变化[时间范围：学习日]
  专家指导员使用目标技术技能（OSAT）视觉评级量表（以50％的加权）和AI评估算法（以50％的加权）评估了复杂现实场景的性能。

• 程序性能的变化。 [时间范围：研究日]
  在每种练习中的性能都是利用模拟器中的原始数据来测量的，该数据可通过先前建立的AI算法在经过验证的指标上进行评估。
• 学习变化[时间范围：学习日]
  使用OSAT的视觉评级量表（以50％的加权）和AI评估算法（以50％的加权为50％），通过专家讲师评估了复杂现实场景的性能。

• 引起的情绪强度的差异[时间范围：学习日]
  干预前，之中和之后，使用达菲的医疗情绪量表（MES）测量。
• 认知负荷的差异[时间范围：研究日]
  干预后，使用Leppink的认知负荷指数（CLI）测量。

简要摘要：

背景：

尽管手术经验和技术技能与更好的患者结局有关，但在手术室中定量手术能力是具有挑战性的。在外科教育中，可以通过机器学习算法来客观地衡量受训者的绩效和专家基准的能力，可以使用高保真虚拟现实模拟器生成的大型数据集。这允许在具有立即反馈的安全和无风险环境中重复实践手术技能。

我们的小组开发了一个名为“虚拟操作助理（VOA）”的智能辅导系统的专利申请。通过使用人工智能（AI）支持向量机算法，VOA评估了源自Neurovr（CAE Healthcare）模拟器平台的数据，并提供个性化的视听反馈，以在模拟的脑肿瘤切除术中提高学习者的表现。智能辅导系统（例如人为手术学徒教学法）等智能辅导系统的有效性尚待阐明。

这项研究的目的是将个性化VOA反馈的有效性和教育影响与专家指导有关医学生的技术技能学习虚拟现实肿瘤切除程序的技术技能。

具体目的：1）评估医学生是否接受个性化VOA反馈在统计学上可以改善其手术表现，而没有专家教师反馈或（b）专家教师介导的反馈。 2）概述与人类教学相比，在执行这项成就任务的同时，VOA智能辅导系统是否引起了不同的情绪

设计：VOA培训与基于远程的专家指导与控制的三臂部分盲目的随机对照试验。

环境：蒙特利尔神经学研究所的神经外科模拟和人工智能学习中心。

参与者：来自魁北克省的一年级和二年级医学生。

任务：完全去除模拟的肿瘤 - 可通过颜色和触觉特性区分 - 使用两种外科手术仪器（Cavitron Ultrasonic Assportor和双极杆子）的神经保健（CAE Healthcare）手术模拟器的两种手术仪器（Cavitron Ultrasonic Assertor和双极状），对周围健康大脑的损害最小。

干预：一次75分钟的一次训练课程，包括六次虚拟的亚皮亚肿瘤切除尝试（五个简单的实践场景和一个复杂的现实场景），并从任何一个中进行了评估和反馈：

1. VOA智能辅导系统（第2组）或

2. 基于远程的专家讲师（第3组）

   两者都与：

3. 对照组（第1组）未接收评估或绩效反馈。

据我们所知，这将是第一个将AI驱动的智能辅导系统与在医学和外科手术虚拟现实模拟背景下的专家指导进行比较的研究，并评估对此类指导的情感反应。这项研究旨在开始确定在医学教育课程中使用这种创新技术的成功方法，并通过提高外科医生和其他医疗保健提供者的安全性，效率和能力来改善患者的结果。

• 行为：虚拟手术助理培训
  个人收到相同的基本信息，具有相同的时间，并且与对照组执行相同的方案。在两次尝试之间的5分钟内，参与者会对他们的绩效和视听反馈进行虚拟手术助理评估。
• 行为：基于远程的专家讲师培训
  个人收到相同的信息，具有相同的时间，并且与对照组执行相同的方案。同时，训练有素的讲师观察了参与者的屏幕表演，该表演是现场直播的。讲师是高级神经外科居民，在表演和评估这种情况方面具有丰富的经验。在5分钟的反馈会议中，他们与学生聊天，讨论表现并帮助设定下一次试验的目标。

• 没有干预：对照组

  对照组 - 基线训练

  25名参与者分配了。个人会收到有关使用模拟器和场景的介绍性信息。他们执行5个简单的亚皮肿瘤切除术，每次试验5分钟。每次尝试之后，学生都会休息5分钟，没有评估或反馈他们的表现。在他们的第六次尝试中，他们有13分钟来执行不同的现实情况。

• 实验：实验组 - 虚拟手术辅助培训

  实验组 - 虚拟手术辅助培训

  25名参与者分配了。个人收到相同的信息，具有相同的时间，并且与对照组执行相同的方案。在两次尝试之间的5分钟内，参与者会对他们的绩效和视听反馈进行虚拟手术辅助培训评估。

  干预：行为：虚拟手术助理培训
• 实验：实验组 - 基于远程的专家讲师培训
  25名参与者分配了。个人收到相同的信息，具有相同的时间，并且与对照组执行相同的方案。同时，训练有素的讲师观察了参与者的屏幕表演，该表演是现场直播的。讲师是高级神经外科居民，在表演和评估这种情况方面具有丰富的经验。在5分钟的反馈会议中，他们与学生聊天，讨论表现并帮助设定下一次试验的目标。
  干预：行为：基于远程的专家讲师培训

• Birkmeyer JD，Finks JF，O'Reilly A，Oerline M，Carlin AM，Nunn AR，Dimick J，Banerjee M，Birkmeyer NJ；密歇根州立大学手术合作。减肥手术后的手术技能和并发症率。 N Engl J Med。 2013年10月10日； 369（15）：1434-42。 doi：10.1056/nejmsa1300625。
• Birkmeyer JD，Stukel TA，Siewers AE，Goodney PP，Wennberg DE，Lucas Fl。美国外科医生的数量和手术死亡率。 N Engl J Med。 2003年11月27日； 349（22）：2117-27。
• Stulberg JJ，Huang R，Kreutzer L，Ban K，Champagne BJ，Steele SR，Johnson JK，Holl JL，Greenberg CC，Bilimoria KY。外科医生技术技能与患者结局之间的关联。贾玛外科。 2020年10月1日; 155（10）：960-968。 doi：10.1001/jamasurg.2020.3007。 Erratum在：Jama Surg。 2020年10月1日; 155（10）：1002。
• Winkler-Schwartz A，Yilmaz R，Mirchi N，Bissonnette V，Ledwos N，Siyar S，Azarnoush H，Karlik B，Del Maestro R.机器学习在虚拟现实模拟中与手术专业化相关的手术和手术因素的识别。 JAMA NetW Open。 2019年8月2日； 2（8）：E198363。 doi：10.1001/jamanetworkopen.2019.8363。
• Mirchi N，Bissonnette V，Yilmaz R，Ledwos N，Winkler-Schwartz A，Del Maestro RF。虚拟手术助理：一种可解释的人工智能工具，用于基于模拟的手术和医学培训。 PLOS ONE。 2020年2月27日； 15（2）：E0229596。 doi：10.1371/journal.pone.0229596。 2020年环保。
• Winkler-Schwartz A，Marwa I，Bajunaid K，Mullah M，Alotaibi FE，Bugdadi A，Sawaya R，Sabbagh AJ，Del MaestroR。视觉评级量表和模拟的虚拟现实量表的比较神经外科培训中的虚拟现实指标：一项概括性理论研究。一种概括性研究。世界Neurosurg。 2019年7月; 127：E230-E235。 doi：10.1016/j.wneu.2019.03.059。 EPUB 2019 3月15日。
• Duffy，MC等人，医学教育中的情绪：在真实的医学学习环境中检查医学情绪量表（MES）的有效性。学习与教学，2020年。70：p。 101150。
• Leppink J，Paas F，Van der Vleuten CP，Van Gog T，VanMerriënboerJJ。开发用于测量不同类型的认知负荷的仪器。行为方法。 2013年12月; 45（4）：1058-72。 doi：10.3758/s13428-013-0334-1。

纳入标准：•来自任何不符合排除标准的加拿大机构的一年级和二年级医学生。

-

排除标准：•参与我们小组以前的任何涉及Neurovr（CAE Healthcare）模拟器的试验。

-

• 程序性能的变化。 [时间范围：研究日]
  在每种练习中的性能都是利用模拟器中的原始数据来测量的，该数据可通过先前建立的AI算法在经过验证的指标上进行评估。
• 学习变化[时间范围：学习日]
  专家指导员使用目标技术技能（OSAT）视觉评级量表（以50％的加权）和AI评估算法（以50％的加权）评估了复杂现实场景的性能。

• 程序性能的变化。 [时间范围：研究日]
  在每种练习中的性能都是利用模拟器中的原始数据来测量的，该数据可通过先前建立的AI算法在经过验证的指标上进行评估。
• 学习变化[时间范围：学习日]
  使用OSAT的视觉评级量表（以50％的加权）和AI评估算法（以50％的加权为50％），通过专家讲师评估了复杂现实场景的性能。

• 引起的情绪强度的差异[时间范围：学习日]
  干预前，之中和之后，使用达菲的医疗情绪量表（MES）测量。
• 认知负荷的差异[时间范围：研究日]
  干预后，使用Leppink的认知负荷指数（CLI）测量。

简要摘要：

背景：

尽管手术经验和技术技能与更好的患者结局有关，但在手术室中定量手术能力是具有挑战性的。在外科教育中，可以通过机器学习算法来客观地衡量受训者的绩效和专家基准的能力，可以使用高保真虚拟现实模拟器生成的大型数据集。这允许在具有立即反馈的安全和无风险环境中重复实践手术技能。

我们的小组开发了一个名为“虚拟操作助理（VOA）”的智能辅导系统的专利申请。通过使用人工智能（AI）支持向量机算法，VOA评估了源自Neurovr（CAE Healthcare）模拟器平台的数据，并提供个性化的视听反馈，以在模拟的脑肿瘤切除术中提高学习者的表现。智能辅导系统（例如人为手术学徒教学法）等智能辅导系统的有效性尚待阐明。

这项研究的目的是将个性化VOA反馈的有效性和教育影响与专家指导有关医学生的技术技能学习虚拟现实肿瘤切除程序的技术技能。

具体目的：1）评估医学生是否接受个性化VOA反馈在统计学上可以改善其手术表现，而没有专家教师反馈或（b）专家教师介导的反馈。 2）概述与人类教学相比，在执行这项成就任务的同时，VOA智能辅导系统是否引起了不同的情绪

设计：VOA培训与基于远程的专家指导与控制的三臂部分盲目的随机对照试验。

环境：蒙特利尔神经学研究所的神经外科模拟和人工智能学习中心。

参与者：来自魁北克省的一年级和二年级医学生。

任务：完全去除模拟的肿瘤 - 可通过颜色和触觉特性区分 - 使用两种外科手术仪器（Cavitron Ultrasonic Assportor和双极杆子）的神经保健（CAE Healthcare）手术模拟器的两种手术仪器（Cavitron Ultrasonic Assertor和双极状），对周围健康大脑的损害最小。

干预：一次75分钟的一次训练课程，包括六次虚拟的亚皮亚肿瘤切除尝试（五个简单的实践场景和一个复杂的现实场景），并从任何一个中进行了评估和反馈：

1. VOA智能辅导系统（第2组）或

2. 基于远程的专家讲师（第3组）

   两者都与：

3. 对照组（第1组）未接收评估或绩效反馈。

据我们所知，这将是第一个将AI驱动的智能辅导系统与在医学和外科手术虚拟现实模拟背景下的专家指导进行比较的研究，并评估对此类指导的情感反应。这项研究旨在开始确定在医学教育课程中使用这种创新技术的成功方法，并通过提高外科医生和其他医疗保健提供者的安全性，效率和能力来改善患者的结果。

• 行为：虚拟手术助理培训
  个人收到相同的基本信息，具有相同的时间，并且与对照组执行相同的方案。在两次尝试之间的5分钟内，参与者会对他们的绩效和视听反馈进行虚拟手术助理评估。
• 行为：基于远程的专家讲师培训
  个人收到相同的信息，具有相同的时间，并且与对照组执行相同的方案。同时，训练有素的讲师观察了参与者的屏幕表演，该表演是现场直播的。讲师是高级神经外科居民，在表演和评估这种情况方面具有丰富的经验。在5分钟的反馈会议中，他们与学生聊天，讨论表现并帮助设定下一次试验的目标。

• 没有干预：对照组

  对照组 - 基线训练

  25名参与者分配了。个人会收到有关使用模拟器和场景的介绍性信息。他们执行5个简单的亚皮肿瘤切除术，每次试验5分钟。每次尝试之后，学生都会休息5分钟，没有评估或反馈他们的表现。在他们的第六次尝试中，他们有13分钟来执行不同的现实情况。

• 实验：实验组 - 虚拟手术辅助培训

  实验组 - 虚拟手术辅助培训

  25名参与者分配了。个人收到相同的信息，具有相同的时间，并且与对照组执行相同的方案。在两次尝试之间的5分钟内，参与者会对他们的绩效和视听反馈进行虚拟手术辅助培训评估。

  干预：行为：虚拟手术助理培训
• 实验：实验组 - 基于远程的专家讲师培训
  25名参与者分配了。个人收到相同的信息，具有相同的时间，并且与对照组执行相同的方案。同时，训练有素的讲师观察了参与者的屏幕表演，该表演是现场直播的。讲师是高级神经外科居民，在表演和评估这种情况方面具有丰富的经验。在5分钟的反馈会议中，他们与学生聊天，讨论表现并帮助设定下一次试验的目标。
  干预：行为：基于远程的专家讲师培训

• Birkmeyer JD，Finks JF，O'Reilly A，Oerline M，Carlin AM，Nunn AR，Dimick J，Banerjee M，Birkmeyer NJ；密歇根州立大学手术合作。减肥手术后的手术技能和并发症率。 N Engl J Med。 2013年10月10日； 369（15）：1434-42。 doi：10.1056/nejmsa1300625。
• Birkmeyer JD，Stukel TA，Siewers AE，Goodney PP，Wennberg DE，Lucas Fl。美国外科医生的数量和手术死亡率。 N Engl J Med。 2003年11月27日； 349（22）：2117-27。
• Stulberg JJ，Huang R，Kreutzer L，Ban K，Champagne BJ，Steele SR，Johnson JK，Holl JL，Greenberg CC，Bilimoria KY。外科医生技术技能与患者结局之间的关联。贾玛外科。 2020年10月1日; 155（10）：960-968。 doi：10.1001/jamasurg.2020.3007。 Erratum在：Jama Surg。 2020年10月1日; 155（10）：1002。
• Winkler-Schwartz A，Yilmaz R，Mirchi N，Bissonnette V，Ledwos N，Siyar S，Azarnoush H，Karlik B，Del Maestro R.机器学习在虚拟现实模拟中与手术专业化相关的手术和手术因素的识别。 JAMA NetW Open。 2019年8月2日； 2（8）：E198363。 doi：10.1001/jamanetworkopen.2019.8363。
• Mirchi N，Bissonnette V，Yilmaz R，Ledwos N，Winkler-Schwartz A，Del Maestro RF。虚拟手术助理：一种可解释的人工智能工具，用于基于模拟的手术和医学培训。 PLOS ONE。 2020年2月27日； 15（2）：E0229596。 doi：10.1371/journal.pone.0229596。 2020年环保。
• Winkler-Schwartz A，Marwa I，Bajunaid K，Mullah M，Alotaibi FE，Bugdadi A，Sawaya R，Sabbagh AJ，Del MaestroR。视觉评级量表和模拟的虚拟现实量表的比较神经外科培训中的虚拟现实指标：一项概括性理论研究。一种概括性研究。世界Neurosurg。 2019年7月; 127：E230-E235。 doi：10.1016/j.wneu.2019.03.059。 EPUB 2019 3月15日。
• Duffy，MC等人，医学教育中的情绪：在真实的医学学习环境中检查医学情绪量表（MES）的有效性。学习与教学，2020年。70：p。 101150。
• Leppink J，Paas F，Van der Vleuten CP，Van Gog T，VanMerriënboerJJ。开发用于测量不同类型的认知负荷的仪器。行为方法。 2013年12月; 45（4）：1058-72。 doi：10.3758/s13428-013-0334-1。

纳入标准：•来自任何不符合排除标准的加拿大机构的一年级和二年级医学生。

-

排除标准：•参与我们小组以前的任何涉及Neurovr（CAE Healthcare）模拟器的试验。

-