2016年5月30日上午,瑞金医院的手术室里面,中国腹腔镜外科首席专家的郑民华教授成功为一名八十多岁的右半结肠癌患者实施肿瘤切除手术,并首次通过虚拟现实技术(VR)对手术全程进行了直播。这也是国内首次实现用虚拟现实身临其境般“围观”的手术。同时为了更好地体现现实手术细节用于满足微创手术教学需要,在全景360VR直播的基础上,这次直播还把3D腹腔镜视频信号整合进直播过程中,这是全球范围内首创。
VR直播有何不同
虚拟现实(VR)技术中VR直播是目前较为广泛的应用之一,通过特殊的全景相机架设在手术室主刀医生的上方,能够把第一现场的场景360度完全摄录下来,专门拼接融合后传输到云端,再通过专门的APP或者微信网页端视频播放器结合现有的简易虚拟现实设备实现VR手术直播。
以往VR直播技术,主要应用于运动比赛和演唱会等文体娱乐现场,相比之下手术室的VR直播,难度更大,除了因为空间太小容易全景照成变形以外,还要兼顾好手术室全景和手术细节展现的需要,特别是目前的手术更多是微创手术,手术的细节更多是通过手术室的高清显示器中的图像显示。以往的微创手术转播观摩,只能看到内窥镜下的图像,无法亲临现场的低年资医生很难理解高难度手术中的玄机和技巧。VR直播的出现,让这些困境迎刃而解,观摩者通过电脑或手机屏幕可以看见全景视频直播画面,感受第一视角的观摩感受。
身临其境,用主刀的视角学手术
腹腔镜手术与传统手术相比,除了手术室全景还有腹腔镜画面需要实时转播,此次VR手术直播调试中,在郑民华教授的倡导下,首次实现手术室全景、3D腹腔镜画面同时通过VR眼镜直播,手术观摩者不仅能通过VR眼镜实现两种画面的实施观看,并能由观摩者自己在两个画面间自由切换。
郑民华教授介绍,“以前的3D腹腔镜手术的直播需要3D电视机或3D显示屏、3D眼镜,现在只要一个手机加一副插入式VR眼镜就能实现。未来我们的手术室示教室也许不再需要各种电视机屏幕,依托VR直播技术,医生的学习也将摆脱时间和空间限制,学员们只要在有网络和手机的情况下,就能够在线自由观看VR手术画面,感受沉浸式手术观摩体验,实现虚拟实景的实时再现。甚至于微创外科的手术方式也将因为减少屏幕而改变,这是医学教育与手术在线培训与观摩的一种颠覆性改变,也是微创外科PLUS希望推进的创新理念”。
但是目前的全景视频拍摄还不能体现出手术的细节部分,特别是微创类型的手术。上海医微讯数字科技有限公司开发的柳叶刀客VR直播播放器,把全景视频和3D手术视频有效的整合在一起,让观看者能在观看全景的同时观看到手术腔镜的视野的图像,并通过视觉焦点进行交互自由的选择观看的角度和内容。利用这种方式的转播,让原本被动的受众变得更为主动,更好交互和沉浸将有助于实现更好的教学目的。
(文章来源于网络)