Metaverse: a new reality in surgery. Review

Cover Page


Cite item

Full Text

Abstract

The metaverse is a relatively new concept in technological advancement. It is a three-dimensional immersive environment including real and virtual world elements, in which various digital agents, more precisely, avatars, interact with each other and various activities (educational, cultural, and financial) can be carried out. It is an emerging controversial concept without precise definition and will likely continue to evolve as technology improves. Works of literature from 2020 to 2023, posted in the PubMed and Web of Science databases, were extracted using the following keywords: “metaverse”, “education”, “digital therapy”, “interdisciplinary consultation”, “medical Internet of things”, “virtual reality”, “superimposed reality”, “extended reality”, “mixed reality”, “lifelogging”, “mirror world”, “digital twins”, and “surgery”. In the PubMed search using the original terms, no publications were extracted in 2020, 9 in 2021, 161 in 2022, and 246 in 2023. In the healthcare context, metaverse technology refers to the use of virtual reality and interactive and other immersive technologies, such as augmented reality, to create simulated environments intended for training, education, and clinical applications. Various aspects of medicine such as digital therapeutics, multidisciplinary team discussions, medical Internet of things, surgical simulations, conferences and meetings, research programs, etc., are being explored. Depending on the requirements, the metaverse provides a versatile platform that can be modeled accordingly, providing a flexible tool for medical development. In this review, we discussed in detail the possible applications of the metaverse in surgery. All scoping rubrics are based on the sparse evidence in the scientific literature and are adequately evaluated to provide compelling evidence on the utility of the metaverse in the future of medicine.

Full Text

ВВЕДЕНИЕ

В последние два десятилетия мир столкнулся с невиданными ранее изменениями, благодаря распространению множества новых технологий и инструментов, которые открывает для нас четвертая технологическая революция. Цифровая трансформация серьезно повлияла на систему здравоохранения, чему еще больше способствовали ограничения, вызванные пандемией COVID-19, и связанное с ней социальное дистанцирование, что неизбежно привело к повышению цифровой грамотности, как пациентов, так и врачей, благодаря более широкому внедрению цифровой инфраструктуры и осознанию потенциала этих новых технологий. В период пандемии COVID-19 важно было задуматься о глубоких изменениях, о влиянии новых технологий, применение и главная роль которых повлияли на всю систему здравоохранения. Миллионы людей перешли от очной работы к удаленной. Точно так же образование в условиях отсутствия вакцин и наличии страха смерти перешло от очного к дистанционному. Изменения, которые ранее считались постепенными, пришлось радикально ускорить. Теперь реальность в образовании, работе и многих аспектах повседневной жизни стала гибридной: уроки стало возможно проводить очно или онлайн, многие компании разрешили сотрудникам удаленную работу [1]. Эта новая реальность подразумевает как положительные (меньше поездок на работу, загрязнение окружающей среды и более высокую пунктуальность), так и отрицательные последствия (более частое использование экранов, меньшая физическая активность, а также ограничение социального и человеческого взаимодействия). Все это ускорило развитие различных цифровых инноваций в системе здравоохранения, таких как телемедицина, беспроводные сети 5G, искусственный интеллект (ИИ) с машинным и глубоким обучением и, наконец, метавселенная (МВ) [2].

«Метавселенная» никогда не была широко используемым словом, пока этот термин не ввел Нил Стивенсон в своем романе «Лавина», опубликованном в 1992 г. [3]. Такой же редкий термин «аватар» — французское слово санскритского происхождения, что подразумевает изменение, трансформацию, метаморфозу и относится к созданию цифрового двойника человека. Чтобы понять МВ, в язык должны быть включены другие современные термины: дополненная реальность, лайфлоггинг — автоматическое фиксирование повседневной жизни с помощью носимых устройств, зеркальный мир, виртуальная реальность (параллельных миров или вселенных), цифровой двойник, интерактивность [4].

Нами была проанализирована соответствующая литература с 2020 по 2023 г., размещенная в базах данных PubMed и Web of Science по ключевым словам «метавселенная», «образование», «цифровая терапия», «междисциплинарное консультирование», «медицинский интернет вещей», «виртуальная реальность», «наложенная реальность», «расширенная реальность», «смешанная реальность», «лайфлоггинг», «зеркальный мир», «цифровые двойники», «хирургия». Выполнив поиск в PubMed по исходным терминам, в 2020 г. не обнаружено ни одной публикации, в 2021 г. — 9, в 2022 г. эта цифра выросла до 161, а к 2023-му по этой теме было опубликовано уже 246 статей. Собрав и обобщив научные исследования, мы представили преимущества и ограничения МВ и резюмировали ее применение в хирургии.

В настоящее время МВ понимается как трехмерная иммерсивная среда, включающая в себя элементы реального и виртуального мира, в которой различные цифровые персонажи (точнее, аватары) взаимодействуют между собой, и в которой могут осуществляться различные виды деятельности (коммуникационные, образовательные, культурные, медицинские, финансовые) [5]. Это только что зарождающаяся, неоднозначная концепция, для которой не существует точного определения и которая, вероятно, будет продолжать развиваться по мере совершенствования знаний и технологий. МВ — это не просто дополненная реальность или виртуальная реальность, а взаимодействие этих технологий с рядом других, таких как интернет вещей, носимые устройства и высокоскоростной интернет.

Метавселенная основана на четырех технологиях [6]: виртуальной реальности (VR), дополненной реальности (AR), смешанной реальности (MR) и расширенной реальности (XR). VR — это технологическая услуга, которая позволяет пользователям ощутить реальную среду в виртуальном мире, созданном цифровыми устройствами. AR — технологический сервис, обеспечивающий среду, в которой виртуальный объект, представленный в двухмерном (2D) или трехмерном (3D) изображении, взаимодействует с реальным пространством. MR — это технологический сервис, который объединяет информацию из реального и виртуального мира для создания виртуального пространства, в котором они объединяются. XR — это объединяющее или обобщенное понятие, включающее VR, AR и MR, а также любую другую форму реальности, которые появятся в будущем. Расширенная реальность — это универсальная технология, которая реализует МВ и поэтому считается основным ключом к конвергенции с отраслью и, в частности, с отраслью здравоохранения для построения новой социальной и промышленной экосистемы. Чтобы называться метавселенной, цифровой мир должен обладать тремя характеристиками [7, 8]:

  • интерактивностью — пользователь через свой аватар и устройство входит в МВ и может общаться с остальными пользователями и взаимодействовать с цифровой средой;
  • реальностью тел — аватары представляют цифровые копии пользователей и ограничены определенными законами и ресурсами;
  • постоянством — МВ может функционировать и развиваться независимо от того, будут ли связаны какие-либо или все ее члены. Примером может служить аватар пациента, который входит в систему для телемедицинской консультации на прием к врачу и обладает своим собственным аватаром. Когда пациент уходит, его аватар исчезает, а аватар врача продолжает консультирование других пациентов.

В контексте здравоохранения технология МВ означает использование виртуальной реальности, интерактивных и других иммерсивных технологий, таких как дополненная реальность, для создания моделируемых сред, предназначенных для обучения, образования и клинического применения. В своем недавнем отчете «Метавселенная в здравоохранении: перспективы и прогноз глобального отраслевого анализа на 2022–2030 годы» компания Prescience Research — фирма по стратегическому анализу рынка, базирующаяся в Канаде и Индии, — обнаружила, что МВ становится все более важной для отрасли здравоохранения. Как было показано, объем мирового рынка МВ в сфере здравоохранения в 2022 г. оценивался в 8,9 млрд долларов США. Ожидается, что к 2032 г. он достигнет приблизительно 98,34 млрд долларов США и будет расти в годовом исчислении с темпом роста 29,4 % с 2022 по 2030 г. [9].

В марте 2023 г. Национальная медицинская академия Мексики организовала симпозиум «Метавселенная и медицинское образование: мираж или реальность?», на котором обсуждалась МВ и ее потенциальное применение в области медицины, а также то, что образовательная МВ, точно так же, как ИИ, — это часть будущего, которое уже существует*. В поддержку этого утверждения свидетельствует тот факт, что количество публикуемой литературы на этот счет очень ограничено, но прогрессивно растет с каждым годом.

ОБРАЗОВАТЕЛЬНАЯ МЕТАВСЕЛЕННАЯ

Концепция МВ может изменить медицинское образование, обеспечив захватывающий и интерактивный опыт обучения, который можно персонализировать в соответствии с индивидуальными потребностями. Она может облегчить сотрудничество между сверстниками и преподавателями в 3D-среде, имитирующей обстановку в классе, обеспечить визуализацию виртуальных 3D-структур, улучшить взаимодействие между наставником и учеником, способствовать самостоятельному обучению и способствовать развитию навыков командной работы. Данный раздел практически полностью соответствует понятию электронной образовательной среды, в том числе в медобразовании [7, 8].

Как и во всей образовательной деятельности, МВ может применяться в медицинском образовании для различных стратегий, таких как моделирование, обучение, основанное на решении конкретных проблем, использование дополненной реальности, виртуальных миров и обучения на основе игр, с возможностью пребывания в реальных средах, гиперреальное моделирование с немедленной обратной связью, принятие решений в ситуациях, которые используются при преподавании и изучении многих медицинских и хирургических специальностей, а также в сестринском деле.

Кроме того, студентов можно научить быстро осваивать различные терапевтические методы, как если бы они присутствовали в клинической практике, например такие процедуры, как эндоскопия или интубация трахеи [10]. Естественно, как уже подчеркивалось, обучение молодых хирургов облегчается возможностью проводить симуляцию операций на виртуальных пациентах и возможностью управлять движениями студента дистанционно [10].

Приведем некоторые существующие уже примеры использования МВ для медицинского обучения:

  • изучение анатомии и физиологии — виртуальные вскрытия, визуализация биомеханики и физиологии мышц, рассмотрение вариаций анатомии в дополнение к наиболее распространенным, использование других точек зрения на патологическую анатомию и физиологию [5];
  • психиатрия — обучение студентов, специалистов и пациентов для понимания психических заболеваний. В МВ пациент может выразить свои сенсорные галлюцинации с помощью аватара, чтобы дополнить исследование своей болезни [10];
  • кардиовселенная или кардиоверс — сердечно-сосудистая медицина в МВ. Это позволит проводить виртуальные консультации пациентов, мониторинг цифровых журналов (электрокардиограмма, частота сердечных сокращений, уровень глюкозы в крови, артериальное давление), вмешательства с использованием виртуальной и дополненной реальности, а также медицинское образование (анатомия сердца в нескольких измерениях, симулированные хирургические вмешательства, принятие решений в узком терапевтическом окне) [10]. Все это поможет в образовании на клинических базах медицинских центров (курация пациентов, проведение статистического анализа, виртуальная отработка навыков оперативного лечения на сердце и магистральных сосудах);
  • ортовселенная или ортоверс — дополненная реальность, предназначенная для изучения анатомии костей и суставов, то есть гиперреальная среда для изучения ортопедической хирургии (например, замены тазобедренного сустава) в нескольких учебных средах (класс, комната для обсуждения случаев, операционная) [11, 12];
  • нейровселенная, или нейроверс, — неврология и нейрохирургия в МВ. Ее использование позволяет узнать более подробную информацию о пациенте посредством эффективной и систематической оценки неврологических симптомов [13]. Ее применяют в нейрохирургии для предоперационного планирования и интраоперационной навигации, МВ особенно многообещающи для обучения нейрохирургов. В условиях растущего спроса на высокоэффективные образовательные стратегии симуляторы на основе МВ позволяют нейрохирургическим ординаторам практиковать технические навыки в условиях низкого риска.

Дорожная карта медицинской МВ в образовании делит ее на 4 типа — дополненную реальность, лайфлоггинг, зеркальный мир и виртуальную реальность, основанную на синтезе этих технологий.

Дополненная реальность

Дополненную реальность можно считать продвинутой и универсальной версией внешнего мира. В случае медицины дополненная реальность может использоваться в качестве инструмента для образования и обучения, поскольку она может быть средством для предоставления огромного объема знаний, как текстовых, так и аудиовизуальных. Обучение на основе моделирования является ключевой особенностью этого положения. Таким образом, учащемуся могут быть предложены различные сценарии, чтобы в реальной жизни ему не пришлось ждать, пока этот конкретный случай встретится в реальном мире, чтобы изучить его [14].

Одним из примеров в поддержку этого является устройство Virtuali-Tee от компании Curiscope (Curiscope, Великобритания), представляющее собой футболку с дополненной реальностью, которая дает пользователю возможность видеть и исследовать внутреннее строение человеческого тела [15].

Лайфлоггинг

Лайфлоггинг — это инструмент ведения учета, с помощью которого медицинские работники могут записывать свою работу, например сценарии лечения, операции, схемы лечения и исследовательские проекты в виртуальном формате, и делиться ими с другими. Примером этого может служить группа искусственного интеллекта в Корее — сообщество онлайн-обучения, которое в настоящее время использует лайфлоггинг в качестве платформы для обучения и преподавания [16, 17].

Зеркальный мир и цифровые двойники

В этом типе дополненной реальности ситуации из реальной жизни моделируются в виртуальном мире для создания среды обучения, основанной на опыте. Цифровые лаборатории и виртуальные образовательные центры — лишь несколько примеров того, как МВ помогает создать отражение окружающего мира и изучить его цифровой двойник изнутри [4]. В чрезвычайных ситуациях, таких как диабетический кетоацидоз, когда окно обучения очень узкое и решения должны приниматься быстро и эффективно, что иногда приводит к ошибкам, можно использовать относительно более безопасный способ обучения медицинских работников, используя зеркальные миры. Эти зеркальные миры будут обеспечивать моделирование чрезвычайных ситуаций, чтобы минимизировать риск ошибок в будущем и максимизировать знания.

Виртуальная реальность

Это самая популярная область образовательной МВ, которая включает в себя множество интерактивных инструментов, способных улучшить медицинское образование. В этом типе реальности окружающая среда полностью построена из нереального мира, и, таким образом, ограничением виртуальной реальности является только воображение человека [14].

Виртуальную реальность еще называют МВ в узком смысле. В этом типе МВ пространство, культурный фон и персонажи спроектированы и взаимодействуют иначе, чем в реальности. Аватар, действующий от имени пользователя, исследует виртуальное пространство, контактирует с другими аватарами и достигает своей образовательной цели. Встречи, сеансы виртуальной реальности, симуляции, тесты и многое другое — это различные методологии, применяемые для достижения образовательной цели. Виртуальную реальность наиболее полно можно использовать при построении симуляций, интерактивном обучении, сопоставлении сценариев и многих других подобных областях, если рассматривать сферу медицинского образования. Одним из таких примеров является платформа Zepeto — интерактивный сервис, запущенный в 2018 г., который создает похожий на пользователя 3D-аватар, используя распознавание лиц, дополненную реальность и 3D-технологии для общения с другими пользователями [18]. Это позволяет воспроизводить различные образовательные ролевые сценарии. Например, учитель может выбрать комнату класса, открыть комнату, пригласить учеников и взаимодействовать друг с другом с помощью голоса или сообщения. Используя очки виртуальной реальности, студенты-медики могут просматривать 3D-модели анатомии и манипулировать ими, что позволяет им лучше понимать сложные концепции и процедуры. Эту технологию также можно использовать для моделирования операций и других медицинских процедур, обеспечивая практическое обучение студентов и ординаторов без риска причинения вреда реальным пациентам. VR может помочь улучшить навыки будущих врачей и хирургов, что в конечном итоге приведет к улучшению результатов лечения пациентов [19, 20].

МЕЖДИСЦИПЛИНАРНОЕ КОНСУЛЬТИРОВАНИЕ

Возможность совместного проведения исследований с коллегами, находящимися в разных частях мира, способствует групповой и командной работе в интерактивном режиме. Такое коллегиальное обсуждение дает положительные результаты как для врачей, так и для их пациентов. Можно предположить, что междисциплинарная групповая дискуссия (multidisciplinary team discussion — MTD), запланированная в виртуальной среде с цифровыми аватарами, необходима для обсуждения и улучшения качества помощи пациентам [21]. Виртуальные элементы становятся реальными, помогая преодолевать расстояния для консультирования пациентов в более отдаленных уголках мира. 3D-анатомические модели заболевания пациента могут исследоваться, перемещаться и обсуждаться врачами различных профилей (например, радиологами, урологами, онкологами), как это происходит в видеоигре, благодаря иммерсивным системам отображения виртуальной реальности в виде очков, обеспечивающих беспрецедентный уровень детализации и взаимодействия. Более того, в МВ могут быть доступны и другие функции, отображаемые на очках дополненной реальности, такие как возможности лечения заболеваний и контроль качества проводимого лечения. В МВ хирурги смогут практиковаться столько раз, сколько необходимо, прежде чем заняться лечением реального пациента. Таким образом, MTD — это одна из ярких демонстраций потенциала МВ в медицине и хирургии, целью которой является создание иммерсивной среды, объединяющей виртуальный и реальный миры.

Больница Gwangmyeong в Южной Корее использовала технологии цифрового двойника и МВ для создания виртуального госпиталя под названием «Metaversepital», позволяющего пользователям проходить медицинское лечение и консультации без необходимости физического посещения больницы [17].

ЦИФРОВАЯ ТЕРАПИЯ

Метавселенная становится все более важным инструментом для обеспечения персонализированной цифровой терапии, объединяя поставщиков медицинских услуг и пациентов, которым необходимо индивидуальное лечение в любых областях медицинских услуг. Цифровая терапия отличается от традиционной по нескольким причинам. Во-первых, цифровая терапия, будучи программным обеспечением без физической формы, использует когнитивно-поведенческую терапию (любая патофизиология, моделированная с использованием нейроверс), направленную конкретно на целевой орган, тем самым снижая вероятность токсичности и побочных эффектов на живой организм [22]. Во-вторых, по сравнению с разработкой новых лекарств, цифровая терапия требует меньше времени и денег на исследования, разработку и лицензирование препаратов, что, как ожидается, снизит медицинские затраты на лечение [23]. В-третьих, цифровая терапия может устранить значительные пробелы в медицинской помощи, возникшие из-за нехватки специализированных поставщиков медицинских услуг и географических барьеров для доступа к системе здравоохранения. Они также могут быстро, с высокой доступностью и конфиденциальностью предоставить пациентам персонализированную помощь [24].

В зависимости от методов лечения выделяют несколько терапевтических направлений цифровой терапии. Цифровая когнитивно-поведенческая терапия эффективна при лечении расстройств центральной нервной системы, таких как нарушение сна, депрессия, тревога, посттравматическое стрессовое расстройство, алкогольная и наркотическая зависимость, облегчение боли и панические расстройства. Эта область достаточно активна, на ее долю приходится треть всех разработок цифровой терапии [25]. Цифровая немедикаментозная терапия может быть применима для системных заболеваний (например, гипертонии), при которых улучшение образа жизни имеет значительный эффект, а также для заболеваний, при которых важно контролировать прогноз тяжелобольных пациентов [26]. И, наконец, цифровая терапия интенсивно используется для лечения заболеваний, требующих длительного и регулярного приема лекарств, таких как астма, хроническая обструктивная болезнь легких и шизофрения. Кроме того, разрабатываются цифровые методы лечения амблиопии, неврологических заболеваний и травматических повреждений, а также синдрома дефицита внимания и гиперактивности с использованием нейрореабилитационной терапии [27].

НОСИМЫЕ ЦИФРОВЫЕ УСТРОЙСТВА

Примером использования таких решений в хирургии является аппарат Dfree — это носимое устройство для прогнозирования времени посещения туалета, позволяющее отслеживать наполненность мочевого пузыря и отправляющее уведомления, когда пришло время сходить в туалет. Было показано, что использование Dfree помогло пациентам с дисфункцией мочевого пузыря справиться с симптомами заболеваний, улучшить качество их жизни и повысить общую удовлетворенность своим лечением [28]. Другим примером цифровых терапевтических устройств являются аппараты, которые помогают пациентам, чаще женщинам, укреплять мышцы тазового дна, что уменьшает симптомы недержания мочи. Устройства биологической обратной связи, в том числе система Leva Pelvic Health System, Elvie Trainer и Magic Kegel, предназначены для введения во влагалище, они оснащены беспроводной связью с приложением, загруженным на смартфон пациентки [28, 29]. Акселерометры, или датчики движения, размещенные по длине устройства обеспечивают информацию пациенту о работе мышц тазового дна. Эти мобильные домашние тренажеры для мышц тазового дна прошли клинические испытания и показали свою эффективность в улучшении симптомов недержания мочи и качества жизни у больных, которые их регулярно используют [29, 30].

Еще одна технологическая инновация — это умная туалетная система, которая объединяет в традиционный туалет различные датчики и устройства для мониторинга и анализа мочи и фекалий пользователя. Впервые M. Bhatia и соавт. [31] предложили интеллектуальную туалетную систему, которая использует технологию Интернета вещей для прогнозирования инфекции мочевыводящих путей в домашних условиях. В эту систему были интегрированы различные датчики для мониторинга ключевых биомаркеров в моче и использованы алгоритмы машинного обучения для прогнозирования вероятности инфекции мочевыводящих путей. Последующие исследования показали, что умные туалетные системы способны совершить революцию в диагностике и лечении различных урологических заболеваний и предложить неинвазивный и удобный метод наблюдения за пациентами с хроническими урологическими заболеваниями, такими как интерстициальный цистит или рак мочевого пузыря [32].

МЕДИЦИНСКИЙ ИНТЕРНЕТ ВЕЩЕЙ

Термин «медицинский Интернет вещей» (MIoT) представляет собой специальное оборудование, применяемое в здравоохранении. С ростом доступности смартфонов мобильные приложения для контроля за здоровьем становятся растущей областью, предлагающей новые возможности для предоставления медицинских услуг.

В различных контекстах MIoT доказал свою эффективность. В качестве примера можно привести разработанное приложение по предупреждению возможности приступа астмы при нахождении в определенной среде, предназначенное для мониторинга загрязнения воздуха в режиме реального времени. На основе анализа полученных данных электронного дневника астмы пациентов в сочетании с атмосферными данными это приложение может прогнозировать острые приступы болезни, способствуя первичной и вторичной профилактике заболевания [33].

Другой пример использования MIoT представлен японской фирмой Toshiba, которая разработала устройство на основе искусственного интеллекта, состоящее из датчиков на запястье и карманного компьютера, способных ежедневно анализировать и контролировать состояние здоровья, деятельность и личные привычки пользователя, предоставляя напоминания и рекомендации по правильному здоровому питанию и регулярным физическим упражнениям, адаптированные к конкретному человеку [34]. На основании характеристик артериального пульса, движения, частоты сердечных сокращений и электродермальной активности было обнаружено, что ИИ анализирует и контролирует ситуацию, что может влиять на поведение людей и снижать риски заболеваний, связанных с образом жизни. Программное обеспечение этого устройства достигло 90 % точности определения действий пользователя, таких как, например, прием пищи или физические упражнения.

Доведение цифровых технологий до средства в качестве инструмента взаимодействия врача и пациента привело к созданию виртуальных больниц в МВ, таких как больница Alfa в виртуальном городе под названием Aimedis Health City, где встречаются и взаимодействуют врачи и пациенты разного происхождения и национальностей, делясь своим опытом и знаниями, позволяя пользователям проходить медицинское лечение и консультации без необходимости физического посещения больницы [6].

В последние годы достигнут значительный рост распространения телемедицины на основе MIoT [35]. Специально разработанные платформы позволяют собирать клинические данные, визуализировать и обмениваться медицинскими изображениями для создания точной цифровой медицинской карты для каждого пациента (например, Maia Connected Care). Кроме того, с помощью новых устройств (например, Tytocare) можно удаленно записывать жизненно важные показатели пациентов, такие как шумы сердца или дыхания и кровяное давление, открывая дверь к новой форме контролируемой выписки, которая потенциально может сократить время пребывания пациента в больнице, не влияя на безопасность пациента [21].

Цель Интернета вещей — заставить электронный мир работать в физической среде. Объекты и места, оснащенные метками радиочастотной идентификации (RFID) или QR-кодами, передают затем информацию в Интернет или на мобильные устройства, такие как персональные цифровые помощники, планшеты или мобильные телефоны. Другими словами, MIoT представляет собой инструмент, с помощью которого можно создать МВ и найти информацию, необходимую для ее постоянного обновления.

ХИРУРГИЧЕСКАЯ МЕТАВСЕЛЕННАЯ

Одна из важных областей применения ИИ, распространенная на МВ, — это хирургия. Португальский хирург доктор Pedro Gouveia и его испанский коллега доктор Rogelio Andrés-Luna используя МВ провели операцию в Лиссабоне, имитирующую их пребывание в одной операционной несмотря на то, что они находились на расстоянии 900 км друг от друга. Доктор Gouveia носил специальные очки дополненной реальности, а именно Hololens 2, которые позволяли другим участникам быть погруженными в реальную среду [6]. Он не только мог видеть пациента перед собой, но также проецировал диагностические изображения пациента и клиническую информацию о нем прямо на очки. В этом контексте технология 5G оказалась незаменимой, способной преодолеть ограничения технологии 4G, заключающиеся в задержке сигнала при передаче на расстояние.

Использование ИИ и виртуальной реальности в области хирургии кажутся на сегодняшний день очень перспективными. Они не только способствуют проводить хирургические операции удаленно, но и позволят операторам полностью погрузиться в само вмешательство. В этом смысле AR будет играть фундаментальную роль. Хирург может носить умные очки, способные в режиме реального времени информировать его о любых изменениях жизненно важных параметров пациента и предоставлять ему всю информацию, необходимую для улучшения его работы, без необходимости отрывать взгляд от пациента и операционного поля. VR-очки могут проецировать изображения КТ и МРТ на тело пациента, позволяя хирургам просматривать внутреннюю анатомию в режиме реального времени и делать более точные разрезы. Эту технологию также можно использовать для отображения данных пациента, таких как частота сердечных сокращений и артериальное давление, непосредственно в поле зрения хирурга, что может привести к улучшению результатов лечения пациентов и снижению риска осложнений. Такая смешанная реальность недавно была опробована при трансплантации печени [36], а также в черепно-челюстно-лицевой хирургии [37]. Более того, возможность доступа к виртуальной реальности может стать действенным инструментом при планировании хирургического вмешательства. Таким образом, она предлагает возможность не только выполнять 3D-реконструкцию органа-мишени, но и обеспечивать 4D-визуализацию, позволяющую проводить внутреннюю навигацию и выявлять возможные аномалии [38]. Можно было бы также смоделировать операцию в VR на аватаре, идентичном оперируемому пациенту, приобретая опыт перед выполнением реальной операции в условиях операционной [39].

В некоторых хирургических дисциплинах, например нейрохирургии, челюстно-лицевой и ортопедической хирургии, использование навигационных концепций, основанных на подобных технологиях, быстро развивается [40]. Основной ахиллесовой пятой реализации этих концепций в хирургии является движение тканей. Позиционирование пациента и дыхательные движения сами по себе могут вызвать неточности при наложении изображения [41]. Инсуффляция CO2 (обычно применяемая в абдоминальной миниинвазивной хирургии) и хирургические манипуляции с тканями по своей сути вызывают дополнительные деформации, которые делают бесполезным любой традиционный алгоритм наложения изображения. Наибольшая возможность повышения точности регистрации этих изменений заключается в коррекции артефактов движения в реальном времени. Это означает, что модель должна быть «эластичной», что требует усовершенствованных алгоритмов деформируемой реконструкции, которые используют активное отслеживание органов, возможно, усиленное интраоперационной визуализацией [42]. Если необходимая вычислительная мощность может быть реализована в этом направлении, современные алгоритмы машинного обучения могут управлять автоматическим «деформированием» органа в реальном времени путем создания «эластичной модели» [43].

Сосредоточившись на хирургии, стоит задаться фантастическим по нынешним меркам вопросе — можем ли мы ожидать появления автономных хирургических роботов с искусственным интеллектом в ближайшие несколько лет. Автоматизированная хирургия может стать возможной в отдаленном будущем, но, как сообщили N. Heller и C. Weight [44], ИИ в настоящее время способен выполнять небольшие автоматизированные хирургические этапы при урологических процедурах. Сотрудничество «человек + машина» было бы желательно, по крайней мере частично, чтобы облегчить нагрузку на системы здравоохранения, уменьшить «выгорание» специалистов, повысить удовлетворенность пациентов и улучшить способы использования «человеческого» интеллекта для улучшения жизни пациентов [45]. Впечатляющим примером такого взаимодействия стала разработка автономного робота STAR, который впервые в мире выполнил кишечный анастомоз в эксперименте на лабораторном животном, что знаменует собой шаг на пути к полностью автоматизированной хирургии у человека [46].

УМНАЯ ОПЕРАЦИОННАЯ

В 2019 г. в корейской больнице SNUH Bundang была создана умная операционная. Виртуальное пространство операционной было оформлено так, чтобы напоминать место проведения конференции [47]. Хирурги, находящиеся в любой точке мира, могли видеть процедуры так же ярко, как если бы они находились в операционной. Участники трансляции отметили, что казалось, будто они наблюдали за процедурой в реальной операционной, поскольку они могли видеть хирурга, хирургическую медсестру и окружающую среду в операционной по своему желанию через панорамную камеру, встроенную в пространство зала и позволяющую снимать в формате 360° в ультравысоком разрешении 8K в режиме 3D. Эта платформа характеризуется виртуальной средой и высококачественным голосовым общением посредством 3D-технологии иммерсивного звука XR. Еще одним преимуществом является возможность реализации голосового общения в реальном времени и демонстрация различных экранов, которые отражают реальную среду. Хирургический театр был виден лучше, чем когда наблюдатель сам находился в операционной и наблюдал за процедурой. Участники также могли видеть монитор хирурга и то, как медсестры в операционной передают хирургические инструменты. Когда участники перемещали мышь или курсор компьютера, они могли видеть каждый уголок операционной под нужным наблюдателю углом. Если они носили 3D-гарнитуру, то возникал эффект присутствия — видимая сцена меняется каждый раз, когда они поворачивают голову, и ощущение пребывания в операционной становится более ощутимым, чем когда гарнитуру не используют.

Передовое оборудование для визуализации стало критически важным с увеличением частоты операций, позволяющих свести к минимуму лапаротомию и максимально использовать возможности эндоскопии. Теперь хирурги в «умных операционных» носят 3D-очки и наблюдают 3D-изображения высокого разрешения, переданные с лапароскопических камер. Используя эту технологию, наблюдатель может следить за процессом более обширно и точно, чем когда хирург вскрывает брюшную полость и проводит операцию. Камера или освещение операционной имеет функцию распознавания голоса. Хирург может работать обеими руками и напрямую выключать камеру или свет с помощью голосовой команды. Медицинский персонал может дистанционно поговорить о результатах биопсии во время операции. Например, если хирург удалит ткань во время операции и отправит ее патологу, патологоанатом сможет отображать микроскопические изображения на большом экране операционной после выполненной биопсии. Во время просмотра видео хирург слушает результаты патологоанатомических исследований в режиме реального времени и высказывает свое мнение. Даже если посетители умной операционной не могут смотреть хирургическую трансляцию в режиме реального времени, они могут учиться, просматривая позже видео, записанные с разных ракурсов.

Представленные примеры использования МВ в хирургии — это обширный раздел, который все еще находится в стадии исследования. МВ может предоставить устойчивый и динамичный инструмент для общего развития медицинского сектора. Этот инновационный подход также может принести пользу не только медицине, но и прилегающим к ней дочерним областям, которые поддерживают работу здравоохранения, таким как экономика здравоохранения, фармацевтика.

ЗАКЛЮЧЕНИЕ

Таким образом, МВ — это альтернативный цифровой мир, доступ к которому осуществляется посредством специальных аудиовизуальных устройств. Различные секторы жизни, такие как финансы, развлечения и связь, являются главными потребителями этих инноваций. Наряду с этим, медицина недавно вошла в список областей, которые могут взаимодействовать с МВ. Различные аспекты медицины, такие как образование, хирургическое моделирование, конференции и встречи, программы обучения, исследовательские программы и многое другое, находятся сейчас в стадии исследования. В зависимости от требований МВ представляет собой среду, которую можно соответствующим образом моделировать, обеспечивая тем самым гибкий инструмент для развития медицины. В этой обзорной статье мы подробно обсудили возможные области применения МВ в хирургии. Все рубрики предварительного обзора основаны на немногочисленных данных, существующих в настоящее время в научной литературе, и являются удовлетворительными с точки зрения изучения с тем, чтобы представить доказательства пользы МВ и ее использования в качестве инструмента работы в медицине будущего.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Автор заявляет об отсутствии внешнего финансирования при проведении поисково-аналитической работы и подготовке рукописи.

Конфликт интересов. Автор декларирует отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

ADDITIONAL INFORMATION

Funding source. The author declare that there was no external funding for the search and analytical work and preparation of the manuscript.

Competing interests. The author declare that they have no competing interests.

 

* www.youtube.com [Видеоресурс]. Academia nacional de medicina. Sesión Académica 22 de marzo 2023 [дата обращения: 09.01.2024]. Режим доступа: https://www.youtube.com/live/MVDOTAoE5Og?feature=share

×

About the authors

Yury A. Kozlov

Children’s Regional Clinical Hospital; Irkutsk State Medical Academy of Postgraduate Education; Irkutsk State Medical University

Author for correspondence.
Email: yuriherz@hotmail.com
ORCID iD: 0000-0003-2313-897X
SPIN-code: 3682-0832

Dr. Sci. (Medicine), corresponding member of Russian Academy of Sciences, Professor

Russian Federation, Irkutsk; Irkutsk; Irkutsk

References

  1. Rahaman T. Into the metaverse — Perspectives on a new reality. Med Ref Serv Q. 2022;41(3): 330–337. doi: 10.1080/02763869.2022.2096341
  2. Zhang X, Chen Y, Hu L, Wang Y. The metaverse in education: definition, framework, features, potential applications, challenges, and future research topics. Front Psychol. 2022;(13):1016300. doi: 10.3389/fpsyg.2022.1016300
  3. Stephenson N. Snow crash. New York: Random house, 1992.
  4. Kawarase MA IV, Anjankar A. Dynamics of metaverse and medicine: A review article. Cureus. 2022;14(11):e31232. doi: 10.7759/cureus.31232
  5. Gutiérrez-Cirlos C, Bermúdez-González JL, Carrillo-Pérez DL, et al. Medicine and the metaverse: current applications and future. Gac Med Mex. 2023;159(4):280–286. doi: 10.24875/GMM.M23000795
  6. Massetti M, Chiariello GA. The metaverse in medicine. Eur Heart J Suppl. 2023;25(S-B):B104–B107. doi: 10.1093/eurheartjsupp/suad083
  7. Kobrinsky BA. Learning on the go in an electronic learning environment. Part 1. Mobile learning in a digital educational environment. Methodology and technology of continuous professional education. 2023;(1):5–18. doi: 10.24075/MTCPE.2023.001
  8. Kobrinsky BA. Learning “on the go” in an electronic educational environment. Part 2. Mobile learning in medical education. Methodology and technology of continuous professional education. 2023;(2):5–15. doi: 10.24075/MTCPE.2023.006
  9. precedenceresearch.com [Internet]. Metaverse in healthcare market (By component: Software, hardware; by technology: AR, VR, AI, MR; By devices: VR headsets, AR devices, Mixed reality platforms; By end user: Medical training and education modules, diagnosis, treatment, others) — Global industry analysis, size, share, growth, trends, regional outlook, and forecast 2023–2032. Available from: https://www.precedenceresearch.com/metaverse-in-healthcare-market
  10. Moro C. Utilizing the metaverse in anatomy and physiology. Anat Sci Educ. 2023;16(4): 574–581. doi: 10.1002/ase.2244
  11. Skalidis I, Muller O, Fournier S. CardioVerse: The cardiovascular medicine in the era of Metaverse. Trends Cardiovasc Med. 2022;33(8):471–476. doi: 10.1016/j.tcm.2022.05.004
  12. Román-Belmonte JM, Rodríguez-Merchán EC, De la Corte-Rodríguez H. Metaverse applied to musculoskeletal pathology: Orthoverse and rehabverse. Postgrad Med. 2023;135(5):440–448. doi: 10.1080/00325481.2023.2180953
  13. Kundu M, Ng JC, Awuah WA, et al. NeuroVerse: neurosurgery in the era of Metaverse and other technological breakthroughs. Postgrad Med J. 2023;99(1170):240–243. doi: 10.1093/postmj/qgad002
  14. Kye B, Han N, Kim E, et al. Educational applications of metaverse: possibilities and limitations. J Educ Eval Health Prof. 2021;18:32. doi: 10.3352/jeehp.2021.18.32
  15. curiscope.com [Internet]. Curiscope [cited 2024 Jan 9]. Available from: https://www.curiscope.com/
  16. classting.ai [Internet]. Classting AI [cited 2024 Jan 9]. Available from: https://www.classting.ai/
  17. news.cau.ac.kr [Internet]. CAU News [cited 2024 Jan 10]. Available from: https://news.cau.ac.kr/cms/FR_CON/BoardView.do?MENU_ID=10&CONTENTS_NO=&SITE_NO=5&BOARD_SEQ=1&BOARD_CATEGORY_NO=&P_TAB_NO=&TAB_NO=&BBS_SEQ=6778
  18. web.zepeto.me [Internet]. Zepeto [cited 2024 Jan 11]. Available from: https://web.zepeto.me/ru
  19. Mah ET. Metaverse, AR, machine learning and AI in orthopedics? J Orthop Surg (Hong Kong). 2023;31(1):10225536231165362. doi: 10.1177/10225536231165362
  20. Sandrone S. Medical education in the metaverse. Nat Med. 2022;28(12):2456–2457. doi: 10.1038/s41591-022-02038-0
  21. Checcucci E, Cacciamani GE, Amparore D, et al. The metaverse in urology: Ready for prime time. The ESUT, ERUS, EULIS, and ESU perspective. Eur Urol Open Sci. 2022;46:96–98. doi: 10.1016/j.euros.2022.10.011
  22. Sverdlov O, van Dam J, Hannesdottir K, Thornton-Wells T. Digital therapeutics: an integral component of digital innovation in drug development. Clin Pharmacol Ther. 2018;104(1):72–80. doi: 10.1002/cpt.1036
  23. Dang A, Arora D, Rane P. Role of digital therapeutics and the changing future of healthcare. J Family Med Prim Care. 2020;9(5):2207–2213. doi: 10.4103/jfmpc.jfmpc_105_20
  24. Aapro M, Bossi P, Dasari A, et al. Digital health for optimal supportive care in oncology: benefits, limits, and future perspectives. Support Care Cancer. 2020;28(10):4589–4612. doi: 10.1007/s00520-020-05539-1
  25. Phan P, Mitragotri S, Zhao Z. Digital therapeutics in the clinic. Bioeng Transl Med. 2023;8(4):e10536. doi: 10.1002/btm2.10536
  26. Moravcová K, Karbanová M, Bretschneider MP, et al. Comparing digital therapeutic intervention with an intensive obesity management program: Randomized controlled trial. Nutrients. 2022;14(10):2005. doi: 10.3390/nu14102005
  27. Lutz J, Offidani E, Taraboanta L, et al. Appropriate controls for digital therapeutic clinical trials: A narrative review of control conditions in clinical trials of digital therapeutics (DTx) deploying psychosocial, cognitive, or behavioral content. Front Digit Health. 2022;4:823977. doi: 10.3389/fdgth.2022.823977
  28. Hofstetter S, Zilezinski M, Wolf A, et al. Dfree ultrasonic sensor in supporting quality of life and patient satisfaction with bladder dysfunction. Int J Urol Nurs. 2023;17(1):62–69. doi: 10.1111/ijun.12334
  29. Czyrnyj CS, Bérubé MÈ, Brooks K, et al. Reliability and validity of a mobile home pelvic floor muscle trainer: The elvie trainer. Neurourol Urodyn. 2020;39(6):1717–1731. doi: 10.1002/nau.24439
  30. Artymuk NV, Khapacheva SY. Device-assisted pelvic floor muscle postpartum exercise program for the management of pelvic floor dysfunction after delivery. J Matern Fetal Neonatal Med. 2022;35(3):481–485. doi: 10.1080/14767058.2020.1723541
  31. Bhatia M, Kaur S, Sood SK. IoT-inspired smart toilet system for home-based urine infection prediction. ACM Trans Comput Healthc. 2020;1(3):1–25. doi: 10.1145/3379506
  32. Tasoglu S. Toilet-based continuous health monitoring using urine. Nat Rev Urol. 2022;19(4):219–230. doi: 10.1038/s41585-021-00558-x
  33. Chan YY-F, Wang P, Rogers L, et al. The asthma mobile health study, a large-scale clinical observational study using ResearchKit. Nat Biotechnol. 2017;35(4):354–362. doi: 10.1038/nbt.3826
  34. global.toshiba [Internet]. Toshiba’s AI offers advice on improving habits towards reducing risk of lifestyle diseases [cited 2024 Jan 9]. Available from: https://www.global.toshiba/ww/news/corporate/2020/10/pr1501.html
  35. Novara G, Checcucci E, Crestani A, et al. Telehealth in urology: a systematic review of the literature. How much can telemedicine be useful during and after the COVID-19 pandemic? Eur Urol. 2020;78(6):786–811. doi: 10.1016/j.eururo.2020.06.025
  36. Balci D, Kirimker EO, Raptis DA, et al. Uses of a dedicated 3D reconstruction software with augmented and mixed reality in planning and performing advanced liver surgery and living donor liver transplantation (with videos). Hepatobiliary Pancreat Dis Int. 2022;21(5):455–461. doi: 10.1016/j.hbpd.2022.09.001
  37. Cai EZ, Gao Y, Ngiam KY, Lim TC. mixed reality intraoperative navigation in craniomaxillofacial surgery. Plast Reconstr Surg. 2021;148(4):686e–688e. doi: 10.1097/PRS.0000000000008375
  38. Lee CW. Application of metaverse service to healthcare industry: A strategic perspective. Int J Environ Res Public Health. 2022;19(20):13038. doi: 10.3390/ijerph192013038
  39. Mesko B. The promise of the metaverse in cardiovascular health. Eur Heart J. 2022;43(28):2647–2649. doi: 10.1093/eurheartj/ehac231
  40. Mezger U, Jendrewski C, Bartels M. Navigation in surgery. Langenbecks Arch Surg. 2013;398(4):501–514. doi: 10.1007/s00423-013-1059-4
  41. Meershoek P, van den Berg NS, Lutjeboer J, et al. Assessing the value of volume navigation during ultrasound-guided radiofrequency- and microwave-ablations of liver lesions. Eur J Radiol Open. 2021;8:100367. doi: 10.1016/j.ejro.2021.100367
  42. Amparore D, Checcucci E, Piazzolla P, et al. Indocyanine green drives computer vision based 3D augmented reality robot assisted partial nephrectomy: The beginning of “Automatic” overlapping era. Urology. 2022;164:e312–e316. doi: 10.1016/j.urology.2021.10.053
  43. Ma R, Vanstrum EB, Lee R, et al. Machine learning in the optimization of robotics in the operative field. Curr Opin Urol. 2020;30(6):808–816. doi: 10.1097/MOU.0000000000000816
  44. Heller N, Weight C. “The Algorithm Will See You Now”: the role of artificial (and real) intelligence in the future of urology. Eur Urol Focus. 2021;7(4):669–671. doi: 10.1016/j.euf.2021.07.010
  45. Hung AJ, Chen AB, Cacciamani GE, Gill IS. Artificial Intelligence will (MAY) make doctors expendable (IN GOOD WAYS): Pro. Eur Urol Focus. 2021;7(4):683–684. doi: 10.1016/j.euf.2021.03.011
  46. Saeidi H, Opfermann JD, Kam M, et al. Autonomous robotic laparoscopic surgery for intestinal anastomosis. Sci Robot. 2022;7(62):eabj2908. doi: 10.1126/scirobotics.abj2908
  47. Koo H. Training in lung cancer surgery through the metaverse, including extended reality, in the smart operating room of Seoul National University Bundang Hospital, Korea. J Educ Eval Health Prof. 2021;18:33. doi: 10.3352/jeehp.2021.18.33

Supplementary files

Supplementary Files
Action
1. JATS XML

Copyright (c) 2024 Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: ПИ № ФС 77 - 81892 от 24.09.2021 г.


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies