Artificial intelligence systems in surgery: A review of opportunities, limitations, and prospects

Cover Page


Cite item

Full Text

Abstract

Artificial intelligence technologies are increasingly being applied in a variety of medical disciplines. After reviewing 278 publications from 1985 to 2023, 99 articles were selected from the databases elibrary, PubMed, Medline, WoS, Nature, Springer, and Wiley J Database to present the main approaches and a modern picture of the application of artificial intelligence methods and technologies in pediatric surgery and intensive care. The article examines many facets of artificial intelligence systems for medical uses, namely, computer decision support systems or supporting the surgeon throughout the surgical intervention procedure. Computer analysis of 3D visualization and 3D anatomical modeling of images obtained from computed tomography and magnetic resonance imaging investigations can be used to plan operations. Because of the possibilities of sufficiently accurate 3D models and methods for organs and pathological processes, various methodologies and software tools for preoperative planning and intraoperative support of surgical intervention have been developed. Computer (technical) vision analyzes high-quality medical images and interprets them in multimodal three-dimensional images for computer diagnoses and operations under visual control, including augmented reality methods. Robotic surgery involves manipulators, including remotely controlled ones, and intellectualized complexes that independently perform specific actions of the “second assistant surgeon”. In intensive care, artificial intelligence technologies are being investigated to merge data from bedside monitors and other information about patients’ conditions to identify critical situations and control mechanical ventilation. Simultaneously, several obstacles impede the adoption of artificial intelligence in surgery. The nature and standardization of the initial data required for their integration, taking into consideration atypical cases, the possibility of bias in the sample used, and the transparency of the decision-making process in machine learning models are examples. The explanation of solutions presented in machine learning models and the transition to full-fledged validation of the systems being built define the prospects for developing and using artificial intelligence systems.

Full Text

ВВЕДЕНИЕ

Математические методы в поддержке принятия врачебных решений начали внедряться в России почти 70 лет назад. Это были вычислительные диагностические системы. Первая лаборатория в области медицинской кибернетики (термин «информатика» в то время не существовал) в бывшем СССР была открыта в середине 50-х годов ХХ в. в Институте хирургии им. А.В. Вишневского [1]. Новый этап в создании систем, ассистирующих врачам в принятии решений, стал следствием появления методов искусственного интеллекта (ИИ). В 80-х годах в России начали создаваться экспертные системы, опирающиеся на знания специалистов. Их особенностью является наличие базы знаний и решателя (машины вывода) [2].

В настоящее время системы ИИ находят все более широкое применение в различных областях медицины. В результате анализа 278 публикаций за 1985–2023 гг. в базах данных e-Library, PubMed, Medline, WoS, Nature, Springer, Wiley J Database отобрано 99 статей, которые позволили представить основные подходы и современную картину применения методов и технологий ИИ в детской хирургии и интенсивной терапии.

Искусственный интеллект в классическом понимании — это область компьютерной науки, занимающаяся моделированием определенных аспектов человеческого способа приобретения и использования знаний или, другими словами, имитацией некоторых аспектов мыслительной деятельности человека. Сложные случаи, редкие заболевания, трудные диагнозы и неясный прогноз — вот что отличало системы ИИ для диагностики и прогнозирования. Интеллектуальные системы с первых шагов предусматривали человеко-машинный контакт, вплоть до диалога, с врачом-пользователем в процессе принятия решения. Это касается возможности для врача выразить свою уверенность в отношении значимости определенных симптомов заболевания в конкретном случае и доступности выбора альтернативного режима диагностики (по признакам при отсутствии диагностической гипотезы или на основе предполагаемого врачом диагноза). Эффективность решений интеллектуальных систем в определенной степени зависит от их способности учитывать степень выраженности (нечеткость) клинических проявлений болезни в конкретном случае.

Порядок функционирования интеллектуальной системы поддержки принятия врачебных решений в полном объеме включает:

а) применение аргументации аналогично рассуждениям врача в процессе принятии решения;

б) выдвижение гипотезы на основании по возможности ограниченного набора параметров с возможностью направленного доспроса врача о наблюдаемых у пациента симптомах для подтверждения или отклонения выдвинутой гипотезы;

в) автопроверку выдвигаемых гипотез путем уточнения и расширения перечня используемых данных пациента;

г) предложение и обоснование необходимых для дифференциальной диагностики дополнительных исследований с указанием критериев их диагностической эффективности и возможности выполнения при учете степени угрозы для жизни больного;

д) выдачу объяснений о предложенной гипотезе с ответами на вопросы: (а) ПОЧЕМУ система сформулировала предложенную гипотезу (выдала определенное решение)? и (б) КАК система пришла к определенному заключению?

Интеллектуальные системы в медицине — это в основном системы поддержки принятия решений (СППР). Они находят применение в клинической медицине для:

  • дифференциальной диагностики в широком круге нозологических форм, в том числе при нечетко выраженных проявлениях болезни у пациента;
  • подбора методов исследований (в зависимости от предполагаемой патологии);
  • прогноза течения заболеваний и возможных осложнениях;
  • выбора лечебной (в частности, оперативной) тактики.

Прогностическое моделирование можно использовать для прогнозирования реакции на лечение, риска неблагоприятного течения патологического процесса, что было продемонстрировано в области интенсивной терапии в педиатрии [3–6]. В качестве инструмента поддержки принятия решений такие системы могут предупреждать клиницистов о малозаметных признаках в ухудшении состояния пациентов.

Г.С. Поспелов [7] определял ИИ как технологию решения задач, опирающуюся на знания о предметной области. В настоящее время, учитывая получение знаний из различных источников, включая извлечение их из массивов данных, можно говорить, что ИИ — это наука о приобретении и применении знаний для решения задач. В качестве данных могут служить, с одной стороны, базы электронных медицинских карт, с другой, случаи-аналоги или прецеденты, с которыми сравнивается новый классифицируемый (диагностируемый) пациент путем оценки степени сходства на основе различных метрик.

Распознавание ситуаций на основе анализа данных, то есть извлечение знаний при анализе больших объемов данных, в настоящее время все шире осуществляется с использованием технологий машинного обучения, включая искусственные нейронные сети. Машинное обучение опирается на две основные модели: алгоритм с учителем или контролируемое обучение (supervised learning) осуществляет прогноз на основе известного характера предоставленных входных данных и алгоритм без учителя или неконтролируемое обучение (unsupervised learning), при котором модель обучается самостоятельно выявлять закономерности и скрытые взаимосвязи на наборах неразмеченных (немаркированных) данных. Машинное обучение без учителя может служить аналитическим инструментом исследования данных и выявлять скрытые структуры в многомерных данных, ранее не обнаруженные связи, которые могут облегчить анализ и интерпретацию данных [8, 9], но они не обязательно имеют клиническое значение и не могут быть оценены без участия клинициста [10]. Таким образом, обучение с учителем основано на использовании определенного набора расклассифицированных обучающих примеров или частичную предварительную маркировку данных с конкретными результатами, что позволяет обучить систему, например, распознаванию желчного пузыря на изображении. В то время как обучение без учителя предполагает обнаружение в данных скрытой структуры, например кровотечения как ярко-красного в отличие от некровоточащей ткани. Таким образом, обучение с учителем полезно в прогнозировании результата или исхода, в то время как обучение без учителя полезно для поиска закономерностей в данных. Кроме того, существует обучение с подкреплением, когда программа пытается выполнить задачу (принять решение) на основе информации о своих собственных успехах и ошибках. Однако результативность машинного обучения ограничена типами и точностью доступных данных. В частности, систематические предубеждения при сборе клинических данных могут повлиять на тип распознаваемых закономерностей или прогноз, выдаваемый системой ИИ [11, 12].

СИСТЕМЫ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ В ХИРУРГИИ

Искусственный интеллект внедряется в клиническую практику для поддержки хирургов в процессе диагностики и хирургического вмешательства, в прогнозировании и предотвращении ошибок в критических ситуациях для предоперационной стратификации риска, интраоперационного мониторинга и постоперационного ведения пациентов [13]. Модели ИИ, в которые поступают интраоперационные потоки в реальном времени и данные электронной медицинской карты (ЭМК), интегрированные с предшествующей оценкой у постели больного и логикой принятия решений врачом, могут повысить качество принимаемых решений.

Важный аспект предоперационного анализа клинических данных — выявление персонализированных предикторов и индивидуальная оценка риска оперативного вмешательства для конкретного пациента [14, 15]. В автоматизированной системе количественной оценки операционного риска «АСКОР» использованы вероятностно-статистические и нейросетевые модели, направленные на оценку предоперационной тяжести пациентов с желчнокаменной болезнью на основе «компьютерного образа» состояния, отражающего взаимосвязь клинической картины с экспериментальными данными. В результате достигается возможность количественной оценки тяжести клинической ситуации и риска оперативного вмешательства [16].

Прогнозирование отражается в предоперационной оценке различных вариантов проведения операции и ожидаемых результатов. Профилактика связана с предотвращением возможных осложнений во время и после операции. Интраоперационный мониторинг различных типов данных для прогнозирования в реальном времени может способствовать предотвращению неблагоприятных событий. Интеграция до-, интра- и послеоперационных данных может помочь контролировать процесс выздоровления и прогнозировать осложнения.

В соответствии с методами машинного обучения было разработано приложение для смартфонов Predictive Optimal Trees in Emergency Surgery Risk (POTTER) [17], представляющее собой интерактивный нелинейный калькулятор риска для прогнозирования послеоперационной смертности, заболеваемости и хирургических осложнений, чтобы помочь хирургам неотложной помощи в режиме реального времени в предоперационной оценке состояния пациента. Этот калькулятор показал более высокую точность по сравнению с классификацией Американского общества анестезиологов (ASA), шкалой неотложной хирургии (ESS) и калькулятором хирургического риска ACS. На основе той же технологии ИИ было разработано приложение для смартфонов Trauma Outcome Predictor (TOP) для поддержки хирурга неотложной помощи в балансировании рисков и преимуществ при прогнозировании патологического процесса и риска смерти у пациентов с травмами [18]. Основная этическая проблема внедрения технологий машинного обучения в клиническую практику связана с достоверностью и обобщаемостью, то есть степенью применимости результатов конкретного исследования в широкой клинической практике, что зависит от точности, полноты и репрезентативности интегрированных данных.

Интраоперационный мониторинг пациентов — один из важнейших этапов малоинвазивной хирургии. Подходы из теории игр были использованы для дифференциального взвешивания прогностических физиологических показателей во время операции в попытке интерпретировать клинические факторы гипоксической тревоги, поступающие из системы ИИ [19]. Примером использования алгоритмов машинного и глубокого обучения (технологии, использующей многослойные самообучающиеся нейронные сети) в интраоперационном мониторинге пациентов можно считать отслеживание деформации мягких тканей в реальном времени. Точное отслеживание деформации тканей крайне важно для безопасности пациента при проведении малоинвазивной хирургии. Разработанная система может обучаться в реальном времени и подбирать наиболее эффективный метод мониторинга деформаций [20].

Технологии автоматического распознавания результатов ультразвуковых исследований, компьютерной томографии (КТ) и магнитно-резонансной томографии (МРТ) способствуют повышению качества планирования операций и послеоперационного ведения пациентов [21]. На этапе планирования операций активно внедряются алгоритмы традиционного машинного обучения и глубокого обучения для анализа радиологических изображений: анатомической классификации, сегментации и обнаружения аномалий. Благодаря алгоритмам глубокого обучения можно своевременно выявлять на КТ-снимках такие аномалии, как перелом свода черепа, внутричерепное кровоизлияние и смещение срединной линии [22], что повышает эффективность оказания неотложной помощи на ранних этапах при черепно-мозговых травмах. Машинное обучение было применено также для прогнозирования долгосрочных неврологических исходов у детей с такими травмами [23–25].

Рекуррентные нейронные сети, использовавшиеся для прогнозирования в реальном времени риска возникновения у пациента почечной недостаточности, послеоперационных кровотечений и риска смерти [26], продемонстрировали более высокую эффективность по сравнению со стандартными клиническими инструментами. Это важно в плане фокусировки внимания врачей на пациентах с высоким риском развития таких осложнений. Способ систематического сравнения большого количества данных, используя искусственные нейросети, показал возможность оценки персонального хирургического риска у кандидатов на резекцию легкого [27].

Анализ больших данных может обеспечить подтверждение выдвинутой гипотезы или выявить закономерности, неизвестные ранее [28]. Но следует иметь в виду, что технология машинного обучения нуждается в больших данных и только при этом условии возможно получение надежных решений. Результаты, полученные при машинном обучении на больших наборах данных из ЭМК отдельных больниц с ограниченной информацией об их проверке, вызвали сомнения в достоверности использованных моделей при последующей попытке внешней проверки [29, 30]. Поэтому следует прислушаться к мнению Де Симоне [13], что несмотря на многообещающие результаты доклинического исследования, ИИ пока не способен выявлять причинно-следственные связи в данных на необходимом для клинической практики уровне.

CAS-ТЕХНОЛОГИИ И КОМПЬЮТЕРНОЕ ЗРЕНИЕ В ОПЕРАТИВНОЙ ПРАКТИКЕ

Системы компьютерной поддержки в хирургии (Computer Aided или Assisted Surgery — CAS-технологии) находят разнообразное применение. Оперативные вмешательства планируются с использованием изображений КТ и МРТ, полученных до операции. Технологии CAS включают 3D-визуализацию, 3D-анатомическое моделирование и расширенный анализ. Виртуальное моделирование позволяет до операции проанализировать структуру и кровоснабжение органа. Возможности достаточно точных 3D-моделей и методов визуализации прижизненной анатомии пациента и патологических процессов позволили разработать ряд методик и программных средств по предоперационному и интраоперационному планированию хирургического вмешательства. Хирургические навигационные системы предоставляют хирургам новые возможности для проведения операций, связанные с совмещением разных модальностей нейровизуализации, что можно видеть на примере нейрохирургии [31, 32]. В минимально инвазивной стереотаксической нейрохирургии планирование помогает хирургам определить наилучшее место доступа на черепе. Новые технологии включают расширенное анатомическое и физиологическое моделирование, симуляции, обучение хирургов и интеллектуальные инструменты. Уже среди первых CAS-систем была навигационная система для бескаркасной (безрамочной) стереотаксической нейрохирургии [33].

В ортопедической хирургии CAS-системы поддерживают выбор имплантатов для замены суставов и аппаратных средств для фиксации переломов, а также их оптимальное расположение на основе геометрии и состояния кости пациента, например, с учетом остеопороза. Расширенный биомеханический анализ включает кинематическое и динамическое моделирование коленных и тазобедренных суставов для конкретного пациента, анализ нагрузки на кость и анализ риска переломов на основе данных КТ пациента. CAS-системы обычно используются последовательно для: (1) построения 3D-геометрической модели по данным лучевой диагностики, (2) представления анатомических объектов с заданной точностью, (3) предоперационного планирования и интраоперационного сопровождения.

Сегментация изображений и количественная оценка поражений с помощью сверточных нейронных сетей особенно подходит для интерпретации изображений, благодаря чему наличие черепно-мозговой травмы на КТ может быть оценено с более высокой точностью, чем при традиционном анализе КТ [34]. Точно так же травматический эмоперитонеум был визуализирован и измерен с использованием многомасштабной остаточной нейронной сети [35].

Для создания ИИ, способного ставить диагнозы по данным рентгенографии грудной клетки, был использован общедоступный набор данных рентгенографии грудной клетки и отчетов Национального института здравоохранения США (National Institutes of Health of USA). Метод обработки текстов на естественном языке (Natural Language Processing) использовался в создании меток для анализа рентгенограмм грудной клетки, которые затем применялись для обучения сети глубокого обучения распознаванию пневмоторакса на рентгенограммах [36]. Однако углубленный анализ наборов данных показал, что некоторые результаты могли быть получены из неправильно помеченных данных [37]. Автор отмечает, что так как на большинстве рентгеновских снимков, помеченных как пневмоторакс, также присутствовала плевральная дренажная трубка, то это вызывало обеспокоенность тем, что сеть идентифицировала плевральную дренажную трубку, а не пневмоторакс.

Экспертная система может быть объединена с мультимодальным вводом данных в виртуальной среде для предоставления интеллектуального инструмента моделирования как помощника хирурга. Это достигается в три шага. Во-первых, голосовой и жестовый ввод интерпретируется и представляется в семантической форме. Во-вторых, экспертная система на основе правил используется для вывода контекста и действий пользователя на основе семантического представления. Наконец, предполагаемые действия пользователя сопоставляются с этапами хирургической процедуры, чтобы отслеживать действия пользователя и обеспечивать автоматическую обратную связь. Кроме того, система может немедленно реагировать на мультимодальные команды для помощи в навигации и/или идентификации критических анатомических структур [38]. Преобразование голосовой команды в однозначное представление помогает механизму логического вывода, построенному на основе экспертной системы, выполнять действия и планирование движения. В процессе интерпретации на естественном языке система генерирует два вывода: (а) концептуальную зависимость, выражающую лингвистическое значение утверждения, и (б) вербальное подтверждение, парафраз на естественном языке, который повторяется пользователю для подтверждения, что команда была правильно понята [39].

P. Mascagni и N. Padoy [40] поставили целью создание «хирургического диспетчерского пункта», который с помощью ИИ может отслеживать, анализировать и поддерживать рабочие процессы в режиме реального времени, обеспечивать улучшение качества и безопасности операций, управления операционной. Однако для этого требуется технология компьютерного или машинного зрения, что предполагает автоматическую фиксацию и обработку изображений неподвижных и движущихся объектов. Компьютерное зрение включает получение и интерпретацию осевых изображений для компьютерной диагностики, операций под визуальным контролем и обследований [41]. Программное обеспечение компьютерного зрения может улучшить работу хирургов при холецистэктомии [42, 43] путем фокусировки на обнаружение объектов, их идентификацию и извлечение в процессе движения и пространственной ориентации (компьютерная навигация). Это используется в частности при дистанционном проведении операций. Сегментация и локализация методами ИИ способствуют безопасному взаимодействию инструмента и тканей и необходима для манипуляций под визуальным контролем, что значительно улучшает гибкость, точность и надежность хирургических жестов [44, 45].

Сочетание методов машинного обучения и компьютерного зрения позволяет выдавать рекомендации на основе существенной информации, включающей статические изображения, видео и другие визуальные данные, в том числе дополненной реальности (перенесение трехмерных виртуальных объектов в реальном времени в трехмерную реальную среду). В исследовании, проведенном Медицинской школой Университета Тейкё в Японии, в отделении неотложной помощи, было протестировано оборудование с возможностью захвата данных КТ всего тела пациента с множественными травмами и немедленного их предоставления бригаде врачей, которые были экипированы устройствами дополненной реальности, что позволило точно определить характер травмы [46].

Таким образом, объединение нескольких предоперационных и интраоперационных методов визуализации в режиме дополненной реальности области хирургического вмешательства улучшает хирургическую навигацию с помощью систем дополненной реальности на основе зрения, результатом чего является отображение интегрированной информации хирургу [47].

РОБОТИЗИРОВАННАЯ ХИРУРГИЯ

Роботизированная система Da Vinci [48], дистанционно управляемая система с несколькими «руками», произвела революцию в малоинвазивной лапароскопической хирургии. Это был громадный шаг в компьютерной поддержке хирургов. Но фактически это манипулятор, а не робот, не интеллектуальная система, хотя его и подобные устройства принято называть роботами. Сегодня люди-хирурги могут управлять роботами-хирургами посредством разнообразных бесконтактных манипуляций. Это манипулирование возможно с помощью движений головы или рук, распознавания речи и голоса или взгляда хирурга. «Face MOUSe» — интерфейс «человек-робот» [49] — отслеживает в режиме реального времени движения лица хирурга без каких-либо устройств, контактирующих с телом. Движение лапароскопа точно контролируется жестами лица хирурга, что обеспечивает неинвазивное и невербальное взаимодействие между человеком и роботом для различных хирургических процедур.

Главное, необходимо отметить, что современный автономный робот, использующий технологии ИИ, может обеспечить эффективность, безопасность и согласованность независимо от навыков и опыта хирурга. Так, автономный анастомоз требует сложных методов визуализации, отслеживания тканей, точного выполнения с помощью высокоадаптируемых стратегий управления, часто в неструктурированных и деформируемых средах. В лапароскопических условиях такие операции еще более сложны из-за необходимости высокой маневренности и повторяемости при ограничениях движения и зрения [50]. Роботы-хирурги, сочетающие компьютерное зрение с анализом движения и манипулированием и позиционированием специальными хирургическими инструментами во время операций, представляют собой управляемые компьютером устройства, которые позволяют хирургам сосредоточиться на сложных аспектах операции, не отвлекаясь на рутинные задачи. Алгоритмы машинного обучения, лежащие в основе хирургических роботов, обучаются на датасетах, содержащих массивы клинических данных. Достаточно распространенный подход обучения путем демонстрации (learning from demonstration) используется для «обучения» роботов самостоятельному выполнению новых задач на основе накопленной информации о проведении операций хирургами. На первом этапе сложная хирургическая задача разбивается на несколько подзадач и основных жестов. На втором этапе хирургические роботы распознают, моделируют и последовательно выполняют все подзадачи.

Полуавтономно действующие устройства способны выполнять определенные действия в различных хирургических процедурах путем взаимодействия с хирургом, но всегда под его наблюдением. Технические преимущества инвазивной робот-ассистированной хирургии у детей, по сравнению со стандартной лапароскопией, в полной мере представлены в обзоре Ю.А. Козлова и соавт. [51]. В то же время авторы обращают внимание на ограничения для выполнения таких операций у новорожденных и младенцев ввиду размеров применяемых инструментов. В то время как у более старших детей такие операции проводятся, примером чего может служить оперативное робот-ассистированное вмешательство по поводу дивертикулэктомии мочевого пузыря с использованем системы Da Vinci с ассистентским 5 мм портом [52]. В этой системе имеются также и инструменты размером 3 мм [53]. Роботизированная лапароскопическая пиелопластика является одним из лучших примеров возможностей технологии в педиатрической урологической практике. При использовании традиционной лапароскопической техники наложение анастомоза во время пиелопластики требует значительных технических навыков. Имеющиеся данные свидетельствуют, что благодаря роботизированной помощи значительно сокращается время операции, продолжительность послеоперационного пребывания и использование лекарств, а также улучшается косметика рубцов по сравнению с традиционным подходом [54].

В проспективном рандомизированном пилотном исследовании проведено сравнение специализированного робота MUSA для супермикрохирургии и наложение традиционного ручного лимфовенозного анастомоза при лечении лимфедемы (сосуды диаметром от 0,3 до 0,8 мм) [55]. MUSA обеспечивает масштабирование движения и фильтрацию тремора. В группе, оперировавшей с роботом, отмечается резкое снижение продолжительности времени, необходимого для завершения анастомоза (33–16 мин).

Концепция автономии или независимого принятия решений занимает, как отмечает A.A. Gumbs и соавт. [56], центральное место в будущем хирургической робототехники. Предложены шесть уровней автономии: уровень 0 соответствует отсутствию автономии (это могут быть сшивающие аппараты, использующие алгоритмы для расчета сотен тысяч данных в секунду, чтобы определить оптимальную скорость коагуляции без движения или жеста хирурга, либо снабженные датчиками, блокирующими без взаимодействия с хирургом сшивание, если ткань слишком плотная или недостаточно плотная); уровень 1 — телеманипулирование роботом; уровень 2 — автономия, ограниченная одним действием или совместной манипуляцией; уровень 3 — это условная автономия, когда у робота есть более одного автономного действия, среди которых для хирурга возможен выбор; уровень 4 — устройство принимает какие-то автономные решения, но все еще находится под контролем врача; уровень 5 считается полной автономией [57, 58]. Существующее мнение об автономии как концепции «все или ничего», то есть либо присутствует полная автономия, либо действие не следует считать автономным, нужно признать несостоятельным. Это видно из рассмотрения шести выше представленных уровней автономии. По-настоящему независимое принятие решений должно осуществляться под управлением ИИ и быть способным учиться на своих ошибках.

В дискуссии специалистов из 9 стран (Австралия, Германия, Италия, Канада, Португалия, США, Турция, Франция, Япония) было принято согласованное мнение в отношении систем ИИ для хирургии [56]:

  1. Системы, управляемые ИИ, в области радиомики (анализ радиологических данных с помощью математического моделирования и глубокого машинного обучения) или выявления предикторов хирургических исходов (факторы риска хирургических осложнений), которые могут работать автономно, могут быть разрешены, но всегда их должен проверять медицинский сотрудник.
  2. Полная автономия в конечном итоге может стать возможной, однако, согласно существующей парадигме, хирургию нельзя проводить без контроля хирурга-человека, который полностью способен выполнить и завершить процедуру с помощью роботизированной поддержки, стандартной лапароскопической операции и/или открытых хирургических вмешательств.
  3. На начальном этапе может быть предпочтительнее, чтобы только часть хирургических процедур была полностью автоматизирована с упором на создание отдельных автономных хирургических жестов, а затем фрагментов целых операций, безопасных для пациентов и доказавших свою эффективность.
  4. Автономное рассечение (dissection) — самая рискованная часть операции, его следует рассматривать в последнюю очередь, а пока следует выполнять хирургу самостоятельно; первоначальные исследования автономных действий должны быть сосредоточены на разработке датчиков, чтобы можно было разработать более интеллектуальные устройства, повышающие безопасность и точность во время операций.
  5. Усовершенствованное компьютерное зрение с дополненной реальностью, виртуальной реальностью и смешанной реальностью — это области ИИ, которые изначально необходимо развивать и продолжать развивать, поскольку эти технологии обладают наибольшим потенциалом для положительного улучшения хирургических результатов и снижения краткосрочных осложнений.
  6. Ручные роботизированные помощники и неуправляющие системы могут обеспечивать тактильные ощущения лучше, чем роботизированные управляющие решения.
  7. Решение об использовании системы необходимо принимать оперирующему хирургу, использующему роботизированную помощь.
  8. Прогресс в автоматических и автономных действиях в сочетании с расширенным мониторингом и применением систем ИИ в операционной при использовании моделирования перед операцией позволит хирургам работать с меньшим стрессом и в условиях получения более ценной информации.

Таким образом, роботизация хирургии в настоящее время включает как поддержку действий хирурга, осуществляющего операцию, так и берет на себя выполнение определенного объема действий в процессе оперативного вмешательства.

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ В ИНТЕНСИВНОЙ ТЕРАПИИ

Несомненный интерес представляет интеграция в интеллектуальные системы информации, поступающей в реальном времени с различной медицинской аппаратуры. На необходимость и значение содержательной обработки данных прикроватных мониторов было обращено внимание в статье, посвященной приложениям ИИ в неотложной помощи [59]. В таких системах функциональные данные, получаемые в процессе мониторирования, поступают на вход системы и актуализируют ее, то есть реализуется динамический анализ ситуаций в режиме реального времени. Сложность решения динамических задач связана с выполнением одновременно ряда временны´х процессов, изменением значений во время выполнения задачи, ограниченностью времени для реализации решений, что особенно характерно для СППР в области реаниматологии, получающих информацию не только от врача, но и с мониторирующей аппаратуры. Они должны обеспечивать: (а) экстренное обнаружение критических значений контролируемых физиологических показателей и формировать сигнал тревоги для врача и медицинской сестры; (б) синдромную диагностику неотложных состояний; (в) прогнозирование осложнений; (г) рекомендации по коррекции терапии с учетом критериев безопасности предлагаемых медикаментозных воздействий. В проекте медицинской интеллектуальной системы реального времени для детской реанимации [60] предусматривалась актуализация интеллектуальных подсистем диагностики и лечебной тактики на основе данных мониторируемых параметров пациента и текущих записей ЭМК, включая лабораторные показатели, с выдачей сигнала тревоги, гипотезы критического состояния и рекомендаций по коррекции состояния. Этот проект являлся развитием системы для диагностики неотложных состояний у детей «ДИН» [61], которая учитывала необходимость принятия решений по неполному списку диагностических критериев, то есть при стертой клинической картине, не полностью развившемся синдроме и при ограничениях на проведение специальных исследований, обусловленных тяжестью состояния или недостатком аппаратуры. Кроме того, в системе была реализована возможность изменения порядка опроса врача о симптомах заболевания (как от признаков к диагнозу, так и от предполагаемого врачом диагноза, что в последнем случае значительно ускоряет выдачу решения системой).

Комплексное решение для применения в процессе операций и в мониторинге состояния пациентов в отделении интенсивной терапии было реализовано в области сердечно-сосудистой патологии в системе «Айболит» (в более поздней версии «Миррор») [62]. В этой системе предлагаемые врачу решения формируются по результатам математического моделирования и экспертных знаний, включая прецеденты, в реальном времени на основе информации, поступающей с мониторирующих систем.

Другим примером может служить автоматизированная система постоянного интенсивного наблюдения для анализа состояния физиологических систем организма, интерпретации динамики количественных параметров и прогнозирования состояния у пациентов, находящихся в отделении интенсивной терапии [63]. Алгоритм синдромальной диагностики нарушений центральной гемодинамики позволяет определить один из 12 возможных типов кровообращения, обеспечивая поддержку врачебных решений в процессе периоперационного лечения.

В то же время патологический процесс представляет собой континуум и нестабильность клинического состояния может принимать различные формы, в связи с чем критическое состояние следует рассматривать как часть траектории болезни пациента, включая лечение до и после поступления в отделение интенсивной терапии, что играет важную роль в оптимизации исходов [64]. Наблюдение за пациентами из группы риска и выявление критического состояния на ранней стадии — сложная задача, требующая сочетания повышенного контроля и своевременного обращения за помощью к врачам отделения интенсивной терапии. Развитие критического состояния редко происходит без предупреждения, ему предшествует ряд, часто незамеченных, изменений жизненно важных клинических признаков, что снижает шансы на выживание. H. Chang и соавт. [65] обращают внимание на необходимость предложения актуальных вмешательств (введение артериального катетера, оксигенотерапия, высокопоточная назальная канюля, интубация, массивные трансфузии, инотропы и вазопрессоры) у пациентов в критическом состоянии на основе методов машинного обучения. Эта модель была интегрирована в электронную медицинскую карту в качестве поддержки ранних вмешательств для врачей неотложной помощи.

В группе пациентов с сердечно-дыхательной нестабильностью (определяемой как гипотензия, тахикардия, респираторный дистресс или десатурация) динамическая модель с использованием классификации методом случайного леса (один из методов машинного обучения) показала, что персонализированная траектория риска позволяет предсказать ухудшение состояния за 90 мин в преддверии кризиса [66]. Тахикардия, одно из наиболее часто наблюдаемых отклонений от нормы перед шоком, была предсказана за 75 мин до развития моделью случайного леса с использованием нормализованной траектории динамической оценки риска [67]. Гипотензию как проявление шока прогнозировали также во время операции [68]. Клинически значимые эпизоды гипотензии можно прогнозировать до фактического события на основе поминутного набора данных о показателях жизнедеятельности с использованием машинного обучения. Используя данные временны´х рядов из 30-минутных перекрывающихся временны´х окон, классификатор случайного леса использовался для прогнозирования риска гипотензии каждую минуту [69]. Для 1307 пациентов с гипотонией и 1619 без гипотонии в отделении интенсивной терапии модель случайного леса показала AUROC (площадь под кривой, эквивалентна вероятности) 0,93 и 0,88 за 15 и 60 мин соответственно до гипотензии. Траектории оценки риска выявили 80 и >60 % гипотензии, предсказанной за 15 и 60 мин соответственно. Многоуровневая модель с 15-минутной блокировкой давала в среднем 0,79 предупреждений на пациента в час (чувствительность 92,4 %). С помощью высокочувствительной и надежной системы оповещения можно было бы в будущем фиксировать подавляющее большинство пациентов с развивающейся гипотензией. Разработан метод прогнозирования тахикардии как аналога гемодинамической нестабильности у больных, находящихся в отделении интенсивной терапии [67]. Классификаторы регуляризованной логистической регрессии и случайного леса были обучены для оценки риска предстоящей тахикардии. Сравнивали три разные модели оценки риска для тахикардии и контрольной группы (без тахикардии). Траектория риска была сгенерирована из временны´х окон, удаляющихся с шагом в 1 мин от эпизода тахикардии. Траектории были рассчитаны за 3 ч до эпизода для трех разных моделей. Из 2809 участников эксперимента было выявлено 787 эпизодов тахикардии и 707 контрольных периодов. Пациенты с тахикардией имели повышенную вазопрессорную поддержку, более длительное пребывание и повышенную смертность в отделении интенсивной терапии по сравнению с контрольной группой. Модель случайного леса немного превосходила логистическую регрессию, точность которой варьировалась от 0,847 до 0,782, с площадью под кривой от 0,921 до 0,842. Анализ траектории риска показал, что средний риск для группы с тахикардией увеличился до 0,78 до эпизодов тахикардии, в то время как риск для контрольной группы оставался <0,3. Модель демонстрировала развивающуюся траекторию примерно за 75 мин до эпизода тахикардии. Сложной задачей, но с гораздо большим потенциалом считается разработка интеллектуальных мониторов, способных непрерывно оценивать признаки критического состояния пациентов с высокой степенью достоверности [70].

Показано использование моделей машинного обучения при формировании оценок риска для эмболии легочной артерии [71], стратификации риска острого респираторного дистресс-синдрома [72], прогноза острой почечной недостаточности [73]. Машинное обучение с использованием алгоритма k-ближайших соседей может улучшить распознавание острого повреждения почек (ОПП) у пациентов с ожогами [74]. Модели были обучены и протестированы на группе 50 взрослых пациентов с ожогами с использованием лабораторных данных, полученных в течение первых 24 ч после поступления (ОПП проявилось у 50 % пациентов в течение первой недели после поступления). Модели машинного обучения, содержащие данные о липокалине, связанном с нейтрофильной желатиназой, креатинине, диурезе и N-концевом натрийуретическом пептиде B-типа, достигли 90–100 % точности выявления ОПП. Модели, включающие только N-концевой натрийуретический пептид B-типа и креатинин, достигли точности 80–90 %. Среднее время до выявления ОПП с применением только показателей диуреза и/или креатинина в традиционном варианте оценки ситуации врачами составляло 42,7 ± 23,2 ч после госпитализации по сравнению с 18,8 ± 8,1 ч при использовании алгоритма машинного обучения. Следовательно эффективность показателей диуреза и креатинина для прогнозирования ОПП может быть улучшена с помощью алгоритма машинного обучения в случаях отсутствия данных о липокалине, связанном с нейтрофильной желатиназой.

Глубокое обучение можно использовать для анализа реперных точек на лице, позах и действиях пациентов, а также на стимулах окружающей среды для различения пациентов в бреду и без бреда в отделении интенсивной терапии [75].

Принятие решений в модели динамического режима лечения, использующей машинное обучение с подкреплением на основе изменений в состояния пациента и применяемой терапии, направлено на подбор индивидуального лечения. Эту модель применяли в условиях интенсивной терапии для адаптации инфузионной терапии при сепсисе и стратегии вентиляции при острой дыхательной недостаточности [76, 77].

Системы, используемые в отделении интенсивной терапии, должны быть достаточно точными и разумными, чтобы предотвратить усталость от тревоги, что приводит к задержкам в обнаружении и вмешательстве в развивающиеся кризисные ситуации [78]. В работе по прогнозированию гипотонии в отделении интенсивной терапии исследователи обнаружили, что количество предупреждений, генерируемых ИИ, может быть уменьшено в десять раз при сохранении чувствительности в случае использования модели случайного леса или модели, проверяющей другую модель перед формированием предупреждений [69].

Существует мнение, согласно которому реаниматологи должны учитывать в общей сложности более 200 переменных у пациентов, находящихся на искусственной вентиляции легких (ИВЛ). Разумное применение технологии ИИ может помочь справиться с информационной перегрузкой [79]. Проведены исследования с использованием клинических данных и сигналов систем ИВЛ для выявления асинхронности между аппаратом ИВЛ и пациентом [80, 81], для выявления лиц с более высоким риском длительной ИВЛ (более 7 дней) и необходимости трахеостомии. Используя модель деревьев решений, в первый день поступления пациентов в отделение интенсивной терапии рассчитывали шесть различных показателей тяжести заболевания. Из 20 262 пациентов в отделении интенсивной терапии с ИВЛ 13,6 % потребовалась ИВЛ, а 6,6 % — трахеостомия. Прогноз длительной ИВЛ и трахеостомии был получен со среднеквадратичным отклонением AUROC 0,820 ± 0,016 и 0,830 ± 0,011 соответственно. Для пациентов хирургического отделения интенсивной терапии, которым требовалась ИВЛ, классификаторы машинного обучения прогнозировали длительную вентиляцию и трахеостомию со значением AUROC 0,852 ± 0,017 и 0,869 ± 0,015 соответственно. Это исследование продемонстрировало высокую специфичность и точность машинного обучения для прогнозирования как длительной вентиляции, так и назначения трахеостомии.

Выявление пациентов с признаком асинхронности в системе пациент – вентилятор, указывающим на степень связи или реакции пациента на дыхательную поддержку, получено методами машинного обучения, основанными на морфологических изменениях сигналов давления и потока [82]. Для определения неэффективных триггеров в фазе выдоха у пациентов, находящихся на ИВЛ, на основе потока в дыхательных путях и изменения давления разработан алгоритм выявления неэффективных усилий по максимальному отклонению выдыхаемой части давления [83]. Неэффективные усилия присутствовали у 58 % из 24 пациентов, включенных в исследование. Анализ 5899 вдохов дал чувствительность и специфичность для выявления неэффективных усилий >90 %. Разработанный алгоритм [84] позволил сравнить теоретическую экспоненциальную кривую потока выдоха с фактическим отслеживанием потока. Отклонение, превышающее 42 %, считалось показателем неэффективных усилий. Сравнение полученного прогноза на случайной выборке из 1024 вдохов, полученных от 16 пациентов, с прогнозами, сделанными пятью экспертами, продемонстрировало чувствительность 91,5 % и специфичность 91,7 % с прогностическим значением 80,3 %. Предложенный компьютеризированный алгоритм может быть полезен для корректировки параметров ИВЛ. В связи с тем что при механической вентиляции крайне важно обеспечить удовлетворение вентиляционной потребности пациента при минимизации асинхронии, была разработана модель для прогнозирования вероятности возникновения асинхронности [85]. Скрытую марковскую модель с пуассоновским процессом, то есть при неизвестном состоянии системы, использовали для прогнозирования вероятности возникновения каждого уровня риска в следующем периоде. Длительные периоды с очень небольшим количеством асинхронных событий и, следовательно, с очень низким риском были более вероятными, чем периоды с большим количеством событий. Состояния были стойкими, большие сдвиги состояний — редкостью, и большинство переключений происходило в соседние состояния. Это позволило авторам утверждать, что пациенты из группы с большим количеством асинхроний скорее всего останутся в этом состоянии, что может иметь серьезные последствия. Данный подход к решению проблемы асинхронности между пациентом и аппаратом ИВЛ указывает на целесообразность разработки подобных тревожных систем для оповещения специалистов о пациентах, попадающих в состояние высокого риска, чтобы они могли принять меры для улучшения взаимодействия между пациентом и аппаратом ИВЛ.

ОГРАНИЧЕНИЯ И ПЕРСПЕКТИВЫ

Медицина быстро осознала, что подотчетность алгоритмов, безопасность и проверяемость компьютерного анализа данных может повлиять на применимость ИИ в клинической практике. Методы машинного обучения часто вызывают изумление высоким качеством одних получаемых результатов, но наряду с этим другие результаты нередко порождают вопросы доверия к возможности их практического применения. Глубокие нейронные сети имеют сложные уровни узлов, сложные взаимодействия между переменными, которые позволяют характеристикам входных данных быть более значимыми для выявления скрытых закономерностей. Однако, несмотря на то что нейросеть может давать кажущиеся точными результаты, часто конечные пользователи не могут получить обоснование предлагаемого решения, полученного с использованием примененной вычислительной процедуры. В клинической среде это может вызывать сильное сопротивление внедрению подобных моделей в повседневную практику [86].

Широко известно, что большие данные должны обеспечивать надежность получаемых решений. Однако, метафорически характеризуя проблему больших данных, используемых в машинном обучении, P. Natarajan [87] обращает внимание, что для того, чтобы данные в озере можно было применять для аналитики, они должны быть организованы, доступны для запросов, а также быть хорошо понятны и им должны доверять как пользователи, так и эксперты. Но базы данных, накопленные за много лет, могут иметь скрытые дефекты, обусловленные модификацией методов лечения, сменой медицинского оборудования и даже коррекцией диагностических оценок и классификаций.

На текущем этапе разработка и внедрение систем ИИ сталкивается со многими проблемами [86]. Авторы указывают на три группы факторов. Во-первых, объединение данных затруднено без надлежащей стандартизации. Во-вторых, модели ИИ не являются надежными ввиду неоптимального соблюдения стандартов, высокого риска смещения выборки, проблем с воспроизводимостью без надлежащей внешней проверки при прозрачной архитектуре модели. В-третьих, модели ИИ могут привести к непредвиденным этическим дилеммам (конфиденциальности и обмену данными, безопасности и подотчетности модели).

В связи с тем что модели машинного обучения нередко лучше предсказывают результаты или диагностируют заболевания в одних группах пациентов по сравнению с другими, возникает вопрос, что нужно для создания моделей, которые будут одинаково хорошо работать для всех групп пациентов [88]. Авторы отмечают, что к неудовлетворительной работе системы могут привести различные факторы: недостаточная представленность каждой группы в обучающем наборе данных, выбор несоответствующей модели и различия в сложности прогнозирования между группами. Кроме того, необъективный сбор данных может исказить как обучение, так и оценку результатов. Узкие алгоритмические решения не могут решить все эти проблемы. Кроме того, может потребоваться не только больше данных, но и более качественные данные.

A. Litvin и соавт. [89] оценили эффективность систем поддержки принятия решений на основе искусственных нейронных сетей в неотложной хирургии и пришли к мнению, что на эти инструменты влияют искажающие факторы, присущие сложности и гетерогенности неотложных хирургических заболеваний, наличие уникальных (нетипичных) случаев. Авторы отмечают, что эффективность нейросетей зависит от качества и достоверности медицинской информации, а доверие к ним — от отсутствия прозрачности процесса принятия решений.

Нельзя не отметить, что перечисленные проблемы находятся в центре внимания как разработчиков медицинских СППР, так и пользователей. Некоторые из них нашли решение в ГОСТ Р 59921.8–2022 и ГОСТ Р 59921.9–2022* устанавливающих общие требования к системам ИИ в медицине и системам менеджмента качества, а также в необходимости регистрировать такие системы, как медицинские изделия. Хотя нерешенные вопросы остаются.

Особое значение приобретает валидация систем ИИ. Это относится к процессу подтверждения того, обобщает ли модель данные, которые не использовались при ее разработке. Внутренняя валидация контролирует воспроизводимость характеристик системы, полученных на конкретной выборке, использовавшейся при создании модели, на той же базовой выборке. Внешняя валидация определяет, является ли модель переносимой, оценивая ее эффективность в выборке, которая отличается от использовавшейся на этапе разработки системы [90]. Таким образом, в первом случае, валидация на базе медицинской организации, на данных которой построена система, а во втором (внешняя валидация или верификация) — на базе другой или других медицинских организаций. К сожалению, далеко не все представленные в литературе системы подверглись необходимой проверке.

Для прогностических моделей необходимо обращать особое внимание на достоверность модели, конкурирующие риски, подводные камни «модифицируемых факторов риска», ошибку измерения и риск смещения, возникающий в результате ошибочного предположения в алгоритме обучения [91]. Это жизненно важно для применения модели в клинических условиях. Кроме того, опасно так называемое переообучение, в результате которого модель хорошо объясняет примеры из обучающей выборки, но относительно плохо работает на примерах из тестовой выборки. Причиной этого является то, что модель снижает обобщаемость за пределами исходного набора данных, то есть при анализе новых наблюдений. Кроме того, что модель должна сохранять точность при обращении к новым данным, следует также обращать внимание на то, как обрабатываются отсутствующие у конкретных пациентов данные [10]. Предоставление подробной методики проверки модели, надежности анализа, истории успешных/неудачных реализаций и привлечение экспертных знаний могут обеспечить надежность и доверие к предлагаемым системам [92].

Ситуация с интерпретируемостью алгоритмов машинного обучения и объяснимостью прогнозируемого ими результата связана с тем общеизвестным недостатком, что нейронные сети представляют собой «черный ящик» [93]. Происходящая вследствие этого невозможность интерпретации полученного результата становится препятствием для принятия рекомендаций систем на основе машинного обучения. Таким образом, несмотря на то что применение нейронных сетей позволяет обнаруживать закономерности, пропущенные людьми, у человека остается мало возможностей для того, чтобы оценить, как и почему такие закономерности были обнаружены, какова клиническая интерпретация выявленных причинно-следственных связей [15]. В отличие от технологий машинного обучения ДСМ-метод автоматизированной поддержки исследований позволяет интерпретировать извлекаемые эмпирические закономерности, поскольку в его основе лежит рассуждение, которое представляет собой синтез процедур индукции (порождаются гипотезы о причинах), аналогии (порождаются гипотезы о предсказаниях) и абдукции (принятие гипотез посредством объясняемости исходных данных) [94].

Решением вопроса объяснимости гипотез, предлагаемых при использовании нейросетевых технологий, является сочетание моделей машинного обучения и основанных на знаниях специалистов в виде гибридных систем, для создания которых предлагаются различные конструкции [95–97]. Это позволит интегрально обрабатывать, анализировать и классифицировать различные данные, включая визуальную информацию. Однако принципы реализации таких систем остаются дискуссионными.

Технологии ИИ в хирургии, особенно лапароскопической, предоставляют дополнительную информацию об использовании инструментов и траектории движения во время операции. Особенно велик объем информации, извлекаемой из хирургического видео, получаемого с помощью эндоскопа. Автоматизация анализа поддерживается системами компьютерного зрения на основе ИИ. Распознавание изображений на основе ИИ для простых задач, таких как идентификация снимков, в последние годы продвинулось вперед и сравнимо с человеческим. Хотя распознавание видео в хирургии является более трудной задачей, его применение для лапароскопических операций повысит поддержку принятия интраоперационных решений и хирургическую навигацию по изображениям [98]. Дальнейшие успехи ИИ и технологий машинного обучения могут сделать частично автономных хирургических роботов реальностью в будущем в детской хирургии [54].

В статье [99], посвященной состоянию и перспективам применения интеллектуальных роботов в хирургии, речь идет об интеллектуальной системе высокого уровня, которая одновременно отслеживает жизненно важные показатели во время операции и при необходимости выдает устные предупреждения, анализирует всю текущую информацию, необходимую для операции, «выполняет» гистологическое исследование ткани во время операции и определяет границы хирургического вмешательства при опухолях солидных органов, применяет соответствующую хирургическую технику с нулевой погрешностью и рассчитывает возможные послеоперационные осложнения.

ЗАКЛЮЧЕНИЕ

Системы на основе ИИ предоставляют полезные решения для обнаружения и прогнозирования заболеваний, что может изменить в будущем ситуацию с критическими состояниями благодаря своевременному информированию врачей на этапе предкритических изменений. Такие системы позволят перейти к оптимальным, индивидуализированным стратегиям лечения, к таргетной терапии на основе поиска аналогичных случаев с различными эффектами применявшихся методов лечения.

В хирургическую практику пришли роботизированные комплексы, системы компьютерного зрения, обеспечивающие многостороннюю поддержку хирургической практики, в том числе в детской хирургии. Дальнейшее развитие технологий искусственного интеллекта и интеграция различных подходов позволяют предполагать в ближайшей перспективе внедрение разнообразных решений в поддержку хирургов на предоперационном этапе и во время операции, обеспечивая принципиально новые возможности проведения оперативных вмешательств с использованием дополненной реальности и высоко интеллектуальных полуавтономных и автономных роботов, ассистирующих при проведении обследований и оперативных вмешательств. Интеллектуальные системы в реанимации, интегрированные с киберфизическими мониторирующими системами, позволят своевременно выявлять первые угрожающие изменения в состоянии пациентов и оперативно информировать о них, предлагая возможные решения.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Вклад авторов. Автор внес существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочел и одобрил финальную версию перед публикацией.

Источник финансирования. Автор заявляет об отсутствии внешнего финансирования при проведении исследования и подготовки публикации.

Конфликт интересов. Автор декларирует отсутствие явных и потенциальных конфликтов интересов, связанных с проведенным исследованием и публикацией настоящей статьи.

ADDITIONAL INFORMATION

Author’s contribution. Thereby, author made a substantial contribution to the conception of the study, acquisition, analysis, interpretation of data for the work, drafting and revising the article, final approval of the version to be published and agree to be accountable for all aspects of the study.

Funding source. This study was not supported by any external sources of funding.

Competing interests. The author declare that he have no competing interests.

* Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Ч. 8. https://docs.cntd.ru/document/1200193729.

×

About the authors

Boris A. Kobrinskii

Federal Research Center «Computer Sciens and Control» Russian Academy of Sciences

Author for correspondence.
Email: kba_05@mail.ru
ORCID iD: 0000-0002-3459-8851
SPIN-code: 7075-7784

PhD, Dr. Sci. (Med.), Professor, Honored Scientist of the Russian Federation; Head of the Department of Intelligent Decision Support System; Chairman of the Scientific Council of the Russian Association of Artificial Intelligence

Russian Federation, Moscow

References

  1. Gasparyan SA, Pashkina ES. Stranitsy istorii informatizatsii zdravookhraneniya Rossii. Moscow, 2002. 304 p. (In Russ.)
  2. Nazarenko GI, Osipov GS. Meditsinskie informatsionnye sistemy i iskusstvennyi intellekt. Moscow: Meditsina XXI, 2003. 234 p. (In Russ.)
  3. Zhai H, Brady P, Li Q, et al. Developing and evaluating a machine learning based algorithm to predict the need of pediatric intensive care unit transfer for newly hospitalized children. Resuscitation. 2014;85(8):1065–1071. doi: 10.1016/j.resuscitation.2014.04.009
  4. Rusin CG, Acosta SI, Shekerdemian LS, et al. Prediction of imminent, severe deterioration of children withparallel circulations using real-time processing of physiologic data. J Thorac Cardiovasc Surg. 2016;152(1):171–177. doi: 10.1016/j.jtcvs.2016.03.083
  5. Kwon J-M, Jeon K-H, Lee M, et al. Deep learning algorithm to predict need for critical care in pediatric emergency departments. Pediatr Emerg Care. 2021;37(12):e988–e994. doi: 10.1097/PEC.0000000000001858
  6. Park SJ, Cho K-J, Kwon O, et al. Development and validation of a deep-learning-based pediatric early warning system: a single-center study. Biomed J. 2022;45(1):155–168. doi: 10.1016/j.bj.2021.01.003
  7. Pospelov GS. Iskusstvennyi intellekt — osnova novoi informatsionnoi tekhnologii. Moscow: Nauka, 1988. 288 p. (In Russ.)
  8. Deo RC. Machine learning in medicine. Circulation. 2015;132(20):1920–1930. doi: 10.1161/CIRCULATIONAHA.115.001593
  9. Eckhardt CM, Madjarova SJ, Williams RJ, et al. Unsupervised machine learning methods and emerging applications in healthcare. Knee Surg Sports Traumatol Arthrosc. 2023;31:376–381. doi: 10.1007/s00167-022-07233-7
  10. Shah N, Arshad A, Mazer MB, et al. The use of machine learning and artificial intelligence within pediatric critical care. Pediatr Res. 2023;93(2):405–412. doi: 10.1038/s41390-022-02380-6
  11. Hopewell S, Loudon K, Clarke MJ, et al. Publication bias in clinical trials due to statistical significance or direction of trial results. Cochrane Database Syst Rev. 2009;1:MR000006. doi: 10.1002/14651858.MR000006.pub3
  12. Jüni P, Altman DG, Egger M. Systematic reviews in health care: assessing the quality of controlled clinical trials. BMJ. 2001;323(7303):42–46. doi: 10.1136/bmj.323.7303.42
  13. de Simone B, Chouillard E, Gumbs AA, et al. Artificial intelligence in surgery: the emergency surgeon’s perspective (the ARIES project). Discov Health Systems. 2022;1(1):9. doi: 10.1007/s44250-022-00014-6
  14. Joskowicz L. Computer-aided surgery meets predictive, preventive, and personalized medicine. EPMA J. 2017;8(1):1–4. doi: 10.1007/s13167-017-0084-8
  15. Hashimoto DA, Rosman G, Rus D, Meireles OR. Artificial intelligence in surgery: promises and perils. Ann Surg. 2018;268(1):70–76. doi: 10.1097/SLA.0000000000002693
  16. Dragun IA, Ustinov GG, Zatsepin PM. Avtomatizirovannaya sistema kolichestvennoi otsenki operatsionnogo riska. Bulletin of the Tomsk Polytechnic University. Geo Assets Engineering. 2007;310(1):217–221. (In Russ.)
  17. Bertsimas D, Dunn J, Velmahos GC, Kaafarani HMA. Surgical risk is not linear: derivation and validation of a novel, user-friendly, and machine-learning-based predictive OpTimal trees in emergency surgery risk (POTTER) calculator. Ann Surg. 2018;268(4):574–583. doi: 10.1097/SLA.0000000000002956
  18. Maurer LR, Bertsimas D, Bouardi HT, et al. Trauma outcome predictor: an artificial intelligence interactive smartphone tool to predict outcomes in trauma patients. J Trauma Acute Care Surg. 2021;91(1):93–99. doi: 10.1097/TA.0000000000003158
  19. Thorsen-Meyer H-C, Nielsen AB, Nielsen AP, et al. Dynamic and explainable machine learning prediction of mortality in patients in the intensive care unit: a retrospective study of high-frequency data in electronic patient records. Lancet Digit Health. 2020;2(4):e179–e191. doi: 10.1016/S2589-7500(20)30018-2
  20. Mountney P, Yang G-Z. Soft tissue tracking for minimally invasive surgery: learning local deformation online. Metaxas D, Axel L, Fichtinger G, Székely G, editors. Medical image computing and computer-assisted intervention – MICCAI 2008. MICCAI 2008. Lecture notes in computer science. Vol 5242. Springer, Berlin, Heidelberg. doi: 10.1007/978-3-540-85990-1_44.
  21. Vitiello V, Lee S-L, Cundy TP, Yang G-Z. Emerging robotic platforms for minimally invasive surgery. IEEE Rev Biomed Eng. 2013;6:111–126. doi: 10.1109/RBME.2012.2236311
  22. Chilamkurthy S, Ghosh R, Tanamala S, et al. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. Lancet. 2018;392(10162):2388–2396. doi: 10.1016/S0140-6736(18)31645-3
  23. Daley M, Cameron S, Ganesan SL, et al. Pediatric severe traumatic brain injury mortality prediction determined with machine learning-based modeling. Injury. 2022;53(3):992–998. doi: 10.1016/j.injury.2022.01.008
  24. Kayhanian S, Young AMH, Mangla C, et al. Modelling outcomes after paediatric brain injury with admission laboratory values: a machine-learning approach. Pediatr Res. 2019;86(5):641–645. doi: 10.1038/s41390-019-0510-9
  25. Tunthanathip T, Oearsakul T. Application of machine learning to predict the outcome of pediatric traumatic brain injury. Chin J Traumatol. 2021;24(6):350–355. doi: 10.1016/j.cjtee.2021.06.003
  26. Meyer A, Zverinski D, Pfahringer B, et al. Machine learning for real-time prediction of complications in critical care: a retrospective study. Lancet Respir Med. 2018;6(12):905–914. doi: 10.1016/S2213-2600(18)30300-X
  27. Esteva H, Nunez TG, Rodriguez RO. Neural networks and artificial intelligence in thoracic surgery. Thorac Surg Clin. 2007;17(3):359–367. doi: 10.1016/j.thorsurg.2007.07.012
  28. Mayer-Shönberger V, Ingellson E. Big data and medicine: a big deal? J Intern Med. 2018;283(5):418–429. doi: 10.1111/joim.12721
  29. Wong A, Otles E, Donnelly JP, et al. External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients. JAMA Intern Med. 2021;181(8):1065–1070. doi: 10.1001/jamainternmed.2021.2626
  30. Hwang AB, Schuepfer G, Pietrini M, Boes S. External validation of EPIC’s risk of unplanned readmission model, the LACE+ index and SQLape as predictors of unplanned hospital readmissions: a monocentric, retrospective, diagnostic cohort study in Switzerland. PLoS One. 2021;16(11):e0258338. doi: 10.1371/journal.pone.0258338
  31. Shchadenko SV, Gorbachyova AS, Arslanova AR, Tolmachyov IV. 3D visualization for surgical modeling and surgical planning. Bulletin of Siberian Medicine. 2014;13(4):165–171. (In Russ.)
  32. Arhipov IV, Mikhaylov EM, Dolotova DD, et al. Evaluation of accuracy of medical optical navigation system “Neuroplan” for modeling of neurosurgical interventions. Russian journal of neurosurgery. 2018;20(4):104–113. (In Russ.) doi: 10.17650/1683-3295-2018-20-4-104-113
  33. Enchev Y. Neuronavigation: geneology, reality, and prospects. Neurosurg Focus. 2009;27(3):e11. doi: 10.3171/2009.6.FOCUS09109
  34. Monteiro M, Newcombe VFJ, Mathieu F, et al. Multiclass semantic segmentation and quantification of traumatic brain injury lesions on head CT using deep learning: an algorithm development and multicentre validation study. Lancet Digit Health. 2020;2(6):E314–E322. doi: 10.1016/S2589-7500(20)30085-6
  35. Dreizin D, Zhou Y, Fu S, et al. A multiscale deep learning method for quantitative visualization of traumatic hemoperitoneum at CT: assessment of feasibility and comparison with subjective categorical estimation. Radiol Artif Intell. 2020;2(6):e190220. doi: 10.1148/ryai.2020190220
  36. Wang X, Peng Y, Lu L, et al. ChestX-Ray8: Hospital-Scale chest X-Ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA. 2017. P. 3462–3471. doi: 10.1109/CVPR.2017.369
  37. Oakden-Rayner L. Exploring the ChestXray14 Dataset: Problems. Medical AI researcher. Radiologist Blog [cited 2023 Jun 21]. Available at: https://laurenoakdenrayner.com/2017/12/18/the-chestxray14-dataset-problems/
  38. Billinghurst M, Savage J, Oppenheimer P, Edmond C. The expert surgical assistant. An intelligent virtual environment with multimodal input. Stud Health Technol Inform. 1996;29:590–607.
  39. Savage J, Rosenblueth DA, Matamoros M, et al. Semantic reasoning in service robots using expert systems. Robotics Auton Syst. 2019;114:77–92. doi: 10.1016/j.robot.2019.01.007
  40. Mascagni P, Padoy N. OR black box and surgical control tower: recording and streaming data and analytics to improve surgical care. J Visc Surg. 2021;158(3S):18–25. doi: 10.1016/j.jviscsurg.2021.01.004
  41. Kenngott HG, Wagner M, Nickel F, et al. Computer-assisted abdominal surgery: new technologies. Langenbecks Arch Surg. 2015;400(3):273–281. doi: 10.1007/s00423-015-1289-8
  42. Mascagni P, Alapatt D, Urade T, et al. A computer vision platform to automatically locate critical events in surgical videos: documenting safety in laparoscopic cholecystectomy. Ann Surg. 2021;274(1):e93–e95. doi: 10.1097/SLA.0000000000004736
  43. Liu R, An J, Wang Z, et al. Artificial intelligence in laparoscopic cholecystectomy: does computer vision outperform human vision? Art Int Surg. 2022;2(2):80–92. doi: 10.20517/ais.2022.04
  44. Colleoni E, Moccia S, Du X, et al. Deep learning based robotic tool detection and articulation estimation with spatiotemporal layers. IEEE Robot Autom Lett. 2019;4(3):2714–2721. doi: 10.1109/LRA.2019.2917163
  45. Chadebecq F, Vasconcelos F, Mazomenos E, Stoyanov D. Computer vision in the surgical operating room. Visc Med. 2020;36(6):456–462. doi: 10.1159/000511934
  46. Ito K, Sugimoto M, Tsunoyama T, et al. A trauma patient care simulation using extended reality technology in the hybrid emergency room system. J Trauma Acute Care Surg. 2021;90(5):e108–e112. doi: 10.1097/TA.0000000000003086
  47. Luo H, Hu Q, Jia F. Details preserved unsupervised depth estimation by fusing traditional stereo knowledge from laparoscopic image. Healthcare Technol Lett. 2019;6(6):154–158. doi: 10.1049/htl.2019.0063
  48. Chen JH, Li Y, Gong JP, Yakun W. Application of da Vinci surgical robotic system in hepatobiliary surgery. Int J Surg Med. 2017;4(1):22–27. doi: 10.5455/ijsm.da-Vinci-surgical-robotic-system-in-hepatobiliary-surgery
  49. Nishikawa A, Hosoi T, Koara K, at el. Face MOUSe: A novel human-machine interface for controlling the position of a laparoscope. IEEE Transact Robotics Automat. 2003;19(5):825–841. doi: 10.1109/TRA.2003.81709
  50. Saeidi H, Opfermann JD, Kam M, et al. Autonomous robotic laparoscopic surgery for intestinal anastomosis. Sci Robot. 2022;7(62):eabj2908. doi: 10.1126/scirobotics.abj2908
  51. Kozlov YA, Mihan DZh, Novozhilov VA, Baradieva PZ. Robot-assisted surgery in children — state of the art and perspectives of the development. Russian Journal of Pediatric Surgery, Anesthesia and Intensive Care. 2015;5(3):63–68. (In Russ.) doi: 10.17816/psaic192
  52. Mosoyan MS, Fedorov DA, Osipov IB, et al. Robot-assisted bladder diverticulectomy in a 9-year-old boy. Russian Journal of Pediatric Surgery, Anesthesia and Intensive Care. 2023;13(1):53–61. (In Russ.) doi: 10.17816/psaic1305
  53. Pelizzo G, Nakib G, Romano P, et al. Five millimetre-instruments in paediatric robotic surgery: Advantages and shortcomings. Minima Invasiv Ther Allied Technol. 2014;24(3):1–6. doi: 10.3109/13645706.2014.975135
  54. Matson A, Sinha CK, Haddad M. Robotic pediatric surgery. Sinha CK, Davenport M, editors. Handbook of pediatric surgery. Springer, Cham, 2022. P. 565–575. doi: 10.1007/978-3-030-84467-7_68
  55. Van Mulken TJM, Schols RM, Scharmga AMJ, et al. First-in-human robotic supermicrosurgery using a dedicated microsurgical robot for treating breast cancer-related lymphedema: a randomized pilot trial. Nat Commun. 2020;11(1):757. doi: 10.1038/s41467-019-14188-w
  56. Gumbs AA, Alexander F, Karcz K, et al. White paper: definitions of artificial intelligence and autonomous actions in clinical surgery. Art Int Surg. 2022;2(2):93–100. doi: 10.20517/ais.2022.10
  57. Gumbs AA, Frigerio I, Spolverato G, et al. Artificial intelligence surgery: how do we get to autonomous actions in surgery? Sensors. 2021;21(16):5526. doi: 10.3390/s21165526
  58. Wesdorp NJ, Hellingman T, Jansma EP, et al. Advanced analytics and artificial intelligence in gastrointestinal cancer: a systematic review of radiomics predicting response to treatment. Eur J Nucl Med Mol Imaging. 2021;48:1785–1794. doi: 10.1007/s00259-020-05142-w
  59. Hanson CW III, Marshall BE. Artificial intelligence applications in the intensive care unit. Crit Care Med. 2001;29(2):427–435. doi: 10.1097/00003246-200102000-00038
  60. Kobrinskii BA, Taperova LN. Proekt meditsinskoi intellektual’noi sistemy real’nogo vremeni dlya reanimatsii. Yazykin IM, Rybina GV, Sinitsyn SV, editors. Sbornik nauchnykh trudov: “Nauchnaya sessiya MIFI-2007”. Vol. 3. Moscow, 2007. P. 32–34. (In Russ.)
  61. Kobrinskiy BA. Retrospective analysis of medical expert systems. Novosti iskusstvennogo intellekta. 2005;(2):6–17. (In Russ.)
  62. Gazizova DSh, Lishchuk VA, Lobacheva GV, et al. Primenenie matematicheskikh modelei i metodov dlya lecheniya ostroi serdechnoi nedostatochnosti. Lishchuk VA, Gazizova DSh, editors. Matematicheskaya kardiologiya. Teoriya, klinicheskie rezul’taty, rekomendatsii, perspektivy. Moscow: OOO «Print PRO», 2015. P. 145–146. (In Russ.)
  63. Shvyrev SL, Zarubina TV. Informatsionnye tekhnologii v intensivnoi terapii. Moscow: Izdatel’skii dom “Menedzher zdravookhraneniya”, 2016. 90 p. (In Russ.)
  64. Vincent J-L. The continuum of critical care. Crit Care. 2019;23(S1):122. doi: 10.1186/s13054-019-2393-x
  65. Chang H, Yu JY, Yoon S, Kim T, Cha WC. Machine learning-based suggestion for critical interventions in the management of potentially severe conditioned patients in emergency department triage. Sci Rep. 2022;12:10537. doi: 10.1038/s41598-022-14422-4
  66. Chen L, Ogundele O, Clermont G, et al. Dynamic and personalized risk forecast in step-down units. Implications for monitoring paradigms. Ann Am Thorac Soc. 2017;14(3):384–391. doi: 10.1513/AnnalsATS.201611-905OC
  67. Yoon JH, Mu L, Chen L, et al. Predicting tachycardia as a surrogate for instability in the intensive care unit. J Clin Monit Comput. 2019;33(6):973–985. doi: 10.1007/s10877-019-00277-0
  68. Wijnberge M, Geerts BF, Hol L, et al. Effect of a machine learning-derived early warning system for intraoperative hypotension vs standard care on depth and duration of intraoperative hypotension during elective noncardiac surgery: the HYPE randomized clinical trial. JAMA. 2020;323(11):1052–1060. doi: 10.1001/jama.2020.0592
  69. Yoon JH, Jeanselme V, Dubrawski A, et al. Prediction of hypotension events with physiologic vital sign signatures in the intensive care unit. Crit Care. 2020;24:661. doi: 10.1186/s13054-020-03379-3
  70. Gutierrez G. Artificial Intelligence in the Intensive Care Unit. Crit Care. 2020;24:101. doi: 10.1186/s13054-020-2785-y
  71. Banerjee I, Sofela M, Yang J, et al. Development and performance of the pulmonary embolism result forecast model (PERFORM) for computed tomography clinical decision support. JAMA Netw Open. 2019;2(8):e198719. doi: 10.1001/jamanetworkopen.2019.8719
  72. Zeiberg D, Prahlad T, Nallamothu BK, et al. Machine learning for patient risk stratification for acute respiratory distress syndrome. PLoS One. 2019;14(3):e0214465. doi: 10.1371/journal.pone.0214465
  73. Flechet M, Falini S, Bonetti C, et al. Machine learning versus physicians’ prediction of acute kidney injury in critically ill adults: a prospective evaluation of the AKIpredictor. Crit Care. 2019;23:282. doi: 10.1186/s13054-019-2563-x
  74. Tran NK, Sen S, Palmieri TL, et al. Artificial intelligence and machine learning for predicting acute kidney injury in severely burned patients: a proof of concept. Burns. 2019;45(6):1350–1358. doi: 10.1016/j.burns.2019.03.021
  75. Davoudi A, Malhotra KR, Shickel B, et al. Intelligent ICU for autonomous patient monitoring using pervasive sensing and deep learning. Sci Rep. 2019;9(1):8020. doi: 10.1038/s41598-019-44004-w
  76. Ma P, Liu J, Shen F, et al. Individualized resuscitation strategy for septic shock formalized by finite mixture modeling and dynamic treatment regimen. Crit Care. 2021;25:243. doi: 10.1186/s13054-021-03682-7
  77. Demšar J, Zupan B. Hands-on training about overfitting. PLoS Comput Biol. 2021;17:1008671. doi: 10.1371/journal.pcbi.1008671
  78. Hravnak M, Pellathy T, Chen L, et al. A call to alarms: current state and future directions in the battle against alarm fatigue. J Electrocardiol. 2018;51(6S):44–48. doi: 10.1016/j.jelectrocard.2018.07.024
  79. Morris AH. Human cognitive limitations. Broad, consistent, clinical application of physiological principles will require decision support. Ann Am Thorac Soc. 2018;15(S1):53–56. doi: 10.1513/AnnalsATS.201706-449KV
  80. Parreco J, Hidalgo A, Parks JJ, et al. Using artificial intelligence to predict prolonged mechanical ventilation and tracheostomy placement. J Surg Res. 2018;228:179–187. doi: 10.1016/j.jss.2018.03.028
  81. Hsieh M-H, Hsieh M-J, Chen C-M, et al. An artificial neural network model for predicting successful extubation in intensive care units. J Clin Med. 2018;7(9):240. doi: 10.3390/jcm7090240
  82. Thille AW, Rodriguez P, Cabello B, et al. Patient-ventilator asynchrony during assisted mechanical ventilation. Intensive Care Med. 2006;32(10):1515–1522. doi: 10.1007/s00134-006-0301-8
  83. Chen C-W, Lin W-C, Hsu C-H, et al. Detecting ineffective triggering in the expiratory phase in mechanically ventilated patients based on airway flow and pressure deflection: feasibility of using a computer algorithm. Crit Care Med. 2008;36(2):455–461. doi: 10.1097/01.CCM.0000299734.34469.D9
  84. Blanch L, Sales B, Montanya J, et al. Validation of the better care system to detect ineffective efforts during expiration in mechanically ventilated patients: a pilot study. Intensive Care Med. 2012;38(5):772–780. doi: 10.1007/s00134-012-2493-4
  85. Marchuk Y, Magrans R, Sales B, et al. Predicting patient-ventilator asynchronies with hidden Markov models. Sci Rep. 2018;8:17614. doi: 10.1038/s41598-018-36011-0
  86. Yoon JH, Pinsky MR, Clermont G. Artificial intelligence in critical care medicine. Crit Care. 2022;26(1):75. doi: 10.1186/s13054-022-03915-3
  87. Natarajan P. Best practices: Separating myth from reality. Natarajan P, Frenzel JC, Smaltz DH, editors. Demystifying big data and machine learning for healthcare. 1st edition. CRC Press, 2023. P. 56–68. doi: 10.1201/9781315389325
  88. Petersen E, Holm S, Ganz M, Feragen A. The path toward equal performance in medical machine learning. Patterns. 2023;4(7):100790. doi: 10.1016/j.patter.2023.100790
  89. Litvin A, Korenev S, Rumovskaya S, et al. WSES project on decision support systems based on artificial neural networks in emergency surgery. World J Emerg Surg. 2021;16(1):50. doi: 10.1186/s13017-021-00394-9
  90. Steyerberg EW, Vergouwe Y. Towards better clinical prediction models: Seven steps for development and an ABCD for validation. Eur Heart J. 2014;35(29):1925–1931. doi: 10.1093/eurheartj/ehu207
  91. Leisman DE, Harhay MO, Lederer DJ, et al. Development and reporting of prediction models: guidance for authors from editors of Respiratory, Sleep, and Critical Care journals. Crit Care Med. 2020;48(5):623–633. doi: 10.1097/CCM.0000000000004246
  92. Duran JM, Jongsma KR. Who is afraid of black box algorithms? On the epistemological and ethical basis of trust in medical AI. J Med Ethics. 2021;47:329–335. doi: 10.1136/medethics-2020-106820
  93. Linardatos P, Papastefanopoulos V, Kotsiantis S. Explainable AI: a review of machine learning interpretability methods. Entropy. 2020;23(1):18. doi: 10.3390/e23010018
  94. Finn VK, Shesternikova OP. Ehvristika obnaruzheniya ehmpiricheskikh zakonomernostei posredstvom DSM-rassuzhdenii. Nauchno-tekhnicheskaya informatsiya. Seriya 2: Informatsionnye protsessy i sistemy. 2018;(9):7–42. (In Russ.)
  95. Gavrilov AV. Gibridnye intellektual’nye sistemy: Monografiya. Novosibirsk: Izd-vo NGTU, 2002. (In Russ.)
  96. Ignatyev VV. Adaptive hybrid intellectual control systems. Izvestiya SFEDU. Engineering sciences. 2010;(12):89–94. (In Russ.)
  97. Kobrinskii BA, Dolotova DD, Donitova VV, Gavrilov AV. Radiological images in the construction of hybrid intelligent system. Medical doctor and IT. 2020;(4):43–50. (In Russ.) doi: 10.37690/1811-0193-2020-4-43-50
  98. Kitaguchi D, Takeshita N, Hasegawa H, Ito M. Artificial intelligence-based computer vision in surgery: Recent advances and future perspectives. Ann Gastroenterol Surg. 2022;6(1):29–36. doi: 10.1002/ags3.12513
  99. Camarillo DB, Krummel TM, Salisbury JK. Robotic technology in surgery: past, present, and future. Am J Surg. 2018;188(4S1):2–15. doi: 10.1016/j.amjsurg.2004.08.025

Supplementary files

Supplementary Files
Action
1. JATS XML

Copyright (c) 2023 Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: ПИ № ФС 77 - 81892 от 24.09.2021 г.


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies