Українські хірурги виконують операції з використанням окулярів доповненої реальності — як це працює?

Харківські лікарі заснували технологію, що перетворює КТ і МРТ у детальні тривимірні моделі анатомії пацієнта, які хірург бачить через окуляри доповненої реальності. Такі втручання — із використанням розробки харківських медиків — нині виконують уже в декількох медичних закладах України. 

Extra Vision — це український медичний стартап, який за допомогою технологій доповненої реальності (AR) та штучного інтелекту (AI) перетворює КТ та МРТ-знімки на детальні тривимірні моделі органів пацієнта. Ці моделі хірург бачить через AR-окуляри безпосередньо під час планування або виконання операції. 

Ідея створення Extra Vision виникла у Владислава Калюжки — нейрохірурга Харківської обласної клінічної лікарні — просто в операційній. Тоді, каже лікар, концепція виникла як відповідь на потребу у точнішій навігації та просторовому розумінні патології.  Від ідеї до появи робочого прототипу минуло кілька років. Найперший прототип технології створив співзасновник проєкту — кардіолог Микита Маркевич. Перші пів сотні оперативних втручань із використанням AR-окулярів нейрохірурги провели у Харківській обласній клінічній лікарні — медзакладі, де саме працює Владислав. Технологія допомагала медикам під час планування й безпосередньо на самих операціях на головному та спинному мозку при різних патологіях: від новоутворень і судинних проблем до травм і вроджених вад. Після перших десятків успішних втручань медики вирішили: створять власний повноцінний стартап — вони залучили до команди фахівців з IT, у тому числі Unity-розробників, інженерів зі штучного інтелекту та дизайнерів.

Як працює Extra Vision?

Для створення 3D-моделі використовують дані комп’ютерної або магнітно-резонансної томографії (КТ або МРТ). Алгоритми штучного інтелекту автоматично виокремлюють анатомічні та патологічні структури — від кісток і судин до пухлин чи гематом. Готова модель завантажується в хмарне середовище й синхронізується з AR-окулярами. 

Лікар бачить її у реальному просторі, а саме:

• тривимірна модель накладається на тіло пацієнта,
• датчики відстежують інструменти й руки хірурга,
• технологія допомагає визначити оптимальний доступ до патології та уникнути критичних структур.

Сама ж технологія дозволяє побачити череп ніби в розрізі ще до першого руху скальпеля. Це значно підвищує точність операцій і знижує ризики.

Нині технологію застосовують у комунальних, державних та приватних медичних закладах Харкова та Києва. Завдяки розробці харківських лікарів в Україні вже виконали понад дві сотні оперативних втручань із використанням Extra Vision.

Медики говорять: 3D-моделі надто корисні на етапі планування операції. Хірург може розглянути анатомічні особливості пацієнта у деталях, що раніше вимагало тривалого аналізу двовимірних знімків. Для пацієнтів це також важлива частина комунікації: лікар може показати модель, пояснити перебіг операції. Як результат — зменшити рівень тривоги і пацієнта, і його рідних.

Технологію можна використовувати й під час самого втручання — модель проєктується на ділянку розрізу та допомагає зорієнтуватись у складних випадках.

Спочатку Extra Vision створювали для нейрохірургії — операцій на головному мозку та хребті. Зараз команда тестує застосування технології також у:

• ортопедії та травматології,
• онкології та мамології,
• гепатобіліарній хірургії,
• щелепно-лицевій хірургії.

Стартап також розвиває напрямок симуляційної медицини, створюючи реалістичні AR-сценарії для навчання студентів та інтернів на основі реальних медичних знімків.