3D-сегментация органов с CT

Выполнено построение 3D-представления органа на основе серии снимков с компьютерной томографии.

Neural networks
Computer vision
3D

2014

Коротко о главном

Задача

Разработать ПО для построения 3D-модели органа на основе серии снимков-срезов.

Решение

  • Создано ПО для работы с CT-снимками формата DICOM
  • Построена нейронная сеть для выделения отмеченного органа на серии снимков
  • Реализовано построение 3D-модели органа из полученного облака точек и расчет его объема
  • Представлен инструмент для визуализации и работы с полученным результатом

Задача

Один из распространенных способов применения методов машинного обучения — распознавание графических образов. Подобные задачи возникают во многих областях, использующих сенсоры для получения данных.

В частности, одной из таких областей является обработка информации с медицинских снимков. Здесь открывается широкий простор для возможностей применения машинной обработки: сегментация органов, выделение объектов, поиск областей, содержащих опухоль, построение 3D-представления на основе серии снимков и так далее.

Рис 1. Срез с CT сканирования печени
Рис 2. Анимация срезов томографии

Сложность данной задачи заключается в большой зашумленности исходных снимков. Действительно, для получения снимков компьютерной томографии используется рентгеновское излучение. Чем сильнее это излучение, тем более качественными получаются снимки. Понятно, что здоровья пациенту это не добавляет. Поэтому врачи всегда стремятся уменьшить излучение. Но что делать с полученными данными? И здесь на помощь медицине приходят компьютерные технологии, позволяющие «вытащить» из исходной информации максимум полезного.

Решение

Перед нам стояла следующая задача: по серии снимков компьютерной томографии построить 3D-модель печени пациента и оценить ее объем. Объем органа является важным критерием выбора способа лечения раковых больных: медикаментозного или при помощи операции. Современные программные средства пасуют перед этой задачей и зачастую специалистам приходится выделять орган вручную, обводя его мышкой на каждом кадре, что, разумеется, занимает огромное количество времени.

Если построение 3D-модели органа по облаку точек и оценка его объема не представляет принципиальной сложности, то задача сегментации, то есть отделение интересующего нас органа (в данном случае, печени) от остальных составляющих кадра оказывается непростой задачей. Действительно, в местах касания органом других тканей даже визуально невозможно провести границу перед печенью.

Рис 3. Выделение печени на снимке CT: до и после

Для решения этой проблемы была использована специальная нейронная сеть, учитывающая информацию о 3D окружении каждого пикселя среза. Дополнительно, важным вкладом в решение является использование текстурной информации: т.е. паттерна, составляющего рисунок той или иной ткани.

В результате удалось добиться качественного выделения интересующего органа, построения его модели в пространстве и оценки его объема.