Автор статьи: Павел Краюшкин – Врач-биохимик, медицинский директор компании Premium Aesthetics, руководитель учебного центра аппаратной косметологии Longevity.
В чем измеряется точность диагностики при дерматоскопическом исследовании кожи с целью выявления злокачественных новообразований? Ответить на этот вопрос не так легко, как может показаться на первый взгляд. Возможно, вы сталкивались с примерно такими заявлениями: «метод А на столько-то процентов точнее метода В». И все бы ничего, но какая точность первого метода? Об этом многие авторы предпочитают тактично умалчивать.
Между тем, от точности диагностики напрямую зависит здоровье и жизнь пациента – например, если речь идет о выявлении злокачественных новообразований кожи. Это большая проблема сегодня не только в России, но и во всем мире.
По данным Московского научно-исследовательского онкологического института имени П.А. Герцена, в 2018 году в Российской Федерации впервые в жизни выявлено 624 709 случаев злокачественных новообразований (ЗНО) – в том числе 285 949 у мужчин и 338 760 у женщин. На учет были взяты 542 569 «новых» пациентов.
В целом же показатель заболеваемости ЗНО в России составляет 425,4 на 100 000 населения – это на 1,2% выше 2017 года и на 23,1% выше 2008 года. Удельный вес конкретных злокачественных патологий представлен в таблице 1.
Табл. 1. Удельный вес больных с морфологически подтвержденным диагнозом относительно всех пациентов с впервые в жизни установленным диагнозом ЗНО в России в 2008-2018 годах, %* (Состояние онкологической помощи населению России в 2018 году. Под ред. А.Д. Каприна, В.В. Старинского, Г.В. Петровой – М.: МНИОИ им. П.А. Герцена – филиал ФГБУ «НМИЦ радиологии» Минздрава России, 2019. – илл. – 236 с)
Дерматоскопия является основным методом раннего выявления меланомы. В статье мы разберемся, как именно оценивается ее точность, и какие варианты диагностики существуют сегодня.
Дерматоскопия представляет собой неинвазивный метод визуальной оценки поражений кожи и скальпа. С его помощью врач может распознать морфологические структуры, незаметные при «невооруженном» осмотре, и правильнее оценить клинические и морфологические изменения кожи, особенно пигментных поражений.
Распространенной ошибкой, которую многие врачи допускают случайно или преднамеренно, является ограничение дермоскопической оценки только подозрительными поражениями. С одной стороны, это помогает сэкономить время на рутинном приеме, но с другой, все имеющиеся меланоцитарные невусы должны быть изучены, вне зависимости от их локации и размера.
Современные исследования говорят о том, что меланомы чаще диагностируются среди небольших меланоцитарных поражений (размером менее 3 мм) по сравнению с более крупными, которые вызывают гораздо больше беспокойства у пациентов (Bono A., et al. Micro-melanoma detection: a clinical study on 206 consecutive cases of pigmented skin lesions with a diameter < or = 3 mm. Br J Dermatol 2006; 155: 570-573).
В одной из работ так называемые микромеланомы составляли 2,4% от всех найденных меланом – 22 из 924 случаев (Bono A., et al. A clinical study on 22 cases of melanoma with a diameter equal to or less than 3 mm. Tumori 2004; 90: 128-131).
Классическим методом определения меланомы, которым могут пользоваться не только дерматологи, но и обычные люди, является Правило ABCDE.
Любое из этих изменений является поводом к более тщательному осмотру и, возможно, использованию других методов диагностики подозрительного новообразования.
Еще один распространенный вариант анализа потенциальных меланом – Списокиз 7 пунктов Джузеппе Ардженциано или 7-точечное правило Ардженциано.
Также существует известное Правило 4×4×6, предложенное австрийским дерматологом, доцентом кафедры дерматологии Медицинского университета Граца Ирис Залаудек (Iris Zalaudek). Оно помогает клиницистам не только запомнить основные критерии меланомы, но и определить глубину ее залегания.
Дерматоскопические критерии 4х4:
И 6 дополнительных факторов (…х6):
Более подробно Правило 4х4х6 обсуждается в статье Ирис Залаудек «Using dermoscopic criteria and patient-related factors for the management of pigmented melanocytic nevi», здесь упомянем лишь первый диагностический критерий – цвет. Черный говорит о наиболее поверхностном расположении новообразования, а голубой – о самом глубоком (рис. 2).
Рис. 2. Влияние цвета новообразования при дерматоскопии на глубину его залегания: черный – поверхностно в эпидермисе, коричневый – в дермоэпидермальном соединении, серый – в папиллярной дерме, голубой – в ретикулярной дерме (Zalaudek I., et al. Using dermoscopic criteria and patient-related factors for the management of pigmented melanocytic nevi. Arch Dermatol 2009; 145: 816-826)
Интересно, что клиническое обследование пигментных поражений диаметром менее 3 мм с подозрением на меланому показывает среднюю чувствительность 43% и специфичность 91%. В свою очередь, дерматоскопия показывает гораздо более высокую чувствительность (83%) и низкую специфичность (69%).
В этот момент мы вплотную подошли к понятию точности диагностики. Но сперва нужно отметить, что все вышеназванные правила (ABCDE и другие) являются «правилами» лишь для людей. Врачи выработали их за многие годы работы, но если вместо человека поставить машину – достаточно мощный компьютер с искусственным интеллектом, он будет оценивать опухоли по собственным критериям. Об этом чуть ниже.
Одной из важнейших задач дерматолога является раннее выявление меланом. От точности его диагностики во многом зависит здоровье и жизнь пациента. Дерматоскоп не может самостоятельно поставить диагноз и даже предположить наличие злокачественного новообразования, поэтому врач является его неотъемлемой составляющей. Опыт, навыки и внимательность специалиста во многом определяют точность диагностики, которая выражается в ее чувствительности и специфичности.
Чувствительность диагностики – это отношение выявленных заболевших людей к общему числу обследованных заболевших.
Допустим, у нас есть 5 пациентов: 1 и 4 здоровы, а у 2, 3 и 5 – меланома (рис. 3). Несколько врачей провели дерматоскопию и получили следующие результаты:
Рис. 3. Пятеро пациентов: улыбающиеся здоровы, грустные заболели
Как видите, чувствительность дерматоскопии, как и любого другого метода диагностики, зависит от правильности «угадывания» реально заболевших людей. Здоровым людям также можно ставить диагноз, хотя на самом деле это ошибка, ведь у них его нет. Но на показатель чувствительности это не влияет – ее суть заключается в выявлении заболевших людей, как говорится, любой ценой. Поэтому нельзя рассчитывать только на эту характеристику метода. Ведь чувствительность первого и четвертого врача одинакова (100%), но качество их диагностики абсолютно разное. И за это качество отвечает другой параметр – специфичность.
Специфичность диагностики – это отношение выявленных здоровых людей к общему числу обследованных здоровых.
Вернемся к пациентам с рисунка 3 и оценим специфичность каждого из врачей:
Идея специфичности заключается снижении числа ложноположительных диагнозов, когда за меланому принимают обычный невус. Любое удаление новообразования – не важно, доброкачественное оно или злокачественное, является травмирующей операцией с определенными рисками. К тому же это влечет дополнительные затраты для пациента и государства на хирургию.
Четвертый врач оказался самым точным – он верно обнаружил всех здоровых людей, поэтому его специфичность составила идеальные 100%. Этот специалист большой молодец, ведь его чувствительность также равна 100%, и нам всем нужно стремиться к такой точности!
К сожалению, в реальной жизни дела обстоят несколько иначе:
Это происходит потому, что чувствительность, образно говоря, отвечает за скорость постановки диагноза, а специфичность – за внимательность. И чем более внимательно врач будет рассматривать каждый невус, тем больше времени это займет. Напротив, если он быстро поставит всем диагноз меланомы, это почти наверняка не будет соответствовать действительности. Хотя поступая так, врач, безусловно, «угадает» и реально больных пациентов.
Какова реальная точность врачебной диагностики? Для ответа на этот вопрос немецкими специалистами было проведено любопытное исследование.
Возможно, вы слышали о сравнении навыков Человека и Машины при игре в шахматы. В далеком 1997 году разработанный компанией IBM искусственный интеллект Deep Blue обыграл легендарного чемпиона Гарри Каспарова со счетом 4:2. Хотя эта победа была достигнута перебором вариантов, она символизировала безграничные возможности зарождавшегося компьютерного разума. С тех пор прошло более 20 лет, искусственный интеллект стал намного сложнее и научился помогать людям в поиске злокачественных новообразований.
Немецкие ученые сравнили точность диагностики современного искусственного интеллекта (ИИ) и врачей-дерматологов со всего мира. Для этого был создан Тестовый набор-300, который включал в себя 300 дерматоскопий: 20% из них являлись подтвержденными меланомами с различных областей тела, а остальные 80% – доброкачественными меланоцитарными невусами.
К участию были приглашены дерматологи со всего мира, откликнулись 58 человек из 17 стран. Из них 17 специалистов были начинающими (менее 2 лет стажа), 11 – опытными (2-5 лет) и 30 экспертами (более 5 лет в профессии). Сперва им выслали 100 простых снимков невусов из Тестового набора-300, глядя на которые врачам следовало определиться с тактикой: удалить, наблюдать или ничего не предпринимать (Level 1). Через месяц им прислали 100 уточненных снимков, с дерматоскопией и клинической картиной – врачам предстояло вновь определиться с тактикой (Level 2).
Оппонентом людям выступал искусственный интеллект – сверточная нейронная сеть на основе архитектуры Google V4. Это особый тип ИИ, созданный исключительно для анализа изображений. Его особенность заключается в раскладывании каждого снимка на множество слоев с их детальным анализом (рис. 4). Предварительно он был натренирован на 100 тысячах дерматоскопий с клинически подтвержденным диагнозом, а сейчас ему предстояло показать себя в деле. Для ИИ были взяты оставшиеся 100 снимков, а в качестве дополнительной работы машина проанализировала весь Тестовый набор-300.
Рис. 4. Раскладка изображения на слои в процессе анализа сверточной нейронной сетью (Made S.W., et al. Abnormal heart rhythm detection based on spectrogram of heart sound using Convolutional Neural Network. CITSM 2018; 1-4)
Результаты врачей и машины сравнивались на графике Receiver Operating Characteristics (ROC) – Рабочая характеристика приемника. Он показывает соотношение между долей объектов с определенным признаком, верно классифицированных как имевшие этот признак, и долей объектов без признака, ошибочно названных имевшими признак. Проще говоря, ROC-кривая показывает, насколько часто врачи и машина верно угадывали больных с меланомой и насколько редко они ставили этот диагноз здоровым людям.
Поскольку точность диагностики у дерматологов разная, нужно было как-то объединить результат и вывести на графике среднее значение – за это отвечает Area Under The Curve (AUC) или Площадь под кривой. Она показывает усредненную точность врачебной диагностики – результат представлен на рисунке 5.
Рис. 5. Средняя точность врачебной диагностики в виде Площади под кривой (AUC). Как видно, эксперты оказались наиболее точными в поиске меланомы по сравнению с опытными и начинающими специалистами (Haenssle H. A., et al. Man against machine: diagnostic performance of a deep learning convolutional neural network for dermoscopic melanoma recognition in comparison to 58 dermatologists. Ann Oncol 2018; 29(8): 1836-1842)
Эксперты со стажем более 5 лет оказались наиболее точными – чувствительность 89%, специфичность 74,5%. У опытных врачей эти показатели были 85,9% и 68,5%, а у начинающих 82,9% и 67,6% соответственно (Level 1). Площадь под кривой (ROC AUC) для людей в Level 1 составила 0,79 (усредненное значение).
Повторный осмотр изображений с клинической картиной и дерматоскопиями (Level 2) почти не повлиял на чувствительность экспертов (89,5%), зато сильно поднял ее у опытных (90,9%) и начинающих врачей (86,6%). Специфичность также выросла у всех групп – примерно до 77-78%. Площадь под кривой (ROC AUC) для людей в Level 2 составила 0,82 (усредненное значение).
Что касается искусственного интеллекта, то на выборке из 100 снимков (Level 1) его чувствительность составила 95%, специфичность – 63,8%, ROC AUC Level 1 – 0,86. При анализе всего Тестового набора-300 (Level 2) чувствительность ИИ составила 95%, специфичность – 80%, ROC AUC Level 2 – 0,953 (рис. 6).
Рис. 6. Точность диагностики сверточной нейронной сети на базе архитектуры Google V4 при анализе Тестового набора-300 (Haenssle H.A., et al. Man against machine: diagnostic performance of a deep learning convolutional neural network for dermoscopic melanoma recognition in comparison to 58 dermatologists. Ann Oncol 2018; 29(8): 1836-1842)
В итоге искусственный интеллект в данном исследовании обошел врачей в точности диагностики на обоих уровнях. Причем алгоритм ИИ не занимается простым сравнением плохого с хорошим – он послойно разбирает каждый снимок и детально анализирует его, используя собственные критерии злокачественности новообразований и постоянно совершенствуя их.
Значит ли это, что можно избавить специалистов от рутинных обследований и оставить в диагностике меланомы компьютеры с операторами? В один прекрасный день это, безусловно, случится. Однако сейчас задача искусственного интеллекта заключается в то, чтобы помогать живому интеллекту (то есть врачу), повышая его чувствительность и специфичность.
Как вы поняли, основная проблема любого врача заключается в падении специфичности при росте чувствительности, и наоборот. Это происходит по разным причинам – не последнюю роль играет снижение концентрации, усталость и «замыливание» глаз при длительной работе. Искусственный интеллект призван решить эту проблему: ему не нужна еда, он не отвлекается на посторонние дела и никогда не устает – точность его диагностики одинаково высока 24 часа в сутки, 7 дней в неделю. Более того, из года в год она неизменно растет.
Иметь такого помощника станет большим подспорьем для любого специалиста, причем обзавестись собственным ИИ можно уже сегодня. Сверточная нейронная сеть на базе архитектуры Google V4 реализована в диагностическом комплексе FotoFinder (FotoFinder Systems GmbH, Германия).
FotoFinder не занимает много места – камера, штатив и указатель очень компактные, а компьютер с видеодерматоскопом легко помещаются на любом столе. Но в этом «хрупком теле» скрыт недюжинный интеллект. Ученые обучили его на 100 000 дерматоскопий с клинически подтвержденным диагнозом, и после старта работы он начал выявлять собственные критерии злокачественности опухолей. Да, FotoFinder не занимается простым сравнением плохого с хорошим, он внимательно анализирует каждый невус и буквально раскладывает его на атомы.
С помощью FotoFinder в 2016 году была найдена самая маленькая меланома в мире – ее диаметр всего 0,9 мм при дерматоскопии и 0,6 мм при гистологии. Искусственный интеллект помог человеку выявить мельчайшую злокачественную опухоль и спас жизнь пациенту. При этом внешне такая опухоль не привлекала внимания, и пропустить ее не составляло труда (рис. 7). Ее обнаружили при помощи картирования всего тела на комплексе FotoFinder ATBM bodystudio. В нем пациенту делают 20 стандартных снимков всего тела в разных позах, после чего программа детально анализирует каждый миллиметр его кожи.
Рис. 7. Самая маленькая меланома в мире (d = 0,9/0,6 мм), выявленная искусственным интеллектом FotoFinder в 2016 г.
Будет ли это делать врач вручную на рутинном приеме? Философский вопрос. Машина не знает усталости, скуки и раздражения – она точно и детально выполняет поставленную задачу. К тому же это не занимает много времени: предварительный результат готов уже через ХХ минут . Окончательный диагноз ставит, разумеется, только специалист.
Таким образом, точность диагностики – это сочетание высокой чувствительности и высокой специфичности. Наглядным отражением точности является площадь под кривой (AUC) на графике рабочей характеристики приемника (ROC). Современные исследования показывают, что искусственный интеллект дает бо́льшую ROC AUC по сравнению с врачами-дерматологами – 0,86 против 0,79. Это делает его уникальным и незаменимым помощником в ежедневной практике для специалиста любого уровня.
