Связь между различными масштабными шкалами на дерматоскопических изображениях

By in ,
148
Связь между различными масштабными шкалами на дерматоскопических изображениях

Julia K. Winklera, Katharina Siesa, Christine Finka, Ferdinand Toberera, Alexander Enka, Mohamed S. Abassib, Tobias Fuchsb, Holger A. Haenssleb,*
a Department of Dermatology, University of Heidelberg, Heidelberg, Germany
b Department of Research and Development, FotoFinder Systems GmbH, Bad Birnbach, Germany


Получено 18 июля 2020; получено в измененном виде 1 декабря 2020; принято 3 декабря 2020
Опубликовано онлайн 16 января 2021

Абстракт

Актуальность
Исследования, которые систематически выявляют возможные причины некорректных диагнозов, поставленных глубоко обученными сверточными нейронными сетями (CNN), немногочисленны, но необходимы до начала их широкого применения.


Цели
Целью данного исследования было выяснить, связаны ли масштабные шкалы на дерматоскопических изображениях с точностью диагностики, проводимой одобренными для обращения на рынке методами CNN.


Методы
Этот кросс-секционный анализ применял сверточные нейронные сети, обученные более чем на 150 000 изображений (Moleanalyzer-pro®, FotoFinder Systems Inc., Bad Birnbach, Germany), чтобы исследовать семь групп дерматоскопических снимков одних и тех же 130 меланоцитарных новообразований (107 невусов, 23 меланомы) без или с цифровым наложением масштабных шкал различных производителей. Оценивались чувствительность, специфичность и площадь под ROC-кривой (AUC) для бинарной классификации изображений с или без наложенных масштабных шкал при помощи CNN. 

Результаты
Шесть групп дерматоскопических снимков с разными масштабными шкалами и одна контрольная группа без масштабных шкал (в общей сложности 910 изображений) были подвергнуты CNN-анализу. На снимках без масштабных шкал CNN достигал чувствительности [95% доверительный интервал] 87,0% [67,9 –95,5%] и специфичности 87,9% [80,3 –92,8%]. ROC-AUC составляла 0,953 [0,914–0,992]. Масштабные шкалы не ассоциировались со значимыми изменениями чувствительности (диапазон 87 –95,7%, все p≥ 1,0). Однако четыре масштабные шкалы вызывали уменьшение чувствительности CNN-метода (диапазон 0–43,9%, все p < 0,001). Кроме того, ROC-AUC значительно сокращалась за счет двух масштабных шкал (диапазон 0,520–0,848, в обоих случаях p≤0,042).

Выводы
Наложение масштабных шкал на дерматоскопические снимки может снизить диагностическую точность CNN-диагностики, главным образом за счет увеличения числа ложноположительных диагнозов. Мы рекомендуем избегать масштабных шкал в изображениях, предназначенных для CNN-анализа, пока не будут предприняты специфические меры по нейтрализации таких эффектов. 

1. Введение

Ранняя диагностика меланомы крайне важна, поскольку уровень смертности остается высоким, и количество случаев меланомы в разных странах мира растет [1]. Дерматоскопия может значительно улучшить чувствительность диагностики меланомы, и стала стандартным диагностическим инструментом [2, 3]. Много усилий было приложено к раннему выявлению меланомы за счет создания систем компьютерной визуализации для помощи врачам [4].

Большинство предыдущих систем для постановки диагноза выявляли на дерматоскопических изображениях предустановленные признаки (например, асимметрия и количество цветов) [5]. Позже в области диагностики рака кожи появился искусственный интеллект [6]. В частности, глубоко обученные нейронные сети (CNN), тренированные на большом количестве изображений и соответствующих им диагнозов, показали высокую точность в классификации рака кожи [7].

Несколько исследований сообщали о степени точности CNN-диагностики рака кожи, превосходящей или соответствующей диагностике, проведенной опытными дерматологами, и первое CNN-устройство было одобрено к обращению на рынке [6,8, 9]. При этом диагностическое решение, принимаемое CNN, пока остается черным ящиком без явной связи между причиной и следствием. Поэтому недостатки CNN-классификации, которые могут появиться в связи с наличием артефактов на дерматоскопических изображениях, таких как пузырьки воздуха, следы чернил или наложенные масштабные шкалы, следует изучать [10].

В предыдущем исследовании мы показали, что голубые отметки увеличивали показатели злокачественности при CNN-анализе [11], что могло привести к неоправданным иссечениям в клинических условиях. Представленное здесь исследование изучает связь между различными наложенными масштабными шкалами на дерматоскопических снимках с диагностической точностью CNN-устройств, лицензированных как вспомогательные системы для выявления рака кожи.

2. Методы

Наше исследование было одобрено местными комитетами по этике и проводилось в соответствии с принципами Хельсинкской декларации. Все персональные данные были анонимны. Одобренным для обращения на рынке CNN-устройством в данном исследовании выступал Moleanalyzer-Pro®, FotoFinder Systems GmbH, Bad Birnbach, Germany, основанный на модифицированной версии предварительно обученной архитектуры GoogleNet Inception v4, впоследствии обученной на > 150000 маркированных дерматоскопических изображениях [8, 9].

В этом исследовании мы дополнительно тестировали оптимизированную модель, основанную на расширенной обучающей базе с использованием библиотеки Keras в качестве приложения к библиотеке TensorFlow_slim оригинального CNN (Дополнительные методы).

2.1. Группы дерматоскопических тестов и масштабные шкалы

Базовая группа изображений состояла из 130 дерматоскопических снимков без шкал (107 доброкачественных невусов, 23 меланомы). Невусы и меланомы случайным образом отбирались из библиотеки изображений Университетской больницы Гейдельберга (University Hospital Heidelberg), чтобы создать простую группу снимков для исследования влияния различных масштабных шкал на классификацию методом CNN.

Диагноз меланомы подтверждался гистопатологически, невусы определялись полным отсутствием каких-либо специфических клинических и дерматоскопических признаков меланомы. Поскольку не было доступных данных о влиянии масштабных шкал на результаты CNN-классификации, формальное определение объема выборки не было возможным.

Объем выборки в количестве 130 изображений считался достаточным для сбора описательной статистики и выявления различий, вызванных присутствием масштабных шкал. Мы пытались создать показательную коллекцию масштабных шкал, приобретая дерматоскопы разных производителей (Heine-Delta20, Heine Optotechnik GmbH, Herrsching, Germany; «3Gen-Dermlite1», DL200 Hybrid, 3 Gen Inc., San Juan Capistrano, CA, USA; «3Gen-Dermlite2», DermLite II Pro HR, 3 Gen Inc., San Juan Capistrano, CA, USA; «FotoFinder-Handyscope», FotoFinderSystems GmbH, Bad Birnbach, Germany).

Масштабные шкалы этих дерматоскопов и две разные бумажные линейки, прикрепленные к коже как стикер («Стикер1», Lohmann&Rauscher, Neuwied, Germany и «Стикер2», самостоятельно напечатанный стикер, Dept. of Dermatology, städt. Klinikum München GmbH, Munich, Germany) были цифровыми методами вырезаны из дерматоскопических снимков (Adobe Photoshop® CS6, Version 13.0.1 x32, San Jose, CA, USA). Затем 130 оригинальных дерматоскопических снимков (файлы в формате JPG) накладывались на вырезанные пиксели масштабных шкал.

Далее группы снимков анализировались CNN-методом для получения посредством программного модуля показателей злокачественности от 0 до 1. Априори для диагностики злокачественного новообразования применялся порог отсечения > 0,5.

2.2. Тепловые карты

Тепловые карты всех изображений (n = 910) создавались при помощи базового градиентного спуска и обратного распространения [12] для обозначения соответствующих пикселей.

2.3. Субанализ, сравнивающий наложенные цифровым методом масштабные шкалы со шкалами «in vivo»

Купить аппарат HandyScope

Чтобы продемонстрировать, что наложенные цифровым методом масштабные шкалы показательны для ситуации «in vivo», мы проспективно фиксировали 20 доброкачественных невусов с или без масштабных шкал «in vivo» устройством FotoFinder Handyscope (FotoFinder Systems GmbH, Bad Birnbach, Germany). Затем мы цифровым методом накладывали масштабные шкалы FotoFinder Handyscope на изображения, не имеющие масштабных шкал. После этого сравнивались показатели злокачественности и тепловые карты изображений со шкалами «in vivo» и наложенными цифровым методом.

2.4. Субанализ, оценивающий расположением масштабных шкал

Для репрезентативной группы изображений 20 невусов и одной масштабной шкалы (3-Gen Dermlite1), были созданы тройные ряды снимков с масштабными шкалами, расположенными ниже, выше или непосредственно на новообразовании.

2.5. Статистический анализ

Первичными конечными точками были чувствительность, специфичность и площадь по ROC-кривой (AUC) для диагностической классификации новообразований CNN-методом. Собиралась описательная статистика (частота, среднее значение, доверительные интервалы). Статистическое различие в показателях злокачественности, выявленных CNN, подсчитывалось с использованием рангового критерия Вилкоксона.

Критерий Мак=немара применялся для сравнения чувствительности и специфичности метода CNN в группах изображений с и без масштабных шкал. Для статистического сравнения различно расположенных масштабных шкал применялись критерии Фридмана и Q-критерий Кохрана. Площадь под ROC-кривой попарно сравнивалась методом Hanley и соавт. [13] Значения P корректировались для множественного тестирования методом Хольма-Бонферрони.

Значение (P < 0,05) считалось статистически значимым. Использовалась программа SPSS Version 25 (IBM, SPSS; Chicago, Illinois, USA).

3. Результаты

3.1. Характеристики изображенных новообразований

Оригинальная группа изображений без масштабных шкал включала 23 меланомы и 107 невусов и использовалась в одном из наших предыдущих исследований [11]. Данные о характеристиках меланом приведены в дополнительном приложении (Дополнение Таблица S1). Соответствующие новообразования с или без наложенных масштабных шкал приведены на Рис. 1.

Рисунок 1. Изображены один репрезентативный невус (a-g) и меланома (h-n) из этого исследования.
Оригинальные изображения не имеют масштабных шкал (a, h). Остальные изображения содержат наложенные
масштабные шкалы указанных производителей: Heine-Delta20 (b, i), FotoFinder-Handyscope (c, j),
3Gen-Dermlite1 (d, k), 3Gen-Dermalite2 (e, l), Стикер1 (f, m) и Стикер2 (g, n)

3.2. Показатели злокачественности, полученные методом CNN

Диаграммы на Рис. 2 показывают распределение показателей злокачественности, выявленных CNN, для изображений без или с различными масштабными шкалами. Средний показатель злокачественности (доверительный интервал 95%) невусов без масштабных шкал составлял 0,14 [0,08–0,19]. Наложение четырех из шести различных масштабных шкал значительно увеличивало показатели злокачественности (Рис. 2a).

Наибольшее увеличение показателей злокачественности было обнаружено с масштабными шкалами 3GenDermlite2 (0,99 [0,98–1,00]), затем шел 3GenDermlite1 (0,66 [0,58–0,74]), FotoFinder Handyscope (0,52 [0,44–0,60]) и масштабная шкала Стикера2 (0,58 [0,50–0,66]) (все p < 0,001). Не было значимой разницы в средних значениях невусов у Стикера1 и при отсутствии масштабных шкал (p  =  0,054).

Рисунок 2. Диаграммы показывают CNN-показатели злокачественности (диапазон от 0 до 1)
доброкачественных невусов (a) и меланом (b) при наложении различных типов масштабных шкал.
Показатели ближе к 1 показывают большую вероятность меланомы. Верхние и нижние границы столбцов показывают 25 и 75 процентили, где срединное значение показано линией, разделяющей столбцы на верхнюю и нижнюю части. Усы показывают полный спектр значений злокачественности. Порог отсечения для диагностики злокачественного новообразования априори составляет >0,5

Напротив, невусы с наложенными масштабными шкалами Heine-Delta20 показывали существенно более низкое среднее значение злокачественности (0,07 [0,03–0,11], p<0,001). Средний показатель злокачественности меланом без масштабных шкал составлял 0,86 [0,73–0,99]. Наложение двух из шести различных масштабных шкал на изображения меланом привело к значительному росту показателей злокачественности (Стикер2 0,95 [0,87–1,03], 3GenDermlite2 0,94 [0,85–1,03], в обоих случаях p ≤ 0,031) (Рис. 2b). Показатели злокачественности меланомы с наложением масштабных шкал HeineDelta20, FotoFinder Handyscope, 3Gen-Dermlite1 и Стикера1 не демонстрировали значимых отличий от оригинальных изображений (у всех p≥0,065).

3.3. Чувствительность, специфичность, точность и ROC-AUC CNN-метода

Чувствительность и специфичность (доверительный интервал 95 %) CNN-анализа оригинальной группы изображений составляли 87,0 % [67,9–95,5 %] и 87,9 % [80,3–92,8 %]. Парное сравнение чувствительности CNN-анализа изображений с или без наложенных масштабных шкал не выявило существенных различий (все p ≥ 1,0). Однако диагностическая специфичность была значительно ниже, когда на изображения накладывались четыре из шести масштабных шкал.

Самая низкая специфичность была обнаружена при масштабных шкалах 3Gen-Dermlite2 (0,0 % [0,0–3,5 %]), затем шли масштабные шкалы 3Gen-Dermlite1 (34,6 % [26,2 –44,0 %]), FotoFinder Handyscope (43,0 % [34,0–52,5 %]) и Стикера2 (43,9 % [34,7–53,4 %]) (для всех p < 0,001). Специфичность, наоборот, значительно не менялась у невусов при наложении масштабных шкал устройств. Heine-Delta20 и Стикера1 (показатель у обоих p ≥ 0,359).

Четыре из шести масштабных шкал также снижали диагностическую точность. Точность составляла 87,7 % [80,9–92,3 %] у изображений без масштабных шкал, 16,2 % [10,8–23,4 %] с масштабными шкалами 3Gen-Dermlite2, 45,4 % [37,1–54,0 %] 3Gen-Dermlite1, 52,3 % [43,8–60,7 %] FotoFinder Handyscope и 53,1 % [44,5–61,4 %] Стикера2 (у всех p < 0,001).

Точность не сравнивалась при наложении масштабных шкал Heine-Delta20 и Стикера1 (у обоих p ≥ 0,453). Для каждой группы изображений подсчитывалась соответствующая ROC-кривая, чувствительность и специфичность CNN отображались на пороге отсечения, априори принятом как 0,5, для бинарной классификации доброкачественных или злокачественных новообразований (Рис. 3).

Рисунок 3. Изображены ROC-кривые CNN-классификации оригинальных изображений без масштабных шкал
против классификации изображений с наложением различных масштабных шкал. Чувствительность
и специфичность CNN в каждой группе снимков на пороге отсечения при диагностике злокачественности,
априори составляющем >0,5, изображены в виде цветных кругов на соответствующей ROC-кривой

ROC-AUC значительно сокращалась до 0,774 [0,663–0,886] в изображениях с масштабными шкалами 3Gen-Dermlite1 и до 0,459 [0,339–0,579] в изображениях масштабными шкалами с 3Gen-Dermlite2 (в обоих случаях p ≤ 0,042). Не было обнаружено существенных изменений ROC-AUC при наложении масштабных шкал других производителей (для всех p ≥ 0,424).

3.4. Тепловые карты

Рис. 4 показывает тепловые карты одного из репрезентативных невусов и меланомы с и без наложения масштабных шкал, где наиболее важные пиксели (цвет, перекрывающий «горячие пиксели», красно-оранжевый) для диагностической классификации методом CNN выделялись с использованием базового градиентного спуска и обратного распространения [12].

Рисунок 4. Тепловые карты, созданные при помощи базового градиентного спуска и обратного распространения, отображают пиксели, наиболее соответствующие CNN-классификации, как красно-оранжевый слой.
Созданы тепловые карты одного из репрезентативного невусов (a-g) и меланомы (h-n). Оригинальные изображения не содержат масштабных шкал (a, h). Остальные изображения показывают тепловые карты тех же двух новообразований с наложенными цифровым методом масштабными шкалами соответствующих производителей: Heine-Delta20 (b, i), FotoFinder-Handyscope (c, j), 3Gen-Dermlite1 (d, k), 3Gen-Dermalite2 (e, l), Стикер1 (f, m) и Стикер2 (g, n). Вдобавок CNN-показатели злокачественности отображены под каждым изображением. Значения >0,5 показывают злокачественность и отмечены красным цветом. У невуса при изменении оригинального диагностического класса активность CNN сосредоточена вдали от невуса и вблизи к масштабным шкалам (c, d, e, g).
(Для интерпретации цвета на изображениях следует обращаться к Web-версии данной статьи)

4. Обсуждение

Диагностическая эффективность одобренного для обращения на рынке CNN-метода, использованного в нашем исследовании, широко изучалась в сравнении с диагностикой, проводимой дерматологами [8, 9,11,14]. Масштабные шкалы могут располагаться на линзах устройств для дерматоскопии, электронным способом добавляться самим устройством или непосредственно накладываться на кожу при обследовании [15]. Однако масштабные шкалы на дерматоскопических снимках не подвергались систематической оценке в качестве потенциального артефакта, влияющего на CNN-классификацию.

База изображений, оцениваемых в настоящем исследовании, включала 107 невусов и 23 меланомы, показывая приблизительное соотношение доброкачественных новообразований к злокачественным 5   :  1, судя по специфическим клиническим параметрам из реальной практики [16]. Кроме того, диагностическая эффективность CNN в нашем комплексе тестов без масштабных шкал (ROC-AUC 0,95) соответствовала результатам более ранних исследований, тестировавших те же CNN в других, больших комплексах тестов (диапазон ROC-AUC 0,86–0,99) [9,17].

Для получения релевантных результатов мы намеренно включали масштабные шкалы других производителей. Субанализ проводился, чтобы продемонстрировать, что существенных различий в значениях злокачественности не было между ретроспективно наложенными и проспективно снятыми масштабными шкалами «in vivo».

Наши данные показывают, что наложенные масштабные шкалы могут значительно повлиять на показатели злокачественности тестируемых CNN.

Четыре из шести наложенных масштабных шкал значительно увеличивали средние показатели злокачественности невусов, а две из них — также и меланом. У меланом эти изменения не имели влияния на диагностику, проводимую CNN. Это благодаря тому факту, что небольшое изменение показателей злокачественности путем добавления масштабных шкал к изображениям меланом не меняли правильную классификацию, если показатели уже достигали предельного значения >0,5. И наоборот, важное увеличение показателей злокачественности невусов часто приводило к изменениям диагноза, если показатели превышали предельное значение > 0,5, информируя о злокачественности.

Интересно, что в зависимости от конкретной масштабной шкалы, мы фиксировали небывалые изменения специфичности. В одном случае неудачное наложение масштабных шкал 3GenDermlite2 привело к показателю специфичности 0 % (все случаи были диагностированы как злокачественные), тогда как в другом случае неудачно наложенные масштабные шкалы Heine-Delta20 слегка уменьшили показатели злокачественности без существенного изменения специфичности.

Тепловые карты показывают, что CNN в разной степени располагает диагностически релевантные пиксели на масштабных шкалах. Примечательно, что масштабные шкалы с жирным шрифтом и высокой контрастностью (3Gen-Dermlite1 и 3Gen-Dermlite2) показывали высокую активность на тепловых картах. Наши наблюдения можно объяснить несбалансированным расположением конкретных масштабных шкал на обучающих изображениях [15]; кроме того, CNN-алгоритм мог решить, что темные участки с высоким контрастом по отношению к прилегающим пикселям являются важными индикаторами диагноза меланомы.

К сожалению, у нас нет информации о расположении или частоте присутствия различных масштабных шкал в тренировочных данных, используемых для обучения тестируемого классификатора.

Стратегия улучшения диагностической эффективности глубоко обученных CNN вопреки имеющимся на обучающих снимках артефактов может быть направлена на разработку одной из вышеупомянутых гипотез. Дисбаланс артефактов на тренировочных снимках может быть решен двумя автоматизированными процедурами предварительной обработки, которые удаляют артефакты до внедрения изображений в обучающую базу [18].

Кроме того, были успешно внедрены автоматизированные процедуры сегментации, которые вырезают не информативные части снимка и фокусируются на новообразовании [19, 20]. Однако любого рода обработка или сегментация сами по себе могут по ошибке внести изменения, которые повлияют на правильную классификацию новообразования CNN-методом. Поэтому текущие достижения больше нацелены на расширение базы за счет увеличения количества изображений, имеющих специфические артефакты, в каждой диагностической категории (например, путем поворота изображения, зеркального отображения или изменения яркости), пока не будет достигнут идеальный баланс [21,  22].

Более общий подход к работе с несбалансированностью при глубоком обучении включает уровень данных, уровень алгоритмов или совместное решение этих вопросов [23]. Чтобы определить общую восприимчивость CNN к отклонениям из-за специфических артефактов, был предложен метод обнаружения глобальной значимости, который накладывает сегментирующие маски на специфический артефакт из тренировочной базы [24].

Таким образом, обучающие данные могут подбираться для обнаружения CNN глобальной значимости на определенном артефакте. Чрезмерная CNN-значимость на таком артефакте могла бы служить важным индикатором неверных выводов только лишь за счет присутствия артефактов.

В нашем исследовании мы тестировали оптимизированный классификатор, основанный на расширенной тренировочной базе и различных структурах для улучшенной устойчивости к масштабным шкалам (для детальной информации обратитесь к дополнительным данным). Оптимизированный классификатор показал существенно улучшенные показатели злокачественности, специфичности и ROC-AUC для изображений с наложенными масштабными шкалами. Наше исследование обнаружило некоторые ограничения.

Группа изображений была ограничена условиями диагностики (меланома и невусы) и количеством (130 изображений в группе). Однако данных было достаточно для важного доказательства принципа. В этом исследовании масштабные шкалы были ретроспективно наложены на дерматоскопические изображения путем цифровых манипуляций.

Этот способ был выбран для уверенности в том, что снимки отличаются только присутствием или отсутствием масштабных шкал, а не новообразованиями на них (например, тот же ракурс и освещение). В заключение наш анализ показывает, что наложенные масштабные шкалы на дерматоскопических изображениях существенно связаны с изменениями в показателях злокачественности, показываемых глубоко обученными CNN.

Большинство видов масштабных шкал заметно увеличивали показатели злокачественности доброкачественных невусов с клинически релевантным увеличением ложноположительных результатов. Мы рекомендуем избегать масштабных шкал на дерматоскопических изображениях, предназначенных для CNN-анализа, если не применены специальные меры для предупреждения каких-либо побочных эффектов.

Этика
Проверено и одобрено комитетом по этике медицинского факультета Гейдельбергского университета (Ethics committee of the medical faculty of the University of Heidelberg (номер одобрения S-629/2017). 

Регистрация исследования
Настоящее исследование зарегистрировано в реестре German Clinical Trial Register (DRKS):Study-ID DRKS00013570.

Вклад авторов
Концепция исследования
Haenssle. Study design: Haenssle.

Получение данных
Haenssle, Winkler, Abassi, Fuchs. Quality control of data and algorithms: Haenssle, Winkler, Abassi, Fuchs.


Анализ и интерпретация данных
Haenssle, Winkler. Statistical analysis: Haenssle, Winkler.

Подготовка текста
Haenssle, Winkler. Manuscripts editing: Haenssle, Winkler.

Обзор текста
Haenssle, Sies, Fink, Toberer, Enk, Abassi, Fuchs.

Финансирование
Данный исследовательский проект получал финансирование из публичных, не преследующих цели извлечения прибыли источников, а именно Skin Cancer Council Germany (Nationale Versorgungskonferenz Hautkrebs e.V.), www.nvkh.de/.Grant/award number: AD-LEARN DERMO- SCOPY (HF01-Z02-P05).

Раскрытие финансовой информации
Отсутствует.

Доступ к данным и анализу данных
HA Haenssle и JK Winkler имели полный доступ ко всем данным исследования и принимают ответственность за полноту данных и точность анализа данных.

Заявление о конфликте интересов
HA Haenssle получил гонорар и/или возмещение командировочных расходов от компаний, вовлеченных в разработку устройств для скрининга рака кожи: SciBase AB, FotoFinder Systems GmbH, Heine Optotechnik GmbH и Magnosco GmbH.
C Fink получил возмещение командировочных расходов от Magnosco GmbH. Остальные авторы заявили об отсутствии конфликта интересов.

Приложение A.

Дополнительная информация
Дополнительную информацию к данной статье можно найти онлайн по ссылке https://doi.org/10.1016/j.ejca.2020.12.010.

Список литературы

1. Arnold M, Holterhues C, Hollestein L, Coebergh J, Nijsten T, Pukkala E, et al. Trends in incidence and predictions of cutaneous melanoma across Europe up to 2015. J Eur Acad Dermatol Venereol 2014;28:1170e8.
2. Vestergaard M, Macaskill P, Holt P, Menzies S. Dermoscopy compared with naked eye examination for the diagnosis of primary melanoma: a metaanalysis of studies performed in a clinical setting. Br J Dermatol 2008;159:669e76.
3. Forsea A-M, Tschandl P, Zalaudek I, Del Marmol V, Soyer H, Group EW, et al. The impact of dermoscopy on melanoma detection in the practice of dermatologists in Europe: results of a panEuropean survey. J Eur Acad Dermatol Venereol 2017;31: 1148e56.
4. Okur E, Turkan M. A survey on automated melanoma detection. Eng Appl Artif Intell 2018;73:50e67.
5. Pathan S, Prabhu KG, Siddalingaswamy P. Techniques and algorithms for computer aided diagnosis of pigmented skin lesionsda review. Biomed Signal Process Contr 2018;39: 237e62.
6. Esteva A, Kuprel B, Novoa RA, Ko J, Swetter SM, Blau HM, et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature 2017;542:115e8.
7. Tschandl P, Rosendahl C, Kittler H. The HAM10000 dataset: a large collection of multi-source dermatoscopic images of common pigmented skin lesions. 2018. arXiv preprint arXiv:180310417.
8. Haenssle HA, Fink C, Schneiderbauer R, Toberer F, Buhl T, Blum A, et al. Man against machine: diagnostic performance of a deep learning convolutional neural network for dermoscopic melanoma recognition in comparison to 58 dermatologists.
Ann Oncol 2018;29:1836e42. Official Journal of the European Society for Medical Oncology/ESMO.
9. Haenssle HA, Fink C, Toberer F, Winkler J, Stolz W, Deinlein T, et al. Man against machine reloaded: performance of a market- approved convolutional neural network in classifying a broad spectrum of skin lesions in comparison with 96 dermatologists working under less artificial conditions. Ann Oncol 2020;31: 137e43.
10. Mishra NK, Celebi ME. An overview of melanoma detection in dermoscopy images using image processing and machine learning. 2016. arXiv preprint arXiv:160107843.
11. Winkler JK, Fink C, Toberer F, Enk A, Deinlein T, Hofmann- Wellenhof R, et al. Association between surgical skin markings in dermoscopic images and diagnostic performance of a deep learning convolutional neural network for melanoma recognition. JAMA Dermatol 2019;155(10):1135e41.
12. Simonyan K, Vedaldi A, Zisserman A. Deep inside convolutional networks: visualising image classification models and saliency maps. 2013. arXiv preprint arXiv:13126034.
13. Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 1982; 143:29e36.
14. Fink C, Blum A, Buhl T, Mitteldorf C, HofmannWellenhof R, Deinlein T, et al. Diagnostic performance of a deep learning convolutional neural network in the differentiation of combined nevi and melanomas. J Eur Acad Dermatol Venereol 2019;34(6): 1355e61.
15. Narla A, Kuprel B, Sarin K, Novoa R, Ko J. Automated classification of skin lesions: from pixels to practice. J Invest Dermatol 2018;138:2108e10.
16. Ahnlide I, Nielsen K, Bjellerup M. Diagnosis of pigmented skin tumours in a dermatological setting: different aspects of the number needed to excise as a measure of efficiency. Acta Derm Venereol 2014;94:683e6.
17. Winkler JK, Sies K, Fink C, Toberer F, Enk A, Deinlein T, et al. Melanoma recognition by a deep learning convolutional neural network-Performance in different melanoma subtypes and local- isations. Eur J Canc 2020;127:21e9.
18. Kassani SH, Kassani PH. A comparative study of deep learning architectures on melanoma detection. Tissue Cell 2019;58:76e83.
19. Mishra R, Daescu O. Deep learning for skin lesion segmentation. In: 2017 IEEE international conference on Bioinformatics and Biomedicine (BIBM). IEEE; 2017. p. 1189e94.
20. Unver HM, Ayan E. Skin lesion segmentation in dermoscopic images with combination of YOLO and GrabCut algorithm. Diagnostics 2019;9 (Basel).
21. Hosny KM, Kassem MA, Foaud MM. Classification of skin le- sions using transfer learning and augmentation with Alex-net. PloS One 2019;14.
22. Shorten C, Khoshgoftaar TM. A survey on image data augmen- tation for deep learning. J Big Data 2019;6:60.
23. Johnson JM, Khoshgoftaar TM. Survey on deep learning with class imbalance. J Big Data 2019;6:27.
24. Pfau J, Young AT, Wei ML, Keiser MJ. Global saliency: aggre- gating saliency maps to assess dataset artefact bias. 2019. arXiv preprint arXiv:191007604.

Вам также могут быть интересны статьи

Подкатегории рубрики “Советы профессиональным косметологам”