Ученые столичного Центра диагностики и телемедицины разработали методику, которая позволит быстрее и точнее оценивать надежность систем искусственного интеллекта в здравоохранении. Об этом сообщил главный рентгенолог Москвы Юрий Васильев.

По словам Васильева, Москва уже много лет является лидером в применении ИИ в медицине, и новая методика является важным шагом вперед. Ранее не было четкого ответа на вопрос о необходимом количестве исследований для объективной проверки нейросети. Теперь ученые определили, что для оценки точности ИИ нужно не менее 400 исследований, что значительно упрощает процесс тестирования.

Методика уже продемонстрировала свою эффективность в лучевой диагностике, но ее можно применять и в других областях медицины. Это позволит разработчикам быстрее адаптировать свои технологии, а врачам — более эффективно их использовать. Новый подход поможет сделать ИИ более точным и безопасным инструментом, что, в свою очередь, повысит качество диагностики и ускорит выявление заболеваний на ранних стадиях.

Исследование, проведенное на примере лучевой диагностики, проанализировало более двух миллионов вариантов тестов. Ученые доказали, что для объективной оценки алгоритмов с бинарной классификацией необходимо, чтобы не менее 10 процентов исследований относилось к каждому из классов, то есть содержало отмеченные признаки патологий. Дальнейшее увеличение выборки не меняет результат, что делает методику наиболее эффективной.

Классические методы тестирования ИИ не давали точного ответа на вопрос о количестве необходимых исследований. Ученые предложили альтернативный подход, проанализировав поведение диагностических метрик и доказав универсальность своей методики. Полученные данные не зависят от типа изображений или конкретной нейросети, что позволяет масштабировать подход на другие медицинские системы ИИ с бинарной классификацией.

Статья «Эмпирический метод расчета размера выборки для тестирования алгоритмов искусственного интеллекта» уже получила положительную рецензию от академиков Российской академии наук и стала победителем конкурса AI Journey. С 2020 года Центр диагностики и телемедицины проводит крупнейшее в мире проспективное клиническое исследование по внедрению компьютерного зрения для анализа медицинских изображений.

Центр диагностики и телемедицины Департамента здравоохранения Москвы является ведущей научно-практической организацией в структуре комплекса социального развития Мэрии Москвы. Он основан в 1996 году и специализируется на внедрении технологий ИИ в медицину, развитии лучевой диагностики и проведении научных исследований. Проект соответствует целям стратегии развития московской медицины до 2030 года, направленной на повышение качества и доступности медицинской помощи жителям столицы.