Учёные создали первую платформу, которая позволяет по-настоящему проверять медицинские алгоритмы искусственного интеллекта в условиях, максимально близких к реальной работе клиник.

С её помощью можно понять, насколько такие системы точны, надёжны и справедливы по отношению к разным группам пациентов. В качестве первого примера исследователи протестировали восемь алгоритмов, предназначенных для выявления диабетической болезни глаз — одного из самых распространённых осложнений диабета.

Обычно, когда больницы выбирают новый ИИ-инструмент, в первую очередь смотрят на цену и сравнивают его эффективность с работой врачей. Но есть важные вопросы, которые часто остаются без внимания: действительно ли алгоритм хорошо работает на разных возрастных и этнических группах, не допускает ли скрытой предвзятости и способен ли обеспечивать одинаково точные результаты для всех пациентов. Новый проект как раз и решает эту проблему.

Работа опубликована в журнале The Lancet Digital Health. Для проверки учёные использовали огромную базу из примерно миллиона двухсот тысяч снимков глаз пациентов, проходивших скрининг в Лондоне.

Это одна из самых разнородных групп — по возрасту, состоянию здоровья и происхождению, — поэтому результаты получились особенно надёжными.

Алгоритмы показали высокую точность. В зависимости от вида анализа их показатели колебались от примерно восьмидесяти трёх до почти девяноста девяти процентов. То есть программы действительно уверенно распознают как ранние признаки заболевания, так и более опасные изменения, которые могут привести к потере зрения. Важно и то, что алгоритмы одинаково хорошо работали у людей с разным цветом кожи и разным происхождением — это впервые подтверждено на таком большом наборе данных.

Исследователи считают, что в будущем такая платформа может стать основой общей национальной системы: клиники будут загружать снимки, получать автоматические результаты, а врачи — быстрее принимать решения. Это поможет и пациентам, и врачам, и разработчикам ИИ, обеспечивая честную оценку технологий и более быструю диагностику.