A new study has found that popular AI chatbots often provide inconsistent and sometimes potentially misleading information about the link between alcohol consumption and breast cancer risk, raising concerns about their growing role as sources of health information.

The findings were presented at the 49th annual scientific meeting of the Research Society on Alcohol in San Antonio, Texas, and part of the research has been published in the journal Public Health.

According to lead researcher Allison Brandt Anbari, awareness of the connection between alcohol use and breast cancer remains relatively low, despite alcohol having been classified as a Group 1 carcinogen since 1988. At the same time, more people are turning to AI-powered chatbots for medical information, making the accuracy of their responses increasingly important.

To evaluate chatbot performance, researchers selected questions about alcohol and breast cancer from several trusted health organizations, including the World Health Organization, the Centers for Disease Control and Prevention, and the National Breast Cancer Foundation. Although the questions addressed the same topic, they were phrased differently, such as “Can alcohol cause breast cancer?”, “Why does alcohol cause breast cancer?” and “How does alcohol cause breast cancer?”

The team entered these questions into 22 publicly available chatbot configurations, including systems such as ChatGPT, Gemini and Microsoft Copilot, and analyzed a total of 66 responses.

The researchers identified three major findings.

First, chatbot responses varied significantly in both content and presentation. Some responses suggested that the relationship between alcohol and breast cancer remains uncertain or poorly understood, despite strong scientific evidence establishing alcohol as a risk factor for breast cancer. The researchers considered such responses potentially problematic.

Second, the readability level of most responses was equivalent to college-level material. The information was often highly technical and exceeded the reading level recommended by the U.S. National Institutes of Health for public health communication.

Third, the wording of the prompt itself had a substantial impact on the information generated. Even slight differences in phrasing produced noticeably different responses, highlighting the importance of what researchers describe as “prompt literacy” alongside health and digital literacy.

The authors warn that these findings raise important public health concerns. They emphasize that healthcare professionals and policymakers should recognize the variability of AI-generated health information and be prepared to address incomplete, confusing, or inaccurate responses that patients may encounter when using chatbots.

Перевод на русский

Исследование: ИИ-чатботы предоставляют противоречивую информацию о связи алкоголя и риска рака молочной железы

Новое исследование показало, что популярные чатботы на основе искусственного интеллекта нередко предоставляют противоречивую, а иногда и потенциально вводящую в заблуждение информацию о связи между употреблением алкоголя и риском развития рака молочной железы. Это вызывает обеспокоенность на фоне растущего использования подобных систем для поиска медицинской информации.

Результаты были представлены на 49-й ежегодной научной конференции Research Society on Alcohol в Сан-Антонио (штат Техас), а часть исследования опубликована в журнале Public Health.

По словам ведущего автора работы, Allison Brandt Anbari, осведомлённость населения о связи между употреблением алкоголя и раком молочной железы остаётся сравнительно низкой, несмотря на то что алкоголь был отнесён к канцерогенам первой группы ещё в 1988 году. Одновременно всё больше людей обращаются к ИИ-чатботам за медицинской информацией, что делает вопрос точности ответов особенно важным.

Для оценки качества ответов исследователи использовали вопросы об алкоголе и раке молочной железы, размещённые на сайтах World Health Organization, Centers for Disease Control and Prevention и National Breast Cancer Foundation. Хотя вопросы касались одной темы, они были сформулированы по-разному: например, «Может ли алкоголь вызвать рак молочной железы?», «Почему алкоголь вызывает рак молочной железы?» и «Каким образом алкоголь вызывает рак молочной железы?».

Эти запросы были направлены в 22 различные общедоступные конфигурации чатботов, включая ChatGPT, Gemini и Microsoft Copilot. Всего было проанализировано 66 ответов.

Исследование выявило три основных вывода.

Во-первых, ответы чатботов существенно различались как по содержанию, так и по стилю подачи информации. Некоторые системы указывали, что связь между алкоголем и раком молочной железы остаётся неясной или недостаточно изученной, несмотря на наличие убедительных научных данных, подтверждающих, что алкоголь является фактором риска развития этого заболевания. Авторы считают подобные ответы сомнительными.

Во-вторых, уровень сложности большинства ответов соответствовал университетскому образованию. Информация часто была перегружена специальной терминологией и превышала рекомендуемый для массовой аудитории уровень понимания.

В-третьих, значительное влияние на содержание ответа оказывала сама формулировка запроса. Даже небольшие изменения в вопросе приводили к заметным различиям в генерируемой информации. По мнению исследователей, это подчёркивает важность не только медицинской и цифровой грамотности, но и так называемой «грамотности составления запросов» (prompt literacy).

Авторы подчёркивают, что полученные результаты вызывают серьёзные вопросы в области общественного здравоохранения. Медицинским работникам и специалистам, принимающим решения, следует учитывать вариативность ответов ИИ-систем и быть готовыми разъяснять пациентам неполную, неточную или вводящую в заблуждение информацию, полученную от чатботов.