Штучний інтелект в медицині: між допомогою та потенційною шкодою

Значна кількість медичної інформації, що надається п'ятьма популярними чат-ботами, є неточною та неповною, причому половина (50%) відповідей були проблематичними: 30% були дещо проблематичними, а 20% — дуже проблематичними. Такі результати дослідження, опублікованого в журналі BMJ Open.

Дослідники попереджають, що подальше розгортання цих чат-ботів без громадської освіти та належного нагляду може посилити поширення дезінформації.

Як було організовано дослідження

Дослідники зазначають, що генеративні чат-боти зі штучним інтелектом швидко впроваджуються в дослідженнях, освіті, бізнесі, маркетингу та медицині. Багато користувачів застосовують їх як пошукові системи, зокрема для повсякденних запитів щодо здоров’я.

У лютому 2025 року було досліджено п’ять популярних генеративних чат-ботів.

Кожному чат-боту було поставлено по 10 відкритих і закритих запитань у кожній із п’яти категорій:

• рак
• вакцини
• стовбурові клітини
• харчування
• спортивні результати

Запитання були сформульовані таким чином, щоб відображати поширені запити щодо здоров’я та типові дезінформаційні наративи. Вони також були спеціально розроблені для перевірки поведінкових вразливостей моделей.

Штучний інтелект у роботі лікаря: помічник чи зайвий інструмент?

Як оцінювалися відповіді

Відповіді класифікувалися як:

• проблематичні
• дещо проблематичні
• дуже проблематичні

Проблемною вважалася відповідь, яка могла спрямувати користувача до потенційно неефективного лікування або завдати шкоди без професійного медичного супроводу.

Оцінювання проводилося за такими критеріями:

• точність
• повнота
• наявність хибного балансу між науковими та необґрунтованими твердженнями
• читабельність (за шкалою Флеша)

Основні результати

Тип запиту впливав на якість відповідей:

• відкриті запитання частіше давали проблемні відповіді
• закриті запитання — навпаки

Суттєвих відмінностей між чат-ботами не виявлено, однак:

• Grok частіше генерував дуже проблематичні відповіді
• Gemini мав найменше таких відповідей

Найкращі результати спостерігалися у темах:

• вакцини
• рак

Найгірші:

• стовбурові клітини
• спортивні результати
• харчування

Відповіді зазвичай подавалися впевнено, з мінімальною кількістю застережень. Із 250 запитань лише у двох випадках було відмовлено у відповіді.

Перегляньте записи:

Якість посилань і читабельність

Середній рівень повноти посилань становив 40%. Виявлено випадки вигаданих джерел та так званих «галюцинацій».

Жоден із чат-ботів не надав повністю точного списку літератури.

Усі відповіді були складними за рівнем читабельності та відповідали рівню текстів для випускників університетів.

Обмеження дослідження

Дослідники зазначають:

• було оцінено лише п’ять чат-ботів
• технології швидко розвиваються
• частина запитів була спеціально сформована для виявлення помилок

Проте отримані результати демонструють важливі поведінкові обмеження систем штучного інтелекту.

Чат-боти за замовчуванням не працюють із даними в реальному часі, а генерують відповіді на основі статистичних закономірностей. Вони не оцінюють докази та не здатні до клінічного мислення.

Це означає, що відповіді можуть виглядати авторитетними, але бути неточними.

Дослідники підкреслюють необхідність:

• громадської освіти
• професійної підготовки
• регуляторного нагляду

щоб використання штучного інтелекту сприяло, а не шкодило громадському здоров’ю.

ДЖЕРЕЛО: Medical Xpress

На платформі Accemedin багато цікавих заходів! Аби не пропустити їх, підписуйтесь на наші сторінки! Facebook. Telegram. Viber. Instagram.