Медицина страждає від ненадійних клінічних випробувань. Скільки досліджень є підробленими або помилковими?

Скільки досліджень клінічних випробувань у медичних журналах є підробленими або фатально помилковими? У жовтні 2020 року Джон Карлайл повідомив про вражаючу оцінку.

Карлайл, анестезіолог, який працює в Національній службі охорони здоров’я Англії, відомий своєю здатністю виявляти викривлені дані під час медичних випробувань. Він також є редактором журналу Anesthesia, і у 2017 році він вирішив прошукати всі рукописи, які він опрацьовував і в яких повідомлялося про рандомізоване контрольоване дослідження (РКД) — золотий стандарт медичних досліджень. Протягом трьох років він ретельно проаналізував понад 500 досліджень.

Для більш ніж 150 випробувань Carlisle отримав доступ до анонімних індивідуальних даних учасників (ІДУ). Вивчаючи електронні таблиці ІДУ, він дійшов висновку, що 44% цих випробувань містили принаймні деякі хибні дані: наприклад, неможливу статистику, неправильні розрахунки або дубльовані цифри. І 26% документів мали проблеми, які були настільки поширеними, що судовому розгляду неможливо було довіряти, вважає він — або тому, що автори були некомпетентними, або тому, що вони підробили дані.

Карлайл назвав ці випробування «зомбі», тому що вони були схожі на справжні дослідження, але більш уважний аналіз показав, що вони насправді були порожнистими раковинами, які видавалися за надійну інформацію. Навіть він був здивований їх поширеністю.

Я передбачав, що, можливо, один із десяти,

— каже він.

Однак коли Карлайл не міг отримати доступ до необроблених даних випробування, він міг вивчати лише зведену інформацію в підсумкових таблицях. За його словами, лише 1% із цих випадків були зомбі, а 2% мали недостовірні дані. Ця знахідка також його насторожила: вона свідчила про те, що без доступу до ІДУ — якого редактори журналів зазвичай не вимагають, а рецензенти не бачать — навіть досвідчений детектив не зможе помітити приховані недоліки.

Я вважаю, що журнали повинні вважати, що всі надіслані статті є потенційно помилковими, і редактори повинні переглянути дані про окремих пацієнтів перед публікацією рандомізованих контрольованих досліджень,

— написав Карлайл у своєму звіті.

Карлайл відкидав усі судові процеси над зомбі, але на сьогодні, майже через три роки, більшість з них були опубліковані в інших журналах — іноді з даними, відмінними від тих, що були надані разом із рукописом, який він бачив.

Чи поширюються відкриття Карлайла в анестезіології на інші галузі? Протягом багатьох років ряд вчених, лікарів і дослідників даних стверджували, що фальшиві або ненадійні випробування надзвичайно поширені. Вони проаналізували РКД у різних галузях медицини, таких як здоров’я жінок, дослідження болю, анестезіологія, здоров’я кісток і COVID-19, і знайшли десятки чи сотні випробувань зі статистично неможливими даними. Дехто, спираючись на свій особистий досвід, каже, що одна чверть випробувань, які не заслуговують довіри, може бути заниженою.

Частково ця проблема є частиною сумнозвісної проблеми паперової фабрики: за останнє десятиліття журнали в багатьох галузях опублікували десятки тисяч неякісних статей, деякі з яких, як вважають, були виготовлені сторонніми фірмами, що називаються паперовими фабриками.

Але підроблені або ненадійні РКД становлять особливо небезпечну загрозу. Вони не лише стосуються медичних втручань, але й можуть бути вплинути на результати, якщо їх включити до метааналізів і систематичних оглядів, які ретельно прочісують літературу для оцінки доказів клінічного лікування. Медичні рекомендації часто цитують такі оцінки, і лікарі звертаються до них, вирішуючи, як лікувати пацієнтів.

Багато фахівців із науково-дослідної цілісності кажуть, що проблема існує, але її масштаб і вплив неясні. Дехто сумнівається, чи проблема настільки значна, як показують найтривожніші приклади. «Ми маємо визнати, що у сфері високоякісних доказів у нас дедалі більше шуму. Є кілька хороших людей, які відстоюють це і створюють справді страшну статистику. Але в академічному співтоваристві також є багато тих, хто вважає, що це лякання», — каже Жарко Алфіревич, фахівець з медицини плода та матері в Університеті Ліверпуля, Великобританія.

Відмивання фальшивих доказів

У медичних дослідженнях завжди були шахраї. Робертс, наприклад, уперше зіткнувся з цією проблемою, коли він був співавтором систематичного огляду 2005 року для Кокранівської співпраці, престижної групи, чиї огляди доказів медичних досліджень часто використовуються для формування клінічної практики. Огляд припустив, що високі дози цукрового розчину можуть зменшити смертність після травми голови. Але Робертс відкликав його після того, як виникли сумніви щодо трьох ключових випробувань, наведених у статті, автором усіх яких є той самий бразильський нейрохірург Хуліо Круз. (Робертс так і не дізнався, чи були суди фальшивими, тому що Круз вкоротив собі віку ще до початку розслідування. Статті Круза не було відкликано).

Більш свіжий приклад – Йосіхіро Сато, японський дослідник здоров’я кісток. Сато, який помер у 2016 році, сфабрикував дані в десятках випробувань ліків або добавок, які могли б запобігти переломам кісток. Відповідно до списку, складеного вебсайтом Retraction Watch, він має 113 відкликаних документів. Його робота мала великий вплив: дослідники виявили, що 27 відкликаних РКД Сато цитувалися у 88 систематичних оглядах і клінічних настановах, деякі з яких інформували про рекомендовані Японією методи лікування остеопорозу.

Деякі висновки в приблизно половині цих оглядів змінилися б, якби випробування Сато були виключені, каже Елісон Авенелл, медичний дослідник з Університету Абердіна, Великобританія.

Це, ймовірно, відвернуло людей від більш ефективного лікування для запобігання переломам,

— каже Авенелл.

Однак занепокоєння з приводу зомбі-випробувань зомбі виходить за рамки окремих фальсифікаторів, які пролітають під радаром. Дослідники хвилюються, що в деяких областях РКД від різних дослідницьких груп можуть бути ненадійними.

Наприклад, під час пандемії було проведено низку РКД, щоб визначити, чи може івермектин, препарат від паразитів, лікувати COVID-19. Але дослідники, які не були залучені, з того часу вказували на недоліки даних у багатьох дослідженнях, деякі з яких були відкликані. В оновленому Кокранівському огляді 2022 року стверджується, що понад 40% цих РКД не заслуговують довіри.

У сфері охорони здоров’я матерів — ще одна сфера, яка, здавалося б, повна проблем — Робертс і Мол помітили дослідження, щоб визначити, чи може препарат під назвою транексамова кислота зупинити небезпечно сильну кровотечу після пологів. Щороку приблизно 14 мільйонів людей відчувають цей стан, і близько 70 000 помирають: це основна причина материнської смертності у світі. 

У 2016 році Робертс переглянув докази використання транексамової кислоти для лікування серйозної крововтрати після пологів. Він повідомив, що багато з 26 РКД, які досліджували препарат, мали серйозні недоліки. Деякі мали ідентичний текст, інші мали невідповідність даних або жодних записів про етичне схвалення. Здавалося, що деякі не належним чином рандомізували своїх учасників у контрольні та лікувальні групи.

Коли він звернувся до окремих авторів, щоб попросити більше деталей і необроблених даних, він, як правило, не отримав відповіді або йому сказали, що записи відсутні або були втрачені через комп’ютерну крадіжку. На щастя, у 2017 році велике високоякісне багатоцентрове дослідження, яке Робертс допоміг провести, показало ефективність препарату. Цілком імовірно, каже Робертс, що в цих та інших подібних випадках деякі сумнівні випробування були шахрайством — дослідники побачили, що триває велике випробування, і створили маленькі, нестандартні копії, які ніхто не ставив би під сумнів. Однак цей вид шахрайства не є злочином без потерпілих. 

Це призводить до звуження довірчих інтервалів, тому результати виглядають набагато більш певними, ніж вони є. Це також має потенціал для посилення неправильного результату, припускаючи, що лікування працює, коли воно не працює, 

– каже він.

Ця обставина викликає й інше питання: а що, якби лікарі вводили препарат усім, кому роблять кесарів розтин, відразу після пологів, як профілактичний захід? Огляд 7 із 36 РКД 2021 року, які досліджували цю ідею, за участю понад 10 000 учасників, прийшов до висновку, що це зменшить ризик великої крововтрати на 60%.

Проте цього квітня величезне РКД під керівництвом США з 11 000 осіб повідомило лише про незначну та статистично недостовірну користь.

Мол вважає, що розбіжність пояснюється проблемами з деякими з 36 попередніх РКД. Метааналіз 2021 року включав одне багатоцентрове дослідження у Франції з понад 4000 учасників, яке виявило скромне 16% зниження тяжкої крововтрати, а також ще 35 менших одноцентрових досліджень, які проводилися в основному в Індії, Ірані та Єгипті та Китаї, які загалом оцінили зниження на 93%.

Незрозуміло, чи вплинули ненадійні дослідження на клінічну практику. Всесвітня організація охорони здоров’я (ВООЗ) рекомендує використовувати транексамову кислоту для лікування втрати крові після пологів, але в неї немає вказівок щодо профілактичного застосування.

Від чотирьох доказів до одного

Мол вказує на інший приклад, коли ненадійні дослідження могли вплинути на клінічну практику. У 2018 році дослідники опублікували Кокранівський огляд про те, чи допомогло призначення стероїдів людям, які народжувалися за допомогою кесаревого розтину, зменшити проблеми з диханням у їхніх дітей. Стероїди корисні для легенів дитини, але можуть завдати шкоди мозку, що розвивається; переваги, як правило, переважують шкоду, коли діти народжуються передчасно, але баланс менш чіткий, коли стероїди застосовуються на пізніх термінах вагітності.

Автори огляду 2018 року на чолі з Александросом Сотіріадісом, фахівцем із медицини матері та плоду з Університету Арістотеля в Салоніках у Греції, проаналізували докази призначення стероїдів людям, які народжували за допомогою кесаревого розтину на пізніх термінах вагітності. У підсумку вони отримали чотири РКД: британське дослідження 2005 року з понад 940 учасниками та три єгипетські випробування, проведені між 2015 і 2018 роками, які додали до доказової бази ще 3000 осіб. Огляд зробив висновок, що стероїди «можуть» зменшити частоту проблем з диханням; він цитувався в більш ніж 200 документах і деяких клінічних настановах.

Однак у січні 2021 року Мол та інші дослідники, які більш детально вивчали документи, висловили занепокоєння щодо досліджень у Єгипті. Найбільше дослідження з майже 1300 учасниками базувалося на дисертації другого автора, але дати завершення випробувань у дисертації відрізнялися від дати статті. А заявлене співвідношення немовлят чоловічої та жіночої статі становило неможливе 40% до 60%. Мол також запитав інші документи та написав авторам, але каже, що не отримав задовільних відповідей — один автор сказав йому, що втратив дані під час переїзду. Команда Мола також повідомила про статистичні проблеми з деякими іншими роботами тих же авторів.

У грудні 2021 року команда Сотіріадіса оновила свій огляд. Але цього разу було прийнято новий протокол перевірки. До цього року Кокранівські огляди мали на меті включати всі відповідні РКД; якби дослідники помітили потенційні проблеми з випробуванням, використовуючи контрольний список «ризику упередженості», вони б знизили свою впевненість у його висновках, але не вилучили б їх зі свого аналізу. Але в 2021 році команда Cochrane з питань цілісності досліджень представила нові вказівки: автори повинні намагатися визначити «проблематичні» або «ненадійні» випробування та виключити їх з оглядів. Тепер група Сотіріадіса виключила всі дослідження, крім британських. Оскільки залишилося лише одне випробування, було «недостатньо даних», щоб зробити тверді висновки щодо стероїдів, кажуть дослідники.

У травні минулого року, як повідомляв Retraction Watch, велике єгипетське клінічне дослідження процес було відкликано (на незгоду його авторів). У повідомленні про відкликання редакція журналу написала, що не отримала його даних або задовільної відповіді від авторів, додавши, що «якщо дані є недостовірними, жінкам і немовлятам завдається шкоди». За словами Сабіни Алам, директора з видавничої етики фірми, два інші клінічні дослідження все ще розслідуються видавництвом Taylor & Francis у рамках великої справи про документи. До огляду 2018 року деякі клінічні рекомендації припускали, що введення стероїдів на пізніх термінах вагітності може бути корисним, і така практика поширювалася в деяких країнах, наприклад в Австралії. Однак останні оновлені рекомендації ВООЗ і регіональні рекомендації не рекомендують таку практику.

Загалом Мол та його колеги заявляли про ймовірні проблеми в більш ніж 800 опублікованих медичних наукових роботах, принаймні 500 з яких містяться в РКД. Наразі ця робота призвела до понад 80 відкликань і 50 висловлень занепокоєння. Мол зосередив більшу частину своєї роботи на документах із країн Близького Сходу, зокрема Єгипту. Один дослідник відповів на деякі з його електронних листів, звинувативши його в расизмі. Однак Мол каже, що це просто факт, що він зіткнувся з багатьма підозрілими статистичними даними та відмовами поділитися даними від авторів РКД у таких країнах, як Іран, Єгипет, Туреччина та Китай — і що він повинен мати можливість вказати на це.

 Перевірка на надійність

Бен Мол, безсумнівно, був піонером у галузі виявлення фальсифікації даних і боротьби з нею, 

— каже Сотіріадіс, але додає, що важко довести, що документ є фальсифікованим.

Натомість його група дотримувалася протоколу перевірки, призначеного для перевірки «надійності». Він був розроблений однією з незалежних груп спеціалістів, Кокранівською групою з питань вагітності та пологів (CPC). (У квітні цього року Кокрейн офіційно розпустив цю групу та деякі інші в рамках стратегії реорганізації.) Він містить детальний перелік критеріїв, яких мають дотримуватися автори, щоб перевірити достовірність РКД — наприклад, чи випробування зареєстроване проспективно та, чи дослідження не містить незвичайних статистичних даних, таких як неправдоподібно вузькі або широкі розподіли середніх значень зросту, ваги чи інших характеристик учасника та інших червоних прапорців. Якщо РКД не проходять перевірки, рецензентам пропонується зв’язатися з оригінальними авторами дослідження — і, якщо відповіді неадекватні, виключити дослідження. 

 Що вважається надійним?

Чи є перевірки на надійність інколи несправедливими щодо авторів РКД, і що саме слід перевіряти, щоб класифікувати ненадійні дослідження, все ще залишається предметом дебатів. У редакційній статті 2021 року, яка представляє ідею скринінгу надійності, Ліза Беро, старший редактор цілісності досліджень у Cochrane та біоетик з медичного містечка Університету Колорадо Anschutz в Аврорі, зазначила, що не існує перевіреного, загальновизнаного методу: «Неправильна класифікація справжнього дослідження як проблемного може призвести до помилкових висновків огляду. Неправильна класифікація також може призвести до шкоди репутації авторів, юридичних наслідків і етичних проблем, пов’язаних із тим, що учасники брали участь у дослідженні, лише для того, щоб це було знецінено».

Наразі існує кілька протоколів надійності. У 2020 році, наприклад, був опубликований REAPPRAISED , контрольний список, призначений більше для редакторів журналів. І коли минулого року дослідники переглядали випробування івермектину як лікування COVID-19, вони створили власний контрольний список, який вони називають «оцінкою цілісності дослідження».

Деякі з цих перевірок є більш трудомісткими, ніж зазвичай звикли редактори та систематичні рецензенти.

Нам потрібно переконати систематичних рецензентів, що це варте їхнього часу,

— каже Беро. Вона та інші рецензенти консультувалися з біомедичними дослідниками, видавцями та експертами з питань цілісності досліджень, щоб розробити набір «червоних прапорців», які могли б стати основою для створення широко узгодженого методу оцінки.

Незважаючи на занепокоєння таких дослідників, як Мол, багато вчених залишаються невпевненими, скільки оглядів було скомпрометовано ненадійними РКД. Цього року команда під керівництвом Джека Вілкінсона, дослідника охорони здоров’я з Університету Манчестера, Великобританія, використовує результати консультації Беро, щоб застосувати список із 76 пунктів оцінки достовірності до всіх досліджень, цитованих у 50 опублікованих Кокранівських оглядах. (76 пунктів включають детальне вивчення даних і статистичних даних у випробуваннях, а також перевірку деталей щодо фінансування, грантів, реєстрації випробувань, правдоподібності методів дослідження та записів про публікації авторів — але в цій перевірці дані окремих учасників не запитуються.)

Боротьба з фабриками фальшивого паперу, які виробляють фіктивну науку

Секретар ICMJE, Крістіна Ві, каже, що «існують серйозні проблеми здійсненності», які необхідно вирішити для обов’язкового обміну ІДУ, хоча комітет може переглянути свою практику в майбутньому. Багато видавців медичних журналів повідомили команді новин Nature, що, дотримуючись порад ICMJE, вони не вимагали ІДУ від авторів випробувань. (Ці видавці включали Springer Nature; команда новин Nature є незалежною редакцією.)

Однак деякі журнали, включаючи Carlisle's Anesthesia, пішли далі й вже вимагають ІДУ.

Навіть коли ІДУ є спільною інформацією, перевірка займає багато часу, створюючи додатковий тягар для рецензентів, хоча обчислювальна перевірка статистики може допомогти.

Окрім запиту даних, редактори журналів можуть також пришвидшити прийняття рішень, кажуть спеціалісти з науково-дослідницької цілісності. У парламентській доповіді Великобританії щодо відтворюваності та доброчесності досліджень говориться, що видавцям не повинно знадобитися понад два місяці, щоб опублікувати виправлення або відкликання досліджень, коли редактори виявляють викривлення даних.

І якщо журнали відкликають дослідження, автори систематичних оглядів повинні виправити свою роботу, кажуть Авенелл та інші. Таке буває рідко. Минулого року, наприклад, команда Авенелла повідомила, що вона ретельно та неодноразово надсилала електронною поштою авторам і редакторам журналів 88 оглядів, які цитували відкликані дослідження Сато, щоб повідомити їх, що їхні огляди включали відкликані роботи. Вони отримали небагато відповідей — лише 11 із 88 рецензій наразі оновлено — це свідчить про те, що автори та редактори загалом не піклувалися про виправлення рецензій.

Це засмутило, але не здивувало команду, яка раніше розповідала про те, що інституційні розслідування роботи Сато були непрозорими та неадекватними.

Зрештою, тривале питання полягає в тому, як і у випадку з паперовими фабриками, чому взагалі виробляється так багато підозрілих РКД. Мол, ґрунтуючись на своєму досвіді дослідження єгипетських досліджень, звинувачує брак нагляду та поверхневі оцінки, які просувають вчених на основі кількості їхніх публікацій, а також відсутність суворих перевірок з боку інституцій та журналів щодо поганої практики. Однак влада Єгипту вжила певних заходів для покращення управління судовими процесами; Парламент Єгипту, наприклад, опублікував свій перший закон про клінічні дослідження в грудні 2020 року.

ДЖЕРЕЛО: https://www.nature.com/