Myslím, že z toho může pramenit velká variabilita.“

Ani metoda, jak byly tyto články analyzovány, nebyla příliš podrobně popsána – dokonce ani v online příloze. Ironie obsažená v článku, který brojí proti nereprodukovatelnosti preklinického výzkumu rakoviny, ale sám o sobě neposkytuje data, na kterých jeho autoři založili své závěry, dostatečně podrobně na to, aby si čtenář mohl sám určit, zda jsou závěry plynoucí z dat ponechány pro SBM aby si čtenáři sami zhodnotili. Podobně zavádějící, jak bylo zdůrazněno v online komentářích, byl vyjádřený předpoklad autorů, že „tvrzení v preklinické studii lze brát jako nominální hodnotu – že ačkoliv v detailech mohou existovat určité chyby, hlavní poselství článku může se na ně spolehnout a data z větší části obstojí ve zkoušce časem“ a jejich úžas nad tím, že „ne vždy tomu tak je“. Pokud by byly předpoklady autorů pravdivé, pokusy o replikaci vědeckých výsledků by byly méně důležité, než jsou.

Ať je to jakkoli, to, co autoři studují, ať už to studovali jakkoli a ať už bylo 53 studií, které zkoumali, bylo v podstatě hraniční vědou. Vzhledem k tomu mi připadá poněkud zvláštní, že jsou tak ohromeni, že velká část vědy na samých hranicích se při dalším testování ukáže jako nesprávná. My ve vědě chápeme rozdíl mezi ustálenou učebnicovou vědou a druhem hraniční vědy, která se dostává do časopisů jako Science. Ve skutečnosti často naříkáme, že časopisy nejvyšší úrovně, jako je Nature, Science a Cell, mají tendenci být příliš zamilované do publikování toho, co se zdá být „sexy vědou“, vzrušujících nebo kontraintuitivních výsledků, které skutečně přitahují pozornost vědců – v jinými slovy „špičková hra“ nebo hraniční věda. Zdá se, že takové časopisy jsou hrdé na to, že publikují primárně takové práce (což je jeden z důvodů, proč jsou tak hojně čtené a citované), zatímco solidnější, méně „sexy“ výsledky, jak se zdá, končí v časopisech druhé úrovně.

To vede k paradoxu: věda, která je publikována v nejprestižnějších časopisech, je téměř z definice nejproblematičtější vědou. Vzhledem k tomu je překvapivé, kolik z toho, co je publikováno v takových časopisech, skutečně obstojí ve zkoušce času, ale nemělo by být překvapivé, že mnoho z toho ne. Samotná prestiž takových časopisů však dává takovému výzkumu zdánlivě větší autoritu než výzkum publikovaný v méně prestižních časopisech. Často se říká, že pokud recenzeproduktu.top jde o zlepšení vědeckého životopisu (a šance na dobrou práci nebo povýšení), jeden článek o přírodě, vědě nebo buňce stojí za pět nebo dokonce deset článků ve více pěších, středně náročných časopisech. . Možná je to proto, že publikace v takových časopisech jsou považovány za známku toho, že práce, kterou vědec dělá, je na špici. Toto vnímání, vybudované v průběhu času, je pravděpodobně hlavním důvodem, proč je velmi, velmi obtížné dosáhnout přijetí a zveřejnění článku v Science, Nature nebo Cell. Naprostá většina příspěvků je zamítnuta, mnoho z nich dokonce bez odeslání k recenznímu řízení, protože redakce rozhodla, že nejsou dostatečně „zajímavé“ (což se mi jednou stalo). Jinými slovy, redaktoři takových časopisů aktivně hledají vědu, která zpochybňuje stávající paradigma. Vědci však chápou, že články publikované v nejšpičkovějších časopisech jsou předběžné. Zajímají je noviny, protože taková práce s největší pravděpodobností posune hranice vědy.

Ve skutečnosti se o takové dokumenty zajímají ze stejného důvodu, jako se o ně zajímal Begley a jeho skupina v Amgenu. Begley byl vedoucím velké výzkumné divize velké farmaceutické společnosti. Co to znamená? Znamená to, že jeho úkolem bylo najít nové molekulární cíle pro rakovinu a vyvinout léky, které je zaměří. A jeho úkolem bylo toto vše udělat a porazit své konkurenty na trhu účinnými novými léky založenými na těchto objevech. Není divu, že jeho skupina prohledala vysoce impaktované časopisy a našla špičkové studie, které podle všeho identifikovaly slibné molekulární cíle! Pak měl skutečnou armádu vědců, asi 100 z nich v replikačním týmu Amgen podle této zprávy, kteří byli připraveni vrhnout se na jakoukoli publikovanou studii, která navrhla molekulární cíl, který společnost považovala za slibný.

Zde je další aspekt studie, který je třeba řešit. Když jsem četl studii, v mé křehké mysli skořápky se neustále objevovala myšlenka. Pamatujete na Reynolda Spectora? Je to člověk, na kterého jsme Mark Crislip i já skočili za zvlášť špatnou kritiku vědecky založené medicíny a jejího údajného nedostatečného pokroku, který Spector nazval Sedm smrtících lékařských hypotéz. Jak jsme Mark i já zdůraznili, téměř všechny tyto hypotézy nebyly ve skutečnosti nijak zvlášť smrtící a většina z nich vlastně ani hypotézami nebyla. Co má Dr. Spector společné s Dr. Begleyem, je pozadí farmacie a podobnosti ve způsobu, jakým si myslí, jsou zřejmé všem. Například jsem kritizoval Spectora za to, že použil termín „pseudověda“, aby popsal studie, které podle jeho odhadu nedosahují úrovně důkazů nutné pro schválení léku FDA. To je velmi specifický soubor požadavků pro velmi specifický problém: vyvinout lék na základě prvních vědeckých principů a poté prokázat, že je účinný pro zamýšlenou indikaci a zároveň je bezpečný. Z jeho článků jsem nabyl dojmu, že Dr. Spector považuje každou studii, která nedosahuje standardů FDA pro schvalování léků, za pseudovědu – nebo přinejmenším za svinstvo. Stejný dojem mám z Begleyho. Zde je například pasáž z jeho článku:

Pokusy o ověření samozřejmě mohly selhat kvůli technickým rozdílům nebo potížím, navzdory snaze zajistit, aby tomu tak nebylo. Při validaci byly také použity další modely, protože pro řízení programu vývoje léků je nezbytné, aby zjištění byla dostatečně robustní a použitelná nad rámec jednoho úzkého experimentálního modelu, který mohl stačit pro publikaci.

Na jiném místě článku Begley definuje „nereprodukovaný“ jako termín, který přiřadil „na základě zjištění, která nejsou dostatečně robustní, aby řídila program vývoje drog“. Tento postoj je samozřejmě pochopitelný u někoho, kdo vede program vývoje onkologických léků pro významnou farmaceutickou společnost. Hledá výsledky, které by mohl přeměnit na léky schválené FDA, které by mohl uvést na trh dříve, než to udělají jeho konkurenti. Takže to, co dělá, je víc, než se jen snažit reprodukovat výsledky popsané v publikaci. Jeho tým 100 vědců se snaží reprodukovat výsledky a rozšířit je na více modelových systémů relevantních pro návrh léků. Tedy v podstatě aplikovaná věda. Představte si to takto: Kolik základních vědeckých objevů ve fyzice a chemii se kdy proměnilo v produkt? Kolik z těchto zjištění je dostatečně robustních a reprodukovatelných ve více modelových systémech, aby opravňovalo tým inženýrů utrácet miliony dolarů za vývoj produktů? Jsou fyzici, materiáloví vědci, chemici a inženýři posedlí tím, jak málo poznatků základní vědy v jejich oborech lze úspěšně použít k výrobě produktu?

Já vím, já vím, jablka a pomeranče. V medicíně to ti z nás, kteří se zabývají výzkumem, dělají proto, aby porozuměli chorobnému procesu dostatečnému k vyvinutí nové účinné léčby. Je to velmi jasné v tom, co děláme. Někdy však zapomínáme, jak důležité je mít k dispozici velký a robustní seznam preklinických výsledků, na nichž lze založit programy translačního výzkumu. Je důvod zjevně klesajícího procenta základních vědeckých studií, které jsou úspěšně převedeny do léků, spíše funkcí zvyšující se schopnosti vědců, prostřednictvím rozsáhlého screeningu genomu a malých molekul, identifikovat stále více potenciálních molekulárních cílů a potenciálních léků k použití? proti nim, než aby vědci udělali něco špatného? Také se musím ptát, jestli to, co Begley a Ellis pozorují, je efekt poklesu urychlený 100 vědci, kteří se potulují po vědecké literatuře a hledají výsledky experimentů, které mohou přeměnit na drogy. Jak jsem uvedl dříve, efekt poklesu neznamená, že věda nefunguje, a jak zde zdůrazním, téměř by se dalo očekávat, že samotné Begleyho metody urychlí efekt poklesu.

Zbytek příběhu

Nechápejte mě špatně. Ačkoli považuji premisu Begleyho a Ellisova článku za zavádějící, jsou zde důležité a znepokojivé informace. Bohužel ty opravdu důležité a znepokojivé informace nejsou v Begleyho a Ellisově papíru. Vynechání těchto kritických informací mi připadá jako kuriózní rozhodnutí ze strany autorů a editorů Nature.

V novinách se například dozvíme toto:

Ve studiích, pro které bylo možné zjištění reprodukovat, věnovali autoři velkou pozornost kontrolám, činidlům, zaujatosti zkoušejícího a popisu kompletního souboru dat. U výsledků, které nebylo možné reprodukovat, však nebyla data rutinně analyzována vyšetřovateli zaslepenými vůči experimentálním versus kontrolním skupinám. Vyšetřovatelé často prezentovali výsledky jednoho experimentu, jako je jedna analýza Western-blot. Někdy uvedli, že předložili konkrétní experimenty, které podpořily jejich základní hypotézu, ale které neodrážely celý soubor dat. Neexistují žádné pokyny, které by vyžadovaly, aby byly všechny soubory dat hlášeny v dokumentu; často jsou původní data odstraněna během procesu vzájemného hodnocení a publikování.

To je jeden z důvodů, proč se při recenzování dokumentů vždy ptám, zda byly testy provedeny naslepo, zvláště když výsledky zahrnují výběr částí histologických preparátů pro jakýkoli druh kvantifikace.

V rozhovoru se však dozvídáme mnohem důležitější informace:

Když replikační tým Amgen složený z asi 100 vědců nemohl potvrdit hlášené výsledky, kontaktoval autory. Ti, kteří spolupracovali, diskutovali o tom, co by mohlo být příčinou neschopnosti společnosti Amgen potvrdit výsledky. Někteří nechali Amgen vypůjčit si protilátky a další materiály použité v původní studii nebo dokonce opakovat experimenty pod vedením původních autorů.

Někteří autoři požadovali, aby vědci Amgen podepsali dohodu o mlčenlivosti, která jim zakazovala zveřejnit data, která jsou v rozporu s původními zjištěními. “Svět se nikdy nedozví”, kterých 47 studií – mnohé z nich vysoce citované – jsou zjevně nesprávné, řekl Begley.

Považuji za velmi zajímavé, že Begley nezmínil tuto poměrně důležitou informaci v časopise Nature a proč on a Ellis nepovažovali za vhodné jmenovat jména studií, u nichž nebyly podepsány smlouvy o mlčenlivosti. Člověk si klade otázku, jestli on (a redaktoři Nature) měli obavy ze soudního sporu. V každém případě musí dohody o mlčenlivosti zjevně předcházet dokumentu Nature. To mi říká, že Begley se v podstatě podílel na tom, že neodhalil, že jeho tým nebyl schopen reprodukovat výsledky, zjevně si nemyslel, že takové dohody byly v té době příliš vysokou cenou za přístup k činidlům a pomoc při rozvoji úsilí jeho společnosti. Je ochoten to připustit ve zpravodajských rozhovorech, zjevně, ale ne v časopise Nature, který je používán jako široká strana proti současným snahám o předklinický vývoj léků.

Zde je další velmi dráždivá pasáž z papíru Begleyho a Ellise:

Některé nereprodukovatelné preklinické články vytvořily celé pole se stovkami sekundárních publikací, které rozšiřovaly prvky původního pozorování, ale ve skutečnosti se nesnažily potvrdit nebo zfalšovat jeho základní základ. Ještě znepokojivější je, že některé výzkumy spustily řadu klinických studií – což naznačuje, že mnoho pacientů se podrobilo zkoušce režimu nebo látky, které by pravděpodobně nefungovaly.

Proč říkám, že je to „dráždivá“ pasáž? Jednoduchý. Bylo by velmi užitečné, kdyby Begley a Ellis skutečně pojmenovali několik těchto „celých polí“, nemyslíte? Předpokládám, že to pravděpodobně nedokázali, aniž by nepřímo odhalili, které dokumenty, jejichž výsledky Begleyho tým nedokázal reprodukovat. Nedostatek těchto informací činí tuto hádku proti tomu, jak se dnes provádí předklinický výzkum, mnohem méně užitečným pro skutečné vyřešení problému, než by mohl být. Posouzení ironie papírového zábradlí vůči současným metodám preklinického výzkumu, které samo o sobě neodhaluje své metody dostatečně podrobně, aby mohly být vyhodnoceny, nebo dokonce své výsledky, s výjimkou dosti vágních způsobů, je opět ponecháno jako cvičení pro čtenáře SBM.

Existuje také mnoho vysvětlení pro variabilitu publikovaných výzkumů, jak na to poukázali jiní komentátoři. Například laureát Nobelovy ceny Phil Sharp se zabývá jedním problémem:

Nejčastější odpovědí napadených vědců bylo: „Neudělali jste to správně. Biologie rakoviny je skutečně ďábelsky složitá, poznamenal Phil Sharp, biolog rakoviny a laureát Nobelovy ceny z Massachusettského technologického institutu.

I v těch nejpřísnějších studiích mohou být výsledky reprodukovatelné pouze za velmi specifických podmínek, vysvětlil Sharp: „Rakovinná buňka může reagovat jedním způsobem v jednom souboru podmínek a jiným způsobem v různých podmínkách. Myslím, že z toho může pramenit velká variabilita.“

Je to také pravda. Vzpomínám si, že koncem devadesátých let mělo několik laboratoří potíže s reprodukováním přelomové práce Judaha Folkmana o inhibitorech angiogeneze, včetně laboratoře, kde jsem v té době pracoval. Dr. Folkman poskytl reagencie, protokoly a rady každému, kdo se zeptal, a nakonec jsme byli schopni zjistit, v čem je problém, součástí toho bylo, že peptid, který jsme používali, byl snadno denaturovaný. Také jsme se dozvěděli, že totéž udělal pro několik laboratoří, dokonce až do té míry, že vyslal jednoho ze svých postdoků, aby pomohl dalším vyšetřovatelům. Nyní si představte, že by Folkman byl jako jeden z vědců, kteří požadovali dohody o mlčenlivosti, když Begleyho skupina měla potíže s reprodukováním jeho studií.

Bez ohledu na problémy s článkem Begleyho a Ellise však poskytují užitečné informace a identifikují to, co se zdá být vážným problémem. Problém není ani tak velký v tom, že tak málo základních vědeckých objevů skončí jako léky, s laskavým svolením společnosti Amgen nebo jednoho z jejích velkých farmaceutických konkurentů. Spíše je to nedbalost, která je příliš běžná ve vědecké literatuře, spojená s publikační zaujatostí, zaujatostí vyšetřovatelů a rozšiřováním screeningových experimentů prováděných za účelem identifikace genomických cílů a malých molekul s biologickými účinky, která se změnila v pověstnou požární hadici dat, často mnoho terabajtů na obrazovku. Zajímalo by mě také, zda část problému spočívá v tom, že všechny „snadné“ molekulární cíle pro terapii již byly identifikovány a zůstaly ty obtížné a problematické. Výsledek je zmíněn, ale není dostatečně diskutován ve zprávě, kterou jsem citoval výše:

Ještě koncem 90. let 20. století byla většina potenciálních cílů proti rakovině podpořena 100 až 200 publikacemi. Nyní jich každý může mít méně než půl tuctu.

Velkou vinu za to mohou genomické, proteomické a metabolomické revoluce, ke kterým došlo za posledních 10–15 let.