Ultimovacs - statistikk for dummies


Hei,

Som flere rundt omkring måtte jeg bruke litt tid på å forstå det alle snakker om vedr. Ultimovacs’s to nært forstående fase II studier INITIUM og NIPU - nemlig at desto lengre tid som går, desto bedre kan man anta at UV-1’s effekt er. Sagt på en annen måte, risikojustert avkastning med hensyn på medgått tid.

Risikojustert avkastning brukes primært i bakspeilet, med b.la. Sharpe ratio - men man kan også bruke aksjens beta mot referanseindeksen eller pre-definerte nivåer som f.eks. 3:1 regelen til å håndtere risikojustert avkastning. Dette har jeg brukt i de alle fleste år jeg har vært på børs.

Ultimovacs er dog en annen utfordring, og jeg tenkte jeg skulle prøve å forklare hvordan de flittige nevnte statistikerne fra Tekinvestor har begrunnet resonnementet sitt. Merk at dette er en forenkling og ikke har til hensikt å anta noe om effekt eller ukjente variabler, men heller illustrere med et enkelt oppsett hvordan man kan regne seg frem til det faktum at medgått tid øker sannsynlighet for bedre data.

Jeg holder meg i denne teksten til INITIUM, som er en studie på hudkreft.

Hudkreft er en kjent sykdom, og alle som blir diagnosert med dette får en forventet prognose. Prognosen sier noe om sannsynligheten for overlevelse, og forut dette - hvor lenge du mest sannsynlig har igjen å leve. Denne prognosen er basert på statistikk fra alle andre som har hatt samme sykdom.

(Husk at individet kan være langt utenfor statistikken - eller medianen. Som det kjente ordtaket fra dr. Cox i TV-serien ‘Scrubs’ sier - «Statistics are irrelevant for the individual»)

Med dette i mente, la oss tenke oss at vi samler 156 pasienter diagnosert med sykdommen hudkreft av ca samme severitet og stenger de inne i et rom uten vinduer eller dører. De får ingen behandling, men selvfølgelig mat og vann. Basert på statistikken vi har om sykdommen og hvordan den utvikler seg vil vi da etter f.eks etter 11 måneder kunne åpne rommet og med en ganske stor sikkerhet si noe om hvor mange som har dødd og hvor mange som har blitt verre.

La oss gjøre det samme enda en gang, men nå gir vi alle sammen den standardiserte behandlingen for hudkreft. En som er bevist effektiv og brukes i all behandling av sykdommen. Vi åpner rommet igjen etter 11 måneder og kan igjen si med ganske stor sikkerhet hvordan pasientene har det, men mer viktig - vi kan si med ganske stor sikkerhet at populasjonen som en helhet har færre dødsfall og færre negative utviklinger, noe som gir mening siden de fikk behandling.

Til slutt kjører vi samme eksperiment enda en gang hvor alle 156 pasienter får standardbehandlingen, men denne gangen gir vi 2/3 en eksperimentelle behandling i tillegg! Denne eksperimentell behandlingen vet vi ikke effekten av, og den får vi kun vite når vi igjen åpner rommet etter 11 måneder og sjekker status på alle pasientene. Først da kan vi med ganske god sikkerhet si noe om den eksperimentell behandlingen var fordelaktig, og dermed eventuelt bruke eller ikke bruke denne fremover. Eventuelt kjøre ett nytt eksperiment med flere deltakere for å være enda sikrere på at effekten er der.

Det jeg har beskrevet over er en forenklet versjon av INITIUM, med en vesentlig forskjell. I stedet for å åpne rommet etter 11 mnd så åpner vi rommet når vi får beskjed om at 70/156 pasienter har fått et event/progresjon i sykdommen. Et event i dette tilfellet vil være at du blir vesentlig friskere (tumorkrymping +20%), sykere (tumorvekst +10%) eller at du dør.

Siden 1/3 (som kun får vanlig behandling) er mindre enn 2/3 (som får vanlig behandling + UV-1) og vi leser av studien/ser effekten av UV-1 vil det hvis leseren har fulgt logikken være ganske selvforklarende at medgått tid er positivt for effekten av UV-1. Fungerer UV-1 godt tar det lengre tid før pasientene får progresjon.

Bakgrunnen for at man kan «regne» seg frem til hvor stor sannsynligheten for gode data er er at vi fikk løpende oppdateringer på rekrutteringen til studiet og at hudkreft er en kjent sykdom som har vært involvert i mange andre studier som sier noe om forventet progresjonsfri overlevelse (mPFS). Basert på dette er det i utgangspunktet ikke veldig komplisert å regne seg frem til noen sannsynligheter.

Det skal sies at den forventede sannsynligheter blir påvirket av studiepopulasjonens helsetilstand og dens tilhørende mPFS (denne får vi ikke vite ved studieavlesning da mPFS måler medianen i progresjonsfri overlevelse, og 70 er mindre enn 78 som vil være medianen på en studiepopulasjon av 156 pasienter. Det er heller ikke et mål i seg selv. Studiet ønsker å se på forskjellen mellom kontrollarm 1/3 og eksperimentell arm 2/3.

Dette siste her en min vurdering av bakgrunnen for at ledelsen i selskapet, som gjeste Radium podcast for et par uker siden, unngikk å si for mye om tidsaspektet og medgått tid i sannsynlighet for gode data. Spekulasjoner blant ledelsen angående dette ville være uproft. Litt som om ledelsen i et annet selskap skulle spekulere i om prøveboringsstart på en letelisens og medgått tid skulle si noe om sannsynligheten for funn av hydrokarboner. (For de som en interessert, går det over 8 uker pleier de å ha funnet noe).

Jeg er i sum nå komfortabel med at selskapet kommer til å levere et positivt resultat, hvor bra aner jeg ikke, og har posisjonert meg deretter. Så vil tiden vise om jeg har rett eller feil.

Til slutt, data vil være data - og reprising, (enten opp eller ned), vil være betinget data.

*Skrevet på tlf og det tas forbehold om skrivefeil og dårlig formatering.

Matro

Redigert 01.04.2023 kl 19:57 Du må logge inn for å svare
h3nk1
01.04.2023 kl 20:08 995

Dette var et flott forsøk på å forenkle og formidle logikken som underligger at «jo mer tid som går, jo mer sannsynlig» blir det at studiene oppnår sine endepunkter. Ingenting å utsette, annet enn å tilføye at uansett hvilken historisk kontroll man legger til grunn (inkludert de hvor kontrollarmene har relativt sett lengst overlevelse), så er man nå i et tidsrom hvor sannsynlighetsovervekt er etablert (med god margin, og hensyntatt «datavask»). Det er også viktig å understreke at dette er randomiserte studier som vil gi en robust statistisk fasit på om UV1 gir ønsket effekt (eller ikke).

Edit:

Som nevnt under, og som gikk meg hus forbi i farten, det er korrekt at kontroll- og eksperimentell arm er like store i INITIUM (og NIPU). Samt definisjonen av event som progresjon, ikke forbedring.
Redigert 01.04.2023 kl 21:43 Du må logge inn for å svare
Matro
01.04.2023 kl 21:03 913

Pirogov skrev Innlegget er slettet
Se der ja, beklager det. 50/50.
draugen
01.04.2023 kl 21:31 868

de to tingene du sier her er vel noe selvmotsigende...
- Et event i dette tilfellet vil være at du blir vesentlig friskere (tumorkrymping +20%)
- Fungerer UV-1 godt tar det lengre tid før pasientene får progresjon
Capaz
01.04.2023 kl 21:41 848

Ja, her har det blitt litt feil. Et event inntreffer ved progresjon eller død, ikke ved forbedring av tilstanden.

Så da forstår man lettere rasjonalet som fremstilles om at lengre tid til 70 events er positivt.

Takk for et godt innlegg, Matro, godt å se at det finnes seriøse skribenter her inne også.
Redigert 01.04.2023 kl 21:42 Du må logge inn for å svare
Polygon
01.04.2023 kl 21:48 832

Det ble noe feil der ja. PR (Partial response) etter RECIST-kriterier, som er en standard i kreftforskning, er at målte svulster har krympet med 30%, altså -30%. PD (Progressive disease) er at målte svulster har vokst med 20%, altså +20%. SD (Stable disease) er alt i mellom. Det er bare PD-eventer og død som teller som eventer i INITIUM og NIPU.
Redigert 01.04.2023 kl 21:51 Du må logge inn for å svare