«3 av 4 ønsker at elbilfordelene fortsetter også etter 2017», kunne NRK Nyheters Facebook-konto fortelle oss tirsdag morgen. Utgangspunktet er en undersøkelse om folks holdninger til elbiler som NAF har gjennomført, men den delte artikkelen er imidlertid ikke NRKs nyhetsartikkel om rapporten, men derimot en kronikk på NRK Ytring. Kronikken er skrevet i fellesskap av leder i NAF Stig Skjøstad og Marius Holm, leder i Miljøstiftelsen Zero. Budskapet er entydig:

Folket heier på elbilene. Debatten om elbil kan ikke handle om hvilke fordeler som skal fases ut, men om hva som skal til for å oppnå et varig marked.

Kronikkforfatterne slår tidlig fast at de «[kan avkrefte inntrykket] av at elbil ikke er så populært blant folk flest, og at det er lurt av norske politikere å kutte i elbilfordelene nå.«

Tvert imot:

En ny, stor undersøkelse fra NAF viser faktisk at så mange som 3 av 4 ønsker at elbilfordelene fortsetter også etter 2017.

Så følger en lengre argumentasjon om hvorfor det er nødvendig å opprettholde dagens pakke av elbilfordeler også fremover (ellers vil elbilmarkedet «ikke være bærekraftig«), før man avslutter med en kategorisk konklusjon:

Nå vet vi også at dette er i tråd med ønsket til folk flest.

Tre av hvilke fire?
Men hvem er egentlig disse «folk flest» som har besvart undersøkelsen? Går vi til NAFs rapport, så oppdager vi at undersøkelsen ikke baserer seg på noe representativt utvalg av befolkningen – og at man ikke engang har utført noen form for vekting for å tilstrebe representativitet.

Det er åpenbare grunner til å mistenke at dette vil gi en sterk overrepresentasjon av elbil-tilhengere blant de som velger å besvare undersøkelsen.

Undersøkelsen ble nemlig gjennomført i forbindelse med NAFs elbilkampanje «[for] å fremme kunnskap om elbilen og elbilistene, samt å undersøke potensialet i elbilmarkedet«, og respondentene måtte selv gå inn på www.elbilisten.no for å delta i undersøkelsen. Undersøkelsen ble promotert via NAFs egne kanaler (inklusive et nyhetsbrev som ble sendt til samtlige NAF-medlemmer) og med bannerannonsering på nett. (Pussig nok nevnes det ikke i NAFs rapport at deltagerne ble lokket med at de kunne vinne en Nissan Leaf.)

Skjevhet og selvselektering
Det burde være unødig å påpeke at en slik utvalgsmetode har et enormt potensiale for skjevhet i hvem som faktisk besvarer undersøkelsen. Det er ille nok når undersøkelser trekker ut X antall personer som får tilsendt spørreskjema, og så legger frem resultatene som fakta selv om det bare var halvparten (eller enda færre) som faktisk gadd å besvare spørreskjemaet.

Men i NAFs undersøkelse blir selvselekteringen enda mer utpreget, ved at man først har en kampanje som overveiende retter seg mot et bestemt segment av befolkningen, og deretter ved at man må aktivt velge å gå inn på NAFs nettside for å delta. Det er åpenbare grunner til å mistenke at dette vil gi en sterk overrepresentasjon av elbil-tilhengere blant de som velger å besvare undersøkelsen. NAFs egen rapport innrømmer litt motvillig at «Det er allikevel rimelig å anta at individer som er mer positive til elbil også er mer tilbøyelige til å ta en slik undersøkelse«, men fremholder samtidig at:

Samtidig vet vi at elbilmotstandere mobiliserte via Facebook for å få andre elbilmotstandere til å besvare undersøkelsen. Dette kan ha veid opp for den mulige skjevheten i representativiteten.

(At NAF mener at «mobilisering via Facebook» fra noen elbilmotstanderene – meg bekjent ikkke en spesielt velorganisert befolkningsgruppe – skulle være nok til å balansere ut hele skjevheten i utvalget, vitner vel strengt tatt om en rimelig liten tiltro til effekten av egen kampanje og nyhetsbrev til medlemmer.)

Det er statistisk barnelærdom at store mengder data ikke kan veie opp for systematiske skjevheter i utvalget.

Derimot fremhever NAF at hele 50.000 personer har besvart undersøkelsen, og mener at dette gjør resultatene sikre og robuste:

En svarandel på over 50 000 respondenter sikrer en god representativitet for populasjonen. Det er derfor rimelig å generalisere på bakgrunn av funnene i undersøkelsen. (…) [Vi vet også] at det ikke ble foretatt siling underveis, og at de som besøkte http://www.elbilisten.no faktisk gjennomførte undersøkelsen. Dette gjør at vi kan være trygge på at funnene er representative for nordmenns holdninger. (….) Undersøkelsen har så mange respondenter at det ikke var et statistisk behov for å vekte tallmaterialet.

Isolert sett vil det være sant at et større antall respondenter leder til bedre resultater, fordi man unngår rene tilfeldige statistiske avvik. Og hvis man kommer opp i en signifikant andel av totalpopulasjonen, begynner også de rene absolutte tallene å bli relevante.

Men det er statistisk barnelærdom at store mengder data ikke kan veie opp for systematiske skjevheter i utvalget. Det mest berømte historiske eksemplet er det amerikanske presidentvalget i 1936, der tidsskriftet Literary Digest fikk inn mer enn 2,3 millioner svar fra velgere (tilsvarende fem prosent av det totale antallet stemmer som ble avgitt) – og likevel endte med en total skivebom på valgresultatet, som avvek med nesten 20 prosentpoeng fra deres prognose. Samtidig traff meningsmålingspioneren George Gallup presist med et mye mindre utvalg – fordi han hadde passet på å vekte utvalget etter befolkningen, og tatt høyde for skjevhetene som oppstår hvis det er kun de mest interesserte som besvarer spørsmålene.
Som Tim Harford formulerer det (i en artikkel om stordata som fortjener å leses i sin helhet):

For each person George Gallup’s pollsters interviewed, The Literary Digest received 800* responses. All that gave them for their pains was a very precise estimate of the wrong answer.

At NAF har klokkertro på størrelsen i sitt utvalg, og mener at den til og med gjør at vekting blir overflødig, er i beste fall utillatelig naivt.

Liker du elbil? (PS: Elbiler er kjempebra!)
Her er det altså skjevhet både i hvem som får vite om undersøkelsen, hvem som har seg bryet med å svare på dem, og i at mange får kjennskap til undersøkelsen i tilknytning til en kampanje der de samtidig presenteres for pro-elbil informasjon. Dette siste forsterkes også av selve undersøkelsen: Den består nemlig av en sekvens med skjemaer/enkeltspørsmål, og opptil flere ganger underveis avbryter man spørsmålene for å servere leseren små «Visste du at?»-faktoider av typen «Elbilene Nissan LEAF og Tesla var de mest solgte bilene i Norge våren 2014», «De fleste elbiler har en kapasitet opp mot 150 km på ‘en tank’» og «Det koster under 20 kroner å lade en vanlig elbil«.

At en organisasjon som Zero Norge ukritisk henger seg på og presenterer slike ugyldige resultater som harde fakta er bekymringsfullt for oss som ønsker en faktabasert og offensiv miljødebatt.

Det er – nok en gang – vel kjent og dokumentert at selv små nyanser i spørsmålsstillingen kan gi store utslag i hvordan folk besvarer spørreundersøkelser. Å slenge inn denne typen «glad-nyheter» om elbil underveis i målingen – uten at det engang er direkte knyttet til spørsmålene – vil helt åpenbart bidra ytterligere til å øke antallet som sier «Ja» til fortsatte avgiftsfordeler (som er et av de aller siste spørsmålene i undersøkelsen).

Troverdighet
At interesseorganisasjoner som NAF er villige til å skryte på seg «støtte i befolkningen» basert på metodisk tvilsomme studier, er etterhvert blitt en så vanlig foreteelse at man tydeligvis bare må akseptere det som en del av samfunnsdebatten. Men at en organisasjon som Zero Norge ukritisk henger seg på og presenterer slike ugyldige resultater som harde fakta (og til og med påtar seg direkte ansvar for rapporten i et øyeblikks forsnakkelse), det er adskillig mer bekymringsfullt for oss som ønsker en faktabasert og offensiv miljødebatt. Da bør miljøorganisasjonene kjempe for elbil (og andre miljøtiltak) basert på fakta og forskning – ikke uforbeholdent skrive «så mange som 3 av 4 ønsker ____» som om dette er representativt for hele folket, når realiteten er at studien inneholder helt innlysende skjevheter.

I tillegg til de åpenbare kostnadene for egen troverdighet, kan man også lure på om Zero helt overskuer konsekvensene av å sette denne typen presedens for hva slags meningsmålinger det er legitimt å slå i bordet med. Hvis Statoil skulle finne på å gjennomføre en undersøkelse rettet inn (primært) mot ansatte i egen sektor (ispedd rikelig med faktadrypp om norsk oljebransjes miljøvennlighet og generelle fortreffelighet), og så slår opp resultatene som bevis på deres urokkelige posisjon blant den norske befolkningen – hvor skal Zero da finne den moralske autoriteten til å kritisere fremstillingen på bakgrunn av skjevhet i utvalget og spørsmålsstillingen?

Medienes portvokteransvar
Men når organisasjoner velger å utnytte metodisk sviktende resultater av bekvemmelighetshensyn, så påhviler det i hvert fall mediene å ta sitt ansvar for å gjøre en skeptisk vurdering av påstandene og stille basale kontrollspørsmål – ikke bare gjengi påstandene ukritisk og gi dem stempel som fakta.

Det er nesten umulig å ikke tolke dette som en validering av tallene fra NRKs side.

NRKs nyhetsartikkel om rapporten gjør faktisk en ikke så aller verst jobb med dette. De har riktignok ikke stilt noen egne spørsmål ved feilkildene, men faktaboksen nevner i hvert fall at undersøkelsen er foretatt på nett og at NAF bruker elbilmostandernes angivelige Facebook-mobilisering som motargument mot manglende representativitet. I tillegg refererer NRK utelukkende de resultatene som handler om hva som er de viktigste elbil-insentivene. Dette er tall som kan forventes å være langt mer representative, og der det dessuten kan argumenteres for at det uansett er mest interessant å høre hva elbil-tilhengerne har svart.

At Holm og Skjøstad presenterer de ugyldige tallene uimotsagt i sin Ytring-kronikk, er vel heller ikke noe NRK har klandres spesielt for, all den tid terskelen for å ettergå og korrigere faktapåstander i leserinnlegg synes å generelt være satt uhyre høyt i norske medier. Derimot er det langt mer betenkelig at artikkelen deles ikke bare på NRK Ytrings Facebook-sider, men også fra NRK Nyheters konto – med følgekommentaren «3 av 4 ønsker at elbilfordelene fortsetter også etter 2017. Er du enig?» Det er nesten umulig å ikke tolke dette som en validering av tallene fra NRKs side – især når du må klikke deg inn på selve artikkelen hvis du engang skal oppdage at det er en kronikk og ikke en nyhetsartikkel som NRK har delt.

Ukritisk gjengivelse
I Dagens Næringsliv er det i hvert fall ingen tvil om at tallene blir bekreftet ukritisk, i en nyhetsartikkel med tittelen «Folket vil beholde elbilfordelene«. Her slås det fast at:

I en undersøkelse gjennomført av NAF sier tre av fire spurte at de ønsker at elbilfordelene skal beholdes etter 2017. 39 prosent av de spurte vurderer å kjøpe elbil, mens fire prosent av de spurte allerede er elbileiere, noe som er høyere enn gjennomsnittet for befolkningen.

Her tas det ikke spor av forbehold – og å snakke om «de spurte» og «X prosent av de spurte«, når undersøkelsen ikke har vært oppsøkende og kun har basert seg på de som selv tar initiativ til å delta, er i hvert fall på grensen til det villedende.

I Dagens Næringsliv er det i hvert fall ingen tvil om at tallene blir bekreftet ukritisk.

(Her passer det for øvrig også å nevne at undersøkelsen slett ikke har spurt folk om de er elbileiere. Tallet på fire prosent (mer enn det dobbelte av det faktiske antallet elbileiere i befolkningen) er formodentlig antallet som har svart at de bruker elbil som vanligste fremkomstmiddel. Gitt hvor mange det er som velger elbil som et supplement til andre primærfremkomstmidler, er den faktiske forekomsten – og overrepresentasjonen – av elbil-eiere trolig adskillig høyere.)

Så lenge den er landsdekkende, er det greit?
Nationen dekker også rapporten med en tilsvarende overskrift, selv om de riktignok har valgt å runde antallet nedover og utstyre artikkel med tittelen «NAF: Sju av ti vil beholde elbilfordelene«.

Hele 50.895 personer i nær alle landets kommuner har svart på den digitale spørreundersøkelsen. Resultatene viser at 37.655 av dem, altså 74 prosent, ønsker at elbilfordelens fordeler (sic) skal bestå etter 2017.

forteller Nationen, uten å bemerke noen ting om utvelgelsesprosessen. Tvert imot blir det gitt aktive forsikringer om at resultatene er pålitelige og robuste:

Alle interesserte har hatt mulighet til å svare på nett. Resultatene er blitt statistisk bearbeidet og kvalitetssikret av analysebyrået NyAnalyse, sier [NAFs kommunikasjonssjef].

Samfunnsøkonom Mari [Mamre] i NyAnalyse sier undersøkelsen er landsrepresentativ.

– Det er over 50.000 respondenter med en god fordeling av svar fra alle landets fylker. Svarene viser kun et lite sprik mellom 71 og 75 prosent mellom fylkene, så dette er veldig robuste resultater, sier hun.

Hvis dette om at samtlige distrikter i landet er representert faktisk var det eneste NyAnalyse trakk frem når de skulle overbevise Nationens journalist at undersøkelsen var «robust», så kan man i hvert fall ikke beskylde dem for å ha feilberegnet sitt publikum…

 

*) For ordens skyld: Dette forholdstallet mellom de to presidentvalg-målingene synes å avvike fra de tallene jeg finner andre steder, så jeg vil ikke gå god for det eksakte tallet. Men det overordnede poenget består like fullt.

En lengre versjon av innlegget kan leses på forfatterens blogg. Mediekritikkspalten er støttet av Fritt Ord.

Bloggeren Doremus skriver fast for Manifest Tidsskrift om mediekritikk. Vi er generelt tilhengere av at deltakere i den offentlige debatten opptrer under fullt navn, men mener det i dette tilfellet er gode grunner til at skribenten skriver under pseudonym. Vi kjenner hans virkelige identitet og har kunnet forsikre oss om at han ikke har noen offentlig rolle eller noen synlige bindinger som kommer i konflikt med det å skrive for oss. Han er heller ikke medlem av noe parti eller annen politisk organisasjon. Vi kjenner til hans konkrete grunner til å skrive under pseudonym, og mener de er legitime og berettigede. Skribentens artikler er gode og veldokumenterte, og viktige bidrag i samfunnsdebatten. Vi er bevisste på at bruken av pseudonym stiller særlige krav til det redaksjonelle ansvaret for det som publiseres. 

Signert Ellen Engelstad og Ida Søraunet Wangberg, redaktører i Manifest Tidsskrift.