Evaluering
Måske er I i gang med en kampagne, som I ønsker at teste, om den ”går rent ind” blandt målgruppen, eller om den kan optimeres? Eller måske skal I have evalueret, om I har nået jeres mål, fx i forbindelse med et større projekt, en forandrings-/udviklingsproces eller undervisningsvirksomhed?
Evaluering kan være relevant i mange forskellige sammenhænge, hvor værdien af en indsats skal vurderes, og kan selv sagt derfor omfatte mange forskellige typer af undersøgelser.
Herunder er beskrevet en række typiske brugsscenarier for evalueringer:
- Evaluering af kampagne/kommunikation - prætest
- Evaluering af kampagne/kommunikation - posttest
- Evaluering af undervisnings-/uddannelsesforløb
- Evaluering af projekt/forandrings- eller udviklingsproces
Jysk Analyse har erfaring med at anvende både kvantitative og kvalitative metoder til evaluering - alt afhængig af hvilken metode, der er mest fordelagtig i den konkrete problemstilling.
Evaluering af kampagne/kommunikation/aktiviteter - prætest
- Få mere ud af reklamekronerne
Hvorfor forlade sig på fornemmelser, når man kan få viden? Når en virksomhed ønsker at gennemføre en kampagne, er det fordelagtigt at teste den på målgruppen, før den udsendes. En sådan test kan give viden om målgruppens opfattelse af kampagnens budskab, form og virkemidler. Dette kan bruges til at evaluere, om kampagneelementerne virker som ønsket, og på den måde give input til at optimere kampagnen. Sådan får du mere ud af dine reklamekroner.
Jysk Analyse har gennemført prætest af kampagner/aktiviteter for både offentlige og private virksomheder. Bl.a. har vi gennemført prætest i forbindelse med udvikling af informationskampagner, patientinformation samt produkt-, brand- og konceptlaceringer.
Udbytte
En prætest kan gennemføres såvel kvalitativt som kvantitativt. Hvis den gennemføres kvalitativt, er følgende nogle af de emner, der kan behandles i en sådan kampagneevaluering.
- Målgruppens bevidsthed, viden og holdning til emnet
- Målgruppens informationsbehov
- Målgruppens informationssøgning og mediebrug
- Opfattelse af kampagnens emne og budskab. Slår den på "det rigtige"?
- Opfattelse af kampagnens form. Appellerer billeder/grafik? Hvordan opafftes tiltaleform/sprog?
- Generering af nye kampagneideer fra målgruppen
- Målgruppens holdning til udvalgte konceptideer og ideer til medier
Hvis evalueringen gennemføres kvantitativt, kan I fx få afdækket nogle af følgende emner:
- Målgruppens kendskab og opfattelse af emnet, fx kendskab til et bestemt mærke eller produkt
- Målgruppens adfærd/forbrug, samt barrierer for ønsket adfærd
- Målgruppens mærkepræference
- Målgruppens opfattelse af udvalgte designforslag, konceptideer, navneforslag, ideer til medier m.v.
En kvantitativ prætest kan ligeledes kombineres med en nulpunktsmåling. Således kan fx kendskabet til et bestemt emne/mærke sammenlignes ved en efter-måling, og effekten kan således blive afdækket.
Anvendelige metoder til prætest:
En kampagne kan prætestes, når den er mere eller mindre helt "færdigudviklet". Men kan også testes i opstartsfasen, hvor kun de store linjer er fastlagt, og hvor der således i højere grad er fokus på at teste kampagnens emne og koncept, fx hovedbudskab og valgte medier.
Både kvalitative og kvantitative metoder kan være fordelagtige: Fx webinterview, telefoninterview, hall test, dybdeinterview eller fokusgrupper.
Evaluering af kampagne/kommunikation/aktiviteter - posttest
- Få viden om effekten
Der kan være forskellige gode grunde til at postteste en kampagne eller anden aktivitet. En grund kan være et behov for at dokumentere eller bevise effekten af denne, fx over for interessenter. En anden god grund kan være at få erfaring i, hvad der virker og ikke virker og anvende denne viden fremover til at gennemføre lignende kampagner/aktiviteter med samme målgruppe eller inden for samme emnefelt.
Udbytte
En posttest kan gennemføres såvel kvalitativt som kvantitativt. Her er eksempel på spørgsmål, der kan besvares, hvis en kampagne/aktivitet evalueres kvantitativt:
- Hvor stor andel af målgruppen har bemærket kampagnen/aktiviteten?
- Hvor mange har modtaget og læst nogle af kampagnematerialerne?
- Hvordan vurderer de kampagnen/aktiviteterne? Synes de om idéen med kampagnen/aktiviteten? Er kampagnen/aktiviteten relevant? Interessant?
- I hvilken udstrækning har kampagnen/aktiviteten givet anledning til nogen holdnings- eller adfærdsændringer?
- Har den givet anledning til, at man har talt med nogen om kampagnen?
Anvendelige metoder til posttest:
Fx webinterview, telefoninterview, hall test, dybdeinterview eller fokusgrupper. En posttest gennemføres typisk nogle uger efter kampagnen/aktiviteten har kørt, hvor man måler korttidseffekten. Hvis man i højere grad ønsker at måle langtidseffekten, kan man dog også gennemføre en posttest noget længere tid, efter at kampagnen/aktiviteten har fundet sted.
Evaluering af undervisnings-/uddannelsesforløb
- Sådan får I hjælp til at komme helt i mål
Færdes du inden for skole- og undervisningsverdenen? Så har du nok også oplevet, at der er stort behov for at evaluere og sikre sig, at de mål, som politikere og skole opstiller, nås. Supervision, MUS-samtaler, skole-hjem-samtaler, elevsamtaler, selvevalueringer, teammøder, cafémøder etc. - dette er bare nogle af de måder, man bruger til løbende at evaluere.
Jysk Analyse har erfaring med gennemførelse af systematisk dataindsamling til brug for evaluering af undervisnings-/uddannelsesforløb.
Udbytte
En evaluering af undervisnings-/uddannelsesforløb kan gennemføres såvel kvalitativt som kvantitativt. Det specifikke formål med en evaluering kan være alt lige fra en evaluering af frafald, input til rekruttering af elever/kursister, afdækning af elevers/kursisters tilfredshed, evaluering af markedsføringsindsats eller noget helt andet.
Her er eksempler på emner, der kan afdækkes, hvis et forløb evalueres kvantitativt:
- Kursisters kendskab til uddannelsen, før de starter
- Motivation for at vælge uddannelsen/kurset
- Årsager til at kursister stopper
- Kursisters tilfredshed med uddannelse/kursus, fx arbejdspres, faglige niveau, sociale miljø, egen formåen etc.
- Test af ideer, der kan øge gennemførselsprocenten på uddannelsen/kursus
Her er eksempel på emner, der kan afdækkes, hvis et forløb evalueres kvalitativt:
- Beslutningsproces i forbindelse med valg af uddannelse
- Kursisters informationssøgning inden studiestart
- Kursisters forventninger til uddannelsen og indfrielse af disse
- Kursisters motivation for at tage uddannelsen
- Årsager til at kursister stopper
- Kursisters opfattelse af uddannelse/kursus, hvordan opleves det sociale miljø i klassen, miljøet på skolen, undervisningen, det faglige niveau, udbytte, arbejdspres, de fysiske rammer etc.?
- Barrierer/muligheder for at gennemføre uddannelsen. Hvad kan hæmme motivationen/lysten til skolearbejdet? Hvad øger motivationen? Er der noget, som skolen kan gøre for at øge motivationen?
Anvendelige metoder til evaluering af undervisning:
Fx webinterview, telefoninterview, skriftlige spørgeskemaer, dybdeinterview, telefoniske dybdeinterview eller fokusgrupper.
Evaluering af projekt/forandrings- eller udviklingsproces
- Få viden om værdien af jeres indsats
Nåede I de mål, I satte jer? Hvordan vurderer andre jeres resultater? Eller står i midtvejs og skal have evalueret, hvordan processen er forløbet indtil videre? Der kan være forskellige formål og fokusområder i en evaluering af en forandrings- eller udviklingsprojekt/proces - afhængig af om evalueringen fx har fokus på målopfyldelsen, virkningen eller processen.
Jysk Analyse tilbyder således forskellige typer af evalueringer, som kan være relevante at arbejde med i en udviklingsproces. Flere typer kan kombineres.
- Målopfyldelsesevaluering som afdækker, om de konkrete mål som er opstillet for projektet er nået. Ét mål kan fx være, at 95% af patienterne på et sygehus er tilfredse med den skriftlige information. Således har evalueringen til formål at afdække, om dette er sket.
- Virkningsevaluering er en test af, hvorvidt en indsats omsættes til de resultater, man forventede. Hvad er det der virker? Hvornår? For hvem? Osv. Man vurderer således både processen og effekt, og tester, hvordan indsats (proces) og effekt hænger sammen, dvs. en evaluering af aktiviteternes egnethed til at nå mål og ønskede effekter.
- En interessent-evaluering, hvor interessenters kriterier inddrages og lægges til grund for evalueringen. Det kan fx være kriterier fra brugere, medarbejdere, pårørende, politikere, lokalsamfund eller økonomiske interessenter. Kan således fx bestå i en brugertilfredshedsundersøgelse.
- Procesevaluering, hvor man har fokus på at beskrive, hvordan en proces er forløbet, og hvordan den evt. kan forbedres. Det kan være en midtvejsevaluering, hvor det vurderes, hvordan processen er gået indtil videre, eller en slutevaluering.
Anvendelige metoder til evaluering af undervisning:
Både kvalitative og kvantitative metoder, kan være anvendelige. Fx dybdeinterview, observation, fokusgrupper, webinterview, telefoninterview, skriftlige spørgeskemaer og registrering.
Kontakt
Kontakt Jysk Analyse for at høre mere om evalueringer.