Mag je al testen?
Voordat je iets test, moet de bestaande campagne gezond zijn: minimaal 1 procent reacties na 200 verzonden mails. Zit je daaronder, dan komt de mail waarschijnlijk niet aan, en meet een test alleen dat beide varianten in de spam belanden.
Repareer dan eerst de bezorgbaarheid: bounce, opwarmen, daglimiet, domeinen. Daarna pas testen.
Drie soorten test
| Soort | Wat wisselt | Wat vast blijft | Wat je leert |
|---|---|---|---|
| Lijst-test | Wat wisseltDe lijst of de doelgroepfilters | Wat vast blijftTekst, aanbod, verzenders, ritme | Wat je leertOf deze doelgroep beter past. Geen uitspraak over de tekst |
| Tekst-test | Wat wisseltOnderwerp, opening, tekst of slotvraag | Wat vast blijftLijst, aanbod, verzenders, ritme | Wat je leertOf deze tekst aanslaat bij deze doelgroep. Geen uitspraak over de doelgroep |
| Gecombineerd | Wat wisseltLijst en tekst | Wat vast blijftAlleen de verzenders | Wat je leertEen richting, geen oorzaak |
Wat je eerst test
Van meeste naar minste effect. Sla niets over omdat het lager in de lijst leuker is om aan te zitten.
De lijst
Een slechte lijst maakt elke tekst kapot.
Het aanbod
Een gesprek vragen of iets sturen is een ander bod.
Het onderwerp
Goedkoop te testen.
De openingszin
Na het onderwerp de grootste knop.
De slotvraag
Het ritme
Dag 3 of dag 2 voor de eerste vervolgmail.
De lengte
Vier mails of zes.
De negen stappen
Schrijf het vermoeden in één zin
"Variant X haalt meer positieve reacties dan de huidige campagne, omdat Y." Lukt dat niet in één zin, dan is de test nog niet scherp.
Benoem wat wisselt en wat gelijk blijft
Schrijf het letterlijk op. Blijkt iets wat gelijk moest blijven toch te wisselen, dan is het een gecombineerde test en noteer je hem ook zo.
Bepaal de omvang
Minimaal 500 verzonden mails per variant voordat er een oordeel is; 2.000 per variant is onze standaard. Dat zijn ondergrenzen uit ons eigen beleid, geen statistiek: onder de 500 is elk verschil ruis. Een verschil van een paar procent toon je met dit volume niet aan. Test dus alleen dingen waarvan je een groot verschil verwacht.
Leg vooraf vast wat succes is
De doelwaarde, de huidige waarde, het minimum aantal verzonden mails per variant en de meetdatum. Achteraf bepalen wat succes was, is geen test.
Start beide varianten tegelijk, op dezelfde mailboxen
Zelfde dag, zelfde verzenders, zelfde schema. Start de ene op maandag en de andere op donderdag, dan meet je de dag van de week mee.
Meet op dag 21 na de laatste mail van de reeks
Eerder meten telt vooral mail 1 mee. Reacties op koude mail druppelen wekenlang na.
Reken de maat uit
Het aantal mensen dat positief reageerde, gedeeld door het aantal mensen dat je hebt benaderd.
Controleer de bounce voordat je iets concludeert
Ligt de bounce van de ene variant meer dan twee keer zo hoog als die van de andere, dan is de test ongeldig: het verschil zit in de lijst, niet in de tekst. Noteer dat als uitkomst en draai opnieuw met een geverifieerde lijst.
Neem het besluit volgens de tabel hieronder
En schrijf het in het logboek.
Beslisregels
| Verschil | Besluit |
|---|---|
| De variant is 20 procent of meer beter | BesluitWinnaar. Wordt de nieuwe standaard. Vastleggen en door naar de volgende test |
| De variant is 10 tot 20 procent beter | BesluitHerhalen op verse leads. Wint hij opnieuw, dan pas standaard |
| Het verschil is kleiner dan 10 procent | BesluitOnbeslist. Groter opzetten of laten vallen |
| De variant verliest | BesluitNoteer waarom je denkt dat hij verloor. Een verlies is ook een uitkomst |
| Gecombineerde test, de variant wint | BesluitEen vermoeden. Niet overnemen als standaard, wel opsplitsen in losse tests |
Het logboek
Een test is pas gedaan als alle negen velden gevuld zijn, inclusief het besluit. Een test met een lege uitkomst is geen bewijs en telt niet mee in een volgende discussie.
Vermoeden (één zin): Soort test (lijst, tekst of gecombineerd): Wat wisselt: Wat gelijk blijft: De twee campagnes: Wat succes is (doelwaarde, huidige waarde, minimum per variant): Meetdatum: Uitkomst: Besluit:
Zes valkuilen
Drie dingen tegelijk wisselen
Dan leer je niets, ook niet als het beter wordt.
Te vroeg kijken
Na een week ziet de variant er vaak beter uit dan hij is. Wacht de meetdatum af.
Testen binnen één campagne
De cijfers van de varianten lopen dan door elkaar. Prima voor een kleine woordkeuze, onbruikbaar voor een echte test. Gebruik twee campagnes.
De verzenders wisselen halverwege
Andere mailboxen betekent andere bezorgbaarheid, en daarmee een test die alleen de mailboxen meet.
De bounce negeren
Twee keer zoveel bounces in één variant betekent dat je lijsten vergelijkt, niet teksten.
Een gecombineerde winnaar tot standaard verklaren
Verleidelijk, en precies de fout die deze werkwijze moet voorkomen.