Testen in outbound: één variabele per test

Test één ding tegelijk, met twee campagnes naast elkaar op dezelfde mailboxen, en leg vooraf vast wanneer er een winnaar is. Wie lijst, tekst en aanbod tegelijk wisselt en het beter ziet worden, weet niet waarom en kan het niet herhalen.

Melle Hilbrink · Bijgewerkt

In het kort

Werkwijze · 9 stappen

  1. A en BTwee campagnes, één verschil
  2. 500+mails per variant
  3. Dag 21meten
  4. 20%beter: winnaar

Mag je al testen?

Voordat je iets test, moet de bestaande campagne gezond zijn: minimaal 1 procent reacties na 200 verzonden mails. Zit je daaronder, dan komt de mail waarschijnlijk niet aan, en meet een test alleen dat beide varianten in de spam belanden.

Repareer dan eerst de bezorgbaarheid: bounce, opwarmen, daglimiet, domeinen. Daarna pas testen.

Drie soorten test

Drie soorten test in outbound: wat wisselt, wat vast blijft en wat je leert
SoortWat wisseltWat vast blijftWat je leert
Lijst-testWat wisseltDe lijst of de doelgroepfiltersWat vast blijftTekst, aanbod, verzenders, ritmeWat je leertOf deze doelgroep beter past. Geen uitspraak over de tekst
Tekst-testWat wisseltOnderwerp, opening, tekst of slotvraagWat vast blijftLijst, aanbod, verzenders, ritmeWat je leertOf deze tekst aanslaat bij deze doelgroep. Geen uitspraak over de doelgroep
GecombineerdWat wisseltLijst en tekstWat vast blijftAlleen de verzendersWat je leertEen richting, geen oorzaak

Wat je eerst test

Van meeste naar minste effect. Sla niets over omdat het lager in de lijst leuker is om aan te zitten.

  1. De lijst

    Een slechte lijst maakt elke tekst kapot.

  2. Het aanbod

    Een gesprek vragen of iets sturen is een ander bod.

  3. Het onderwerp

    Goedkoop te testen.

  4. De openingszin

    Na het onderwerp de grootste knop.

  5. De slotvraag

  6. Het ritme

    Dag 3 of dag 2 voor de eerste vervolgmail.

  7. De lengte

    Vier mails of zes.

De negen stappen

  1. Schrijf het vermoeden in één zin

    "Variant X haalt meer positieve reacties dan de huidige campagne, omdat Y." Lukt dat niet in één zin, dan is de test nog niet scherp.

  2. Benoem wat wisselt en wat gelijk blijft

    Schrijf het letterlijk op. Blijkt iets wat gelijk moest blijven toch te wisselen, dan is het een gecombineerde test en noteer je hem ook zo.

  3. Bepaal de omvang

    Minimaal 500 verzonden mails per variant voordat er een oordeel is; 2.000 per variant is onze standaard. Dat zijn ondergrenzen uit ons eigen beleid, geen statistiek: onder de 500 is elk verschil ruis. Een verschil van een paar procent toon je met dit volume niet aan. Test dus alleen dingen waarvan je een groot verschil verwacht.

  4. Leg vooraf vast wat succes is

    De doelwaarde, de huidige waarde, het minimum aantal verzonden mails per variant en de meetdatum. Achteraf bepalen wat succes was, is geen test.

  5. Start beide varianten tegelijk, op dezelfde mailboxen

    Zelfde dag, zelfde verzenders, zelfde schema. Start de ene op maandag en de andere op donderdag, dan meet je de dag van de week mee.

  6. Meet op dag 21 na de laatste mail van de reeks

    Eerder meten telt vooral mail 1 mee. Reacties op koude mail druppelen wekenlang na.

  7. Reken de maat uit

    Het aantal mensen dat positief reageerde, gedeeld door het aantal mensen dat je hebt benaderd.

  8. Controleer de bounce voordat je iets concludeert

    Ligt de bounce van de ene variant meer dan twee keer zo hoog als die van de andere, dan is de test ongeldig: het verschil zit in de lijst, niet in de tekst. Noteer dat als uitkomst en draai opnieuw met een geverifieerde lijst.

  9. Neem het besluit volgens de tabel hieronder

    En schrijf het in het logboek.

Beslisregels

Beslisregels na een test: het verschil en het besluit
VerschilBesluit
De variant is 20 procent of meer beterBesluitWinnaar. Wordt de nieuwe standaard. Vastleggen en door naar de volgende test
De variant is 10 tot 20 procent beterBesluitHerhalen op verse leads. Wint hij opnieuw, dan pas standaard
Het verschil is kleiner dan 10 procentBesluitOnbeslist. Groter opzetten of laten vallen
De variant verliestBesluitNoteer waarom je denkt dat hij verloor. Een verlies is ook een uitkomst
Gecombineerde test, de variant wintBesluitEen vermoeden. Niet overnemen als standaard, wel opsplitsen in losse tests

Het logboek

Een test is pas gedaan als alle negen velden gevuld zijn, inclusief het besluit. Een test met een lege uitkomst is geen bewijs en telt niet mee in een volgende discussie.

Logboek voor één test

Vermoeden (één zin): Soort test (lijst, tekst of gecombineerd): Wat wisselt: Wat gelijk blijft: De twee campagnes: Wat succes is (doelwaarde, huidige waarde, minimum per variant): Meetdatum: Uitkomst: Besluit:

Zes valkuilen

  • Drie dingen tegelijk wisselen

    Dan leer je niets, ook niet als het beter wordt.

  • Te vroeg kijken

    Na een week ziet de variant er vaak beter uit dan hij is. Wacht de meetdatum af.

  • Testen binnen één campagne

    De cijfers van de varianten lopen dan door elkaar. Prima voor een kleine woordkeuze, onbruikbaar voor een echte test. Gebruik twee campagnes.

  • De verzenders wisselen halverwege

    Andere mailboxen betekent andere bezorgbaarheid, en daarmee een test die alleen de mailboxen meet.

  • De bounce negeren

    Twee keer zoveel bounces in één variant betekent dat je lijsten vergelijkt, niet teksten.

  • Een gecombineerde winnaar tot standaard verklaren

    Verleidelijk, en precies de fout die deze werkwijze moet voorkomen.

Veelgestelde vragen

Kort beantwoord

Hoeveel mails heb je nodig voor een A/B-test met koude mail?

Minimaal 500 verzonden mails per variant voordat je een oordeel velt. Onze standaard is 2.000 per variant. Onder de 500 is elk verschil ruis.

Wanneer meet je de uitslag van een test?

Op dag 21 na de laatste mail van de reeks. Wie eerder meet, telt vooral de eerste mail mee, terwijl reacties op koude mail wekenlang nadruppelen.

Kun je twee varianten binnen één campagne testen?

Voor een kleine woordkeuze wel. Voor een echte test niet, omdat de cijfers van de varianten dan door elkaar lopen. Gebruik twee campagnes die tegelijk starten op dezelfde mailboxen.

Liever laten bouwen

Wil je dit niet zelf opzetten?

Wij bouwen het op je eigen accounts en blijven het draaien: leadlijst, teksten, verzending, opvolging en pipeline als één systeem.

20 minuten. Geen pitch. Je weet daarna waar je systeem lekt.

Download de blueprint
Bekijk Growth Systems