Ontdek welke e-mailtemplate beter werkt voor jouw klanten. Met A/B-testen vergelijk je een controletemplate met één of meerdere testtemplates binnen dezelfde campagne. Je kiest zelf de verdeling en beslist op basis van de resultaten welke template je verder wilt gebruiken.
Wat verandert er door een A/B-test?
Een A/B-test bepaalt welke template een geschikte campagnemail gebruikt. De trigger, productselectie, klantsoort en verzendinstellingen van de campagne blijven gelden. De test verstuurt niet alle varianten naar dezelfde bestelling.
De controletemplate is je bestaande basis. Een testtemplate kan bijvoorbeeld een ander onderwerp, een kortere tekst of een andere knop hebben. Verander bij voorkeur één onderdeel tegelijk, zodat je verschillen in resultaat beter kunt verklaren.
Een A/B-test instellen
Open E-mailcampagnes en bewerk de gewenste campagne. Volg de melding in het dashboard als de campagne eerst gedeactiveerd moet worden.
Ga naar de e-mailtemplates en kies de taal waarvoor je wilt testen: Nederlands of Frans.
Kies de controletemplate en schakel de A/B-test voor die taal in.
Voeg één of meerdere testtemplates toe. Gebruik per taal verschillende templates; dezelfde template kan niet tegelijk controle- en testtemplate zijn.
Stel het totale testpercentage in. Bij 10% testverkeer blijft 90% voor de controletemplate over.
Gebruik bij meerdere testtemplates een gelijke verdeling of pas de verdeling handmatig aan. De percentages van de testtemplates moeten samen gelijk zijn aan het totale testpercentage.
Sla de campagne op en controleer de instellingen. De campagne moet actief zijn om de normale campagnemails te verwerken; alleen de A/B-schakelaar aanzetten activeert de campagne niet.
Voorbeeld: je stelt 20% testverkeer in en verdeelt dit gelijk over twee testtemplates. De controle krijgt 80% van alle geschikte mails, testtemplate A krijgt 10% en testtemplate B krijgt 10%. De verdeling bij een klein aantal mails hoeft niet exact op deze percentages uit te komen.
Maak een aparte template voor je wijziging
Dupliceer een bestaande template voordat je die voor een test aanpast. Een template die in meerdere campagnes of varianten wordt gebruikt, verandert namelijk overal waar die gekoppeld is. Geef de kopie een herkenbare naam, bijvoorbeeld met de wijziging in de onderwerpregel. Lees ook Templates en campagnes: bewerken en dupliceren.
Nederlands en Frans afzonderlijk testen
Elke taal heeft een eigen controletemplate, testtemplates en verdeling. Je kunt dus Nederlands testen terwijl Frans alleen de normale Franse template gebruikt.
Wil je alleen de Franse test stoppen? Zet dan de Franse A/B-schakelaar uit en laat de Franse controletemplate staan. Franse mails gebruiken dan de Franse controletemplate; de Nederlandse test kan doorgaan. Een Franse template verwijderen is een andere actie en kan de taalselectie veranderen. Zie Franstalige e-mails versturen.
Resultaten bekijken
Open het tabblad A/B-testen. Kies bovenaan een datumbereik en vergelijk binnen dezelfde taal:
Ingestelde verdeling: het geconfigureerde aandeel van elke variant. Dit is niet de gemeten verdeling van de getoonde mails.
Bezorgd: het aantal geregistreerde afgeleverde mails per variant.
Openpercentage: het aandeel van de bezorgde mails waarvoor een opening is geregistreerd.
Klikpercentage: het aandeel van de bezorgde mails waarvoor een meetellende klik is geregistreerd.
Oudere mails zonder variantkoppeling staan apart als niet toegewezen. Trek geen conclusie uit één opening of klik. Verschillende aantallen bezorgde mails, de gekozen periode en beperkingen van e-mailtracking kunnen de vergelijking beïnvloeden.
Het label Beste template is een indicatie op basis van de getoonde resultaten, geen bewijs van statistische significantie. MarktMentor zet niet automatisch alle mails op die template. Je kiest en wijzigt de gewenste controletemplate zelf. Zie Statistieken van e-mailcampagnes bekijken voor de uitleg en actuele aandachtspunten.
Pauzeren en hervatten
Zet de A/B-schakelaar van een taal uit om de test te pauzeren. Nieuwe mails van die taal gebruiken dan de controletemplate. De ingestelde testverdeling, gekoppelde varianten en eerdere resultaten blijven bewaard. Bij hervatten ga je verder met dezelfde test; de statistieken beginnen niet opnieuw bij nul.
Een gepauzeerde test kan dus nog steeds een ingestelde 90/10-verdeling tonen. Dat is de bewaarde instelling, niet de actuele verdeling tijdens de pauze. De campagnestatus staat hier los van: een inactieve campagne verwerkt geen nieuwe campagnemails.
Testmail of A/B-test?
Met de gewone testmailknop controleer je de inhoud en opmaak van een gekozen template. Die knop voert geen A/B-verdeling uit en bewijst niet dat de variantstatistieken zijn bijgewerkt. Gebruik de knop om elke template vooraf te bekijken; vergelijk daarna de geregistreerde campagneresultaten op het tabblad A/B-testen.
Lees ook Een e-mailtemplate testen.