data

Analytics, A/B-tests: als je een e-commerce bedrijf runt, heb je al heel wat tijd gespendeerd aan het bekijken en analyseren van de beschikbare data. Maar, kijk je eigenlijk wel naar de juiste resultaten? Of bega je een van de meest gemaakte fouten op het gebied van analyses?

Onderstaand vind je een lijst van de meest gemaakte fouten – zodat je kunt oppassen voor deze bekende valkuilen:

1. Conclusies trekken voordat je tests afrondt

Wanneer je een test uitvoert, gaat de meeste tijd in het wachten op de resultaten zitten. Verreweg de meesten van ons zijn ongeduldig als het aankomt op progressie en resultaat, wat betekent dat de meeste mensen de tests waarschijnlijk dagelijks controleren en deze stopzetten zodra ze een statistisch significant resultaat ontdekken.

Het probleem van deze methode is dat iedere keer wanneer je de resultaten checkt en een conclusie trekt, de kans op het trekken van een foutieve conclusie verdubbelt. Dit betekent dat je na vijf keer checken je kans op een foutieve conclusie van 5 procent naar 23 procent is gesprongen!

Dit betekent in feite dat je de test even moet laten voor wat het is zodra je deze begonnen bent. Wacht totdat de test volledig afgerond is en begin daarna pas met het analyseren van de resultaten. Vecht tegen de drang om alvast een kijkje te nemen voordat de test is voltooid.

2. Misinterpretatie van invloed op datavarianten

Een van de grootste voordelen van het beheren van een e-commerce site is dat je in staat bent om een verscheidenheid aan methoden uit te proberen om jouw inkomsten te verhogen. De beslissing om een nieuwe Facebook advertentiecampagne in te zetten is echter even snel gemaakt als de conclusie dat de verandering in de statistieken plaatsvond aan de hand van jouw handelingen. In e-commerce komen veranderingen vaak voor, maar zijn ze vaak ook willekeurig. Soms is het op een dag drukker dan op andere dagen, zonder dat daar specifieke reden toe is. Als het verschil slechts gering is, zou het zomaar toeval kunnen zijn.

Trek niet direct de conclusie dat iedere verandering in de cijfers veroorzaakt werd door jou. Alleen als het overduidelijk is dat de piek werd veroorzaakt door iets anders dan willekeurigheid – dat wil zeggen dat er een statistisch significant verschil tussen groep A en groep B moet zijn – dien je de data te bestuderen. Anders kun je beter afwachten om te zien of jouw veranderingen een impact hebben.

3. A/B-fouten

Bij A/B-tests kun je grofweg twee fouten maken: je kunt concluderen dat A de winnaar is, terwijl deze groep in realiteit niet beter presteert dan groep B (of zelfs slechter). Je kunt dit een valse positief noemen. Het tweede type fout betreft het concluderen dat groep A niet verschilt van groep B, terwijl dit wel degelijk zo is. Dit is een vals negatief.

Als je jouw test niet lang genoeg uitvoert, we noemen dit ook wel een onbetrouwbaar onderzoek, brengt dit het risico met zich mee dat je een foutieve conclusie trekt. Dat betekent dat je kostbare tijd en geld hebt verspild. De oplossing is om de betrouwbaarheid van jouw onderzoek veilig te stellen en in ieder geval te wachten tot deze volledig is voltooid.

4. Misinterpretatie van data

Er is een ongelooflijke hoeveelheid informatie die je uit data kunt halen. Veel informatie betekent veel macht. Hoe meer je in staat bent om beslissingen te nemen op basis van betrouwbare gegevens, hoe beter je jouw bedrijf van dienst bent.

Om conclusies te trekken, dien je natuurlijk wel iemand beschikbaar te hebben die de data kan lezen en op juiste wijze kan interpreteren. Bedrijven hebben vaak geen data-analisten in dienst. Hoewel analytische systemen het eenvoudiger maken om de resultaten te verwerken, valt een dergelijk systeem niet te vergelijken met de interpretatiekwaliteiten van een menselijke data-analist. Het op onjuiste wijze analyseren van de data en het maken van beslissingen op basis van deze analyse kan leiden tot zeer schadelijke gevolgen voor het bedrijf.

5. Triviale vragen beantwoorden

Maak niet de fout om gedetailleerde vragen te beantwoorden aan de hand van de data. Je wilt mogelijk ‘wat’ vragen beantwoorden, maar de correcte toepassing richt zich op ‘waarom’ vragen. Big data gaat over het samenbrengen van data die niet eerder is verenigd en over vragen die niet eerder gesteld zijn. Het gaat om het vinden van reden waarom klanten en medewerkers de dingen doen die ze doen.

Wees voorzichtig dat je niet te veel naar een kant neigt en zaken gecompliceerd maakt. Om ‘waarom’ te beantwoorden heb je geen leger aan data-analisten nodig, of extreem dure instrumenten. Zorg ervoor dat je een fundament hebt om resultaten op basis van strategische vraagstukken en doelen te gebruiken. Begin met de basisinstrumenten en groei vanuit dat punt.

6. Te veel Data

Denk niet te groot. Big data is niet voor niets hot, maar begin liever kleinschalig. Het gebruikmaken van de resultaten kan erg prijzig zijn en tevens terugkerende kosten met zich meebrengen. Begin met het oplossen van echte problemen en breid dan uit naar oplossingen.

Zorg er daarnaast voor dat je geïnformeerd wordt door data, maar er niet te veel door wordt gedreven. Wanneer je te zwaar tilt aan jouw data kan het zijn dat je impactvolle mogelijkheden negeert als deze zich niet in het epicentrum van de resultaten bevinden. Beschouw de data als invloed op jouw reis, maar niet als de stempel op jouw planning.