Migreer oude Universal Analytics data en harmoniseer deze met nieuwe GA4 data

Het belang van het behouden van oude Universal Analytics data

In de dynamische wereld van data analyse en online marketing staan bedrijven vaak voor een uitdaging om oude data te migreren naar een nieuw platform. Dit geldt in het bijzonder voor migreren van oude Universal Analytics data naar het moderne GA4 (Google Analytics 4). Dit aangezien Google Analytics voor vele online marketeers de basis van hun dataverzameling is. Zonder de historische data uit Universal Analytics kan je niet langer jaar-op-jaar vergelijkingen maken of trends over meerdere jaren analyseren.

Het één-op-één importeren van data in de GA4 interface is niet mogelijk, dus moet er gezocht worden naar een alternatief. Natuurlijk heb je zelf eenvoudig de mogelijkheid om geaggregeerde data te ontsluiten en op te slaan als back-up, alleen is deze oplossing ontoereikend aangezien je dit niet meer kan linken aan GA4 data omdat hier met een ander datamodel wordt gewerkt, namelijk het event-based model. De uitdaging is dus: hoe ontsluiten we de data op een schaalbare wijze en harmoniseren we de data met elkaar?

De oplossing: het script voor data-extractie

Om de migratie van Universal Analytics naar GA4 soepel te laten verlopen, hebben we een krachtig script ontwikkeld. Dit script begint met het extraheren van elke unieke client ID uit de klantweergave met behulp van de Analytics Reporting API. De reden dat we hier alleen client ID's uit ontsluiten is omdat in Universal Analytics de client ID synoniem staat voor de gebruiker. Vervolgens maken we gebruik van de User Activity API om alle individuele hits per gebruiker te ontsluiten. Deze gedetailleerde benadering zorgt ervoor dat geen enkel stukje waardevolle data verloren gaat tijdens de migratie.

Data harmonisatie voor een naadloze integratie

Ons doel is hierbij om geen geaggregeerde data uit Universal Analytics te ontsluiten. Waarom? Omdat we willen dat de data naadloos aansluit op het event-based model dat GA4 hanteert. De volgende stap in het proces is het identificeren welke data uit Universal Analytics direct kan worden gekoppeld aan GA4. Hierbij letten we nauwlettend op de naamgeving in GA4. Dit zorgt voor een gestroomlijnde overgang van de oude naar de nieuwe datastructuur. Hierbij hebben we alle standaard hits uit Universal Analytics gekoppeld aan hun GA4 tegenhangers. Zo werd een PageView uiteindelijk een page_view, een Payment een purchase en hebben we ook nog een aantal nieuwe events die GA4 standaard afvuurt (first_visit en session_start) gemodelleerd op basis van regels. De data sluit nu goed op elkaar aan!

Data opslag in een eigen data-warehouse

Na het succesvol afronden van het harmonisatieproces en het verzekeren van een naadloze overgang van oude data naar GA4, was het tijd om na te denken over hoe we deze data periodiek konden ontsluiten en opslaan in onze eigen database of data warehouse. Voor deze taak hebben we een script in Python geschreven en deze gedeployed op een Kubernetes-cluster dat dagelijks maximaal 10.000 client ID's verwerkt. Dit aantal is in lijn met de limieten die Google heeft gesteld voor hun API.

Nadat de data is ontsloten, wordt deze doorgestuurd naar Snowflake, het cloud-based data warehouse dat Toelevering Online gebruikt voor de opslag van data uit meerdere databronnen. Uiteraard is het ook mogelijk om de data door te sturen naar een andere database of data warehouse oplossing zoals Azure, AWS of Google Cloud (BigQuery). We bewaren ook de ruwe, ongeharmoniseerde data als back-up, voor het geval er in de toekomst wijzigingen moeten worden aangebracht in de benamingen.

Het resultaat: completere analysemogelijkheden

Met de data in Snowflake is Toelevering Online in staat om deze te modelleren en gereed te maken om te visualiseren in een data visualisatietool als Qlik of, in hun geval, Tableau. Dankzij onze geïntegreerde aanpak kan Toelevering Online nu zowel Universal Analytics- als GA4-gegevens bekijken in hun eigen dashboards. Dit biedt waardevolle inzichten en de mogelijkheid om geïnformeerde beslissingen te nemen voor hun digitale marketingstrategie, gebaseerd op alle beschikbare data.

Concluderend bleek het wel dat het migreren van oude Universal Analytics data naar GA4 een uitdaging is met vele haken en ogen, maar absoluut niet onmogelijk! Met onze unieke aanpak hebben we ervoor gezorgd dat we niet alleen de databron hebben ontsloten, maar ook nog eens de data zelf hebben geharmoniseerd zodat deze 1-op-1 kan worden blijven gebruikt voor analyses voor data uit het verleden.