Trage dashboards. Wie heeft er niet een hekel aan? In deze blog nemen we je mee in onze lessen!
Hoe ontstaan trage dashboards?
Met Quantile helpen wij organisaties met een data gedreven platform te ontwikkelen. Organisaties hebben voor onze samenwerking vaak al eerder de stap gewaagd naar een dashboarding tool zoals PowerBI. Daarom zijn wij maar al te bekend met trage dashboards. In onze dienst nemen wij dan ook vaak het probleem van trage dashboards op ons, wat namelijk mooi opgelost kan worden de juiste data infrastructuur!
Op basis van al onze samenwerkingen, zien wij de volgende oorzaken regelmatig terugkomen:
- Je connect dashboards direct op je bronsystemen;
- Je doet zware transformaties op je data in je rapportage tool in plaats van in het data warehouse;
- Je laadt grote hoeveelheden (onnodige) gedetailleerde data in je dashboarding tool.
In de volgende paragrafen zullen wij de problemen verder toelichten en oplossingen toelichten.
Direct je dashboard aansluiten op je bronsystemen
De data in bronsystemen is in het algemeen niet gefocust op analytische doeleinden. Met als gevolg dat je vaak grote hoeveelheden operationele data ophaalt die nog moet worden getransformeerd in je rapportage tool. Met als gevolg langere laadtijden. Daarnaast kan directe toegang tot bronsystemen ook de prestaties van die systemen negatief beïnvloeden. Zware query's die data ophalen kan resulteren in trage reactietijden en mogelijke concurrentie met andere bedrijf kritische applicaties die dezelfde bronsystemen gebruiken. Onze oplossing hiervoor is dan ook de benodigde data te ontsluiten en aan te bieden via een data warehouse.
Zware transformaties
Rapportage tools zijn bedoeld voor datavisualisaties en -rapportages, niet voor zware gegevensbewerking. Het uitvoeren van complexe bewerkingen in tools zoals Power BI gaat vaak gepaard met trage dashboards. Het is een best practice om zware transformaties te verplaatsen naar het data warehouse. Zo zorg je er ook voor dat alle logica om data te transformeren op één plek aanwezig is ten opzichte van in diverse rapportages. Wanneer er meerdere rapportages gebruik maken van dezelfde data, zie je dat men vaak de data op een andere manier opschoont. Hierdoor krijg je dus het probleem dat er voor dezelfde KPI, verschillende waardes kunnen ontstaan. Naast het opschonen van je data in het data warehouse in plaats van een rapportage tool, kan je ook overwegen data te modelleren om een nog hogere performance te behalen. Denk hierbij dan aan dimensioneel modelleren of andere alternatieven.
Laden van grote hoeveelheden (onnodige) gedetailleerde data
Ten slotte, kunnen dashboards traag worden als er onnodige veel gedetailleerde gegevens wordt opgehaald. Veel organisaties merken dit pas wanneer zij een aantal jaar verder zijn of ondertussen gigantische hoeveelheden aan data inladen in hun dashboards. Dit kan zich uiten in bijvoorbeeld te veel datapunten ophalen, onnodige kolommen en/of de dat die je ophaalt is niet geaggregeerd. De les hiervan is, haal alleen op wat je nodig hebt en aggregeer zo veel mogelijk in het data warehouse! Voor detailinformatie maak je gebruik van je data warehouse, niet je dashboarding tool.
Tijd om dit aan te pakken
Hopelijk hebben we je geïnspireerd om je trage rapportages te optimaliseren. Wees bewust met het idee dat hoe langer je dit uitstelt, hoe groter de kans is dat je met terugwerkende kracht een grotere hoeveelheid trage rapportages moet optimaliseren. Goodluck!
