Ett datalager är en central databas dit all din data (analytics, CRM, annonser, e-post, försäljning) flödar. I stället för att koppla verktyg till verktyg skickar alla verktyg data till datalagret. Datalagret blir den enda sanningskällan. Rapportverktyg och team hämtar från datalagret, inte från enskilda verktyg. Det tar bort silos och gör komplex analys mellan verktyg möjlig. Det här kapitlet handlar om när och hur du bygger ett datalager.
Vad ett datalager är och gör
Ett datalager består av: (1) en central databas (BigQuery, eller liknande tjänster), (2) dataflöden som för över data från verktygen till datalagret, (3) scheman som organiserar datan på ett enhetligt sätt och (4) ett åtkomstlager där analytiker och verktyg ställer frågor till datalagret.
Fördelar: en enda sanningskälla, flexibla frågor (du är inte begränsad till verktygens inbyggda rapporter), lagring av historisk data, kostnadseffektivt i stor skala (billigare än att betala varje verktyg för lagring) och möjlighet till avancerad analys (maskininlärning, prognoser).
Datalagrets arkitektur
Råskiktet: en exakt kopia av data från källsystemen. Ingen omvandling. Bevarar originaldatan om du behöver bearbeta den igen.
Mellanskiktet: datan rensas, dubbletter tas bort och den valideras. Inkonsekvenser rättas till. Datan är enhetlig men ännu inte redo för analys.
Analysskiktet: datan omvandlas till tabeller som är gjorda för analys. Exempel: faktatabeller (konverteringar med nycklar till andra dimensioner) och dimensionstabeller (kunder, produkter, kampanjer). Det är de här tabellerna analytikerna frågar mot.
Så sätter du upp ett datalager
Steg 1: Välj plattform för datalagret.
BigQuery (Google): enkelt, bra för de flesta företag, du betalar per GB som du frågar mot.
Molnbaserade datalager från andra leverantörer: kraftfulla och dyra, bra för stora företag med komplexa behov.
Stora molntjänster för datalager: kraftfulla och billigare i stor skala.
Öppen källkod-databas: gratis och lämplig för små till medelstora datamängder.
Steg 2: Hämta data från dina verktyg.
Använd ETL-verktyg (Extract-Transform-Load, alltså hämta, omvandla och ladda). Verktygen kopplar upp sig mot dina källsystem och kopierar data till datalagret automatiskt (dagligen, varje timme eller i realtid).
Steg 3: Utforma ditt schema.
Bestäm tabeller och relationer: kundtabell, ordertabell, orderradstabell, kampanjtabell. Hur hänger de ihop? Utformningen avgör vilka frågor du kan besvara effektivt.
Steg 4: Ställ in åtkomst och styrning.
Vem får ställa frågor mot datalagret? Har de tillgång till all data eller bara sin egen avdelnings data? Ställ in behörigheter. Dokumentera schemat så att analytiker vet vad datan betyder. Följ frågorna så att prestandan hålls uppe.
När du ska bygga ett datalager
För tidigt: 1 till 2 verktyg och ett team på 3. Merarbetet är för stort.
Rätt tidpunkt: 5 eller fler verktyg, ett team på 5 eller fler och du ställer regelbundet komplexa frågor över flera verktyg. Kostnaden för datalagret motiveras av den tid du sparar och de insikter du får.
Nödvändigt: 10 eller fler verktyg, ett team på 10 eller fler och en datadriven kultur. Datalagret är nödvändig infrastruktur.
Utmaningar när du inför ett datalager
Komplexitet: datalager är tekniskt komplexa. Det krävs datatekniker för att underhålla dem. En rekryteringsutmaning för små företag.
Datakvalitet: skräp in, skräp ut. Dålig data i datalagret ger dåliga insikter. Validering och rensning av data är avgörande.
Kostnad: kan bli dyrt (BigQuery kan kosta $100 till $1 000 eller mer per månad i stor skala). Kräver optimering och styrning för att hålla kostnaderna nere.
Ska jag bygga ett datalager eller använda de inbyggda integrationerna i ett BI-verktyg?
Integrationer i BI-verktyg: enkla, snabba att sätta upp (timmar), begränsad anpassning. Datalager: mer arbete att sätta upp (veckor eller månader), mycket flexibelt och skalbart. För 3 till 4 verktyg räcker BI-integrationer. För 5 eller fler verktyg eller komplexa analyser är ett datalager värt det. Börja med integrationer och byt till ett datalager när du har vuxit ur dem.
Vad kostar ett datalager?
BigQuery: ungefär $6,25 per TB som du frågar mot. Andra molnbaserade datalager tar ofta betalt per använd beräkningsenhet eller per timme, ungefär $1 till $4. Kostnaderna varierar med datamängd och hur komplexa frågorna är. För de flesta företag: $500 till $2 000 per månad i stor skala. Mindre företag: $50 till $500 per månad. Räkna in arbetet för datateknik (den dyraste delen).
Vad är skillnaden mellan ett datalager och en datasjö?
Datalager: strukturerat, rensat och optimerat för frågor. Datasjö: ostrukturerad, rå data där allt lagras (billigare). Datalager är till för analys. Datasjöar är till för lagring av rådata. Modernt upplägg: datasjö + datalager (rådata i sjön, rensad data i lagret). Börja med ett datalager och lägg till en datasjö om lagringskostnaderna skenar.
Hur säkerställer jag datakvaliteten i mitt datalager?
Valideringsregler: kontrollera dubbletter, tomma värden och värden utanför rimligt intervall. Testa dataflödena: stämmer flödet med förväntade summor? Granska regelbundet: jämför summorna i datalagret med summorna i källsystemen. Rätta avvikelser. Dokumentera avvikelser. Ge en person eller ett team ansvaret för datakvaliteten.
Kan jag ställa egna frågor mot mitt datalager utan att vara datatekniker?
Ja, om schemat är väl utformat och dokumenterat. Skriv SQL-frågor för att besvara frågor. För personer utan teknisk bakgrund: använd BI-verktyg med färdiga instrumentpaneler. För fler ad hoc-frågor: datatekniker eller analytics-tekniker skriver SQL. Anställ en analytics-tekniker (en brygga mellan datateknik och analys) så att fler får tillgång till datan.
Hur ofta ska datan uppdateras i mitt datalager?
Dagligen är standard (körs över natten). Realtid är möjligt men dyrt. För de flesta analyser räcker det med dagligen. För operativa instrumentpaneler (säljflöde) kan varje timme eller realtid behövas. Börja med dagligen och gå över till varje timme först när verksamheten behöver det och har råd.