Semway Intelligence Data Pipeline
Semway AS | Markedsføring
#Google Analytics
#BigQuery
#Flask
#Google Cloud
#Python
#Dataflow
#Apache Spark
Dette prosjektet var en kombinasjon av data engineering og back-end utvikling. Målet var å hente ut rå data fra Google Analytics og bearbeide den til et form som kunne brukes til analyse og beslutningstaking. Prosjektet startet med å utføre data engineering for å hente ut rå data fra Google Analytics. Dataen ble deretter lagt inn i en data pipeline med Dataflow levert av Google cloud platform. Transformasjoner og statistiske modeller ble utført for å forbedre dataene og lage nye datasett. Til slutt ble dataene lagret i BigQuery. Etter at dataene var bearbeidet, ble det utført et back-end prosjekt for å utvikle et API. APIet skulle ta i mot forespørsler og hente ut data fra BigQuery. Resultatet av prosjektet var en effektiv pipeline for å hente ut data fra Google Analytics, transformere den og lagre den i BigQuery. APIet som ble utviklet, gjorde det mulig for utviklere å enkelt integrere dataene i andre applikasjoner.