Een steeds groter gedeelte van het dataproces wordt tegenwoordig ingericht met behulp van clouddiensten. Voorbeelden hiervan zijn Microsoft Azure, AWS (Amazon) en Google Cloud. Veel bedrijven vragen daarom specifiek naar kennis van data architecturen waarbij deze clouddiensten een grote rol spelen. Om deze dataprocessen op te tuigen is naast vaardigheden op het gebied van softwareontwikkeling ook kennis van statistiek en machine learning modellen erg handig. Dit helpt een data engineer bij het communiceren met betrokken data analisten en data scientists en het eventueel implementeren en automatiseren van hun algoritmen.

Een typisch functieprofiel van een data engineer:

• Iemand met een relevante academische opleiding
• Goed vaardig in Python, Java, en/of .net talen
• Ervaring met het opzetten van dataprocessen met relationele (SQL) databases en ongestructureerde databases zoals bijvoorbeeld NoSQL Ervaring met Microsoft Azure of andere cloud diensten en de daarbij behorende API’s
• Ervaring met Agile werken en scrum.
• (Beperkte) kennis van statistiek en zelflerende algoritmen.

Apache Kafka

Apache Kafka is een open-source stream-processing software die wordt gebruikt voor het bouwen van real-time data pipelines en streaming apps. Het is belangrijk voor data engineers om gegevens in real-time te verwerken en door te geven.

SQL en NoSQL Databases

Zowel SQL (relationele) als NoSQL (niet-relationele) databases zijn cruciaal voor data engineers. Ze moeten weten hoe ze deze databases kunnen opzetten, beheren en optimaliseren voor verschillende use cases.

Apache Hadoop en Spark

Deze zijn gericht op het verwerken van grote datasets. Hadoop is een framework voor distributed storage en processing, terwijl Spark een snelle, in-memory data processing engine is.

Airflow

Apache Airflow wordt gebruikt om workflows van complexe data processen te automatiseren en te monitoren, wat essentieel is voor een efficiënte data pipeline.

AWS, Google Cloud en Azure

Cloud diensten zoals AWS (Amazon Web Services), Google Cloud Platform en Microsoft Azure bieden tools en infrastructuur die data engineers nodig hebben om schaalbare en betrouwbare data oplossingen te bouwen.

Docker en Kubernetes

Dit zijn containerisatietools die essentieel zijn voor het bouwen en implementeren van flexibele en schaalbare applicaties en diensten in verschillende omgevingen.

ELT en ETL Tools

Tools zoals Talend, Informatica, en Stitch zijn belangrijk voor het processen van data (Extraction, Loading, Transformation of Extraction, Transformation, Loading).

Terraform

Een infrastructuur als code (IaC) tool waarmee data engineers infrastructuur kunnen opzetten en beheren als code, wat zorgt voor consistentie en schaalbaarheid.

Jenkins en CircleCI

Deze continuous integration en continuous delivery (CI/CD) tools helpen data engineers bij het automatiseren van hun software delivery processen.

GitHub

Net als bij data-analisten is GitHub een belangrijk platform voor data engineers. Het stelt hen in staat om code te delen, versiebeheer te hanteren en samen te werken aan projecten.

Een Data Engineer begint zijn dag vaak met het controleren van datapijplijnen om te verzekeren dat gegevens correct zijn ingevoerd en verwerkt. Vervolgens werkt hij samen met Data Scientists en Analisten om te begrijpen welke gegevens nodig zijn voor hun analyses. Hierbij houdt hij zich bezig met het ontwerpen, bouwen en onderhouden van schaalbare dataverzamelsystemen, en zorgt hij voor de integratie van nieuwe databronnen. Gedurende de dag lost hij ook technische problemen op, optimaliseert de performance van databases en implementeert datagovernance en beveiligingsprotocollen. Communicatie met andere teams is essentieel om ervoor te zorgen dat gegevens tijdig en accuraat beschikbaar zijn. Zijn werk is een balans tussen proactieve projecten om de datavoorziening te verbeteren en reactieve taken om de huidige systemen operationeel te houden.

Een data engineer verdient al snel € 4.500,- euro bruto per maand. Het diagram hieronder geeft per vacature het gevraagde salarisbereik aan.

Salarissen data engineers op DataJobs.nl

Salaris range per vacature voor data-engineers in bruto EUR per maand. (DataJobs.nl 2021)

Instapniveau (Junior Data Engineer)

Op dit niveau zal je waarschijnlijk werken onder begeleiding van meer ervaren teamleden. Je verantwoordelijkheden kunnen het verzamelen en opschonen van gegevens, het ontwerpen en implementeren van eenvoudige databasestructuren, en het helpen bij het onderhoud van databases en datapijplijnen omvatten.

Medior niveau (Data Engineer)

Na enkele jaren ervaring zal je waarschijnlijk meer complexe projecten aannemen, waaronder het ontwerpen en implementeren van geavanceerde databasestructuren en datapijplijnen, het zorgen voor data-integriteit, en het optimaliseren van de prestaties van databases en datapijplijnen.

Senior niveau (Senior Data Engineer / Lead Data Engineer)

Op dit niveau zal je leiding geven aan complexe data engineering projecten en mogelijk ook junior teamleden begeleiden. Je zou ook betrokken kunnen zijn bij het bepalen van de strategische data-architectuur en het ontwerpen van beleid en procedures voor datamanagement.

Management (Data Engineering Manager / Director of Data Engineering)

Deze rollen vereisen naast technische vaardigheden ook sterke leiderschaps- en managementvaardigheden. Je zou verantwoordelijk zijn voor het beheren van een team van data engineers en het bepalen van de strategische richting van data engineering-initiatieven binnen de organisatie.

Execitive niveau (Chief Data Officer / Chief Technology Officer)

Op het hoogste niveau van een organisatie zijn deze rollen verantwoordelijk voor het beheren van de algehele data- en technologiestrategie van het bedrijf, inclusief het beheren van grote data- en technologieteams.

Association for Computing Machinery (ACM)

Als de grootste computerwetenschappelijke vereniging ter wereld biedt ACM middelen en netwerkmogelijkheden die waardevol kunnen zijn voor data engineers.

IEEE Computer Society

Deze organisatie biedt middelen, conferenties en netwerkmogelijkheden op het gebied van computerwetenschappen en engineering, inclusief data engineering.

Data Management Association (DAMA)

DAMA is een internationale organisatie die zich richt op de promotie en ondersteuning van data management professionals, inclusief data engineers.

Society for Industrial and Applied Mathematics (SIAM)

Hoewel niet specifiek gericht op data engineering, biedt SIAM waardevolle middelen en netwerkmogelijkheden voor professionals die werken met grote hoeveelheden gegevens.

LinkedIn Groepen

Er zijn diverse groepen op LinkedIn specifiek voor data engineers. Deze kunnen variëren van algemene discussieforums tot groepen gericht op specifieke technologieën of tools.

Meetup Groepen

Meetup.com biedt lokale netwerkgroepen voor data engineers in veel grote steden. Deze bijeenkomsten kunnen een geweldige manier zijn om te netwerken en te leren van anderen in jouw omgeving.

Stack Overflow

Hoewel het geen formele organisatie is, biedt Stack Overflow een community waar data engineers vragen kunnen stellen en beantwoorden over problemen waarmee ze worden geconfronteerd.

GitHub

Opnieuw, geen formele organisatie, maar een online platform waar data engineers en andere technologieprofessionals kunnen samenwerken aan projecten en leren van elkaar.

Data Engineering Podcast

Dit is een wekelijkse podcast gewijd aan data engineering, waarin industrie-experts worden geïnterviewd over de nieuwste trends en technieken in het veld.

Data Council

Deze organisatie houdt conferenties en bijeenkomsten voor data professionals, waaronder data engineers.

Een Data Engineer speelt een cruciale rol in de hedendaagse datagedreven maatschappij. Ze creëren de fundamenten waarop organisaties complexe analyses uitvoeren, wat essentieel is voor besluitvorming in sectoren variërend van gezondheidszorg tot financiën. Door gegevens efficiënt en veilig toegankelijk te maken, faciliteren ze betere inzichten en innovaties. Hun werk heeft directe maatschappelijke relevantie. Bijvoorbeeld, in de gezondheidszorg kan de infrastructuur die door een Data Engineer is opgezet, bijdragen aan het sneller identificeren van ziekte-uitbraken of het optimaliseren van patiëntenzorg. In de commerciële sector kan hun werk bedrijven helpen duurzamere en klantgerichtere beslissingen te nemen. Door de technologische ruggengraat te bieden voor datagestuurde inzichten, versterken Data Engineers de overgang naar een geïnformeerde, efficiënte en innovatieve samenleving.

Achtergrond

Bij DeltaFin, een financiële instelling met een omvangrijke datavoorraad, ontstond de noodzaak om gestructureerde en ongestructureerde data efficiënter te beheren en te gebruiken voor datagestuurde beslissingen. Data, afkomstig van diverse bronnen, was onvoldoende geïntegreerd en niet altijd toegankelijk voor analytische processen.

De Uitdaging

Data, verdeeld over meerdere systemen en formats, veroorzaakte frictie in analytische projecten en belemmerde een holistisch beeld van klantgedrag. De inconsistentie en ontoegankelijkheid van data bemoeilijkten de optimalisatie van financiële producten en diensten, waardoor potentiële marktkansen onbenut bleven.

Actie door de Data Engineer

Bram, in de rol van Data Engineer, startte met het ontwikkelen van een robuust data-architectuur. Hij implementeerde ETL-processen om data te extraheren, transformeren en laden naar een centraal datawarehouse. Ook ontwikkelde hij API’s en data-pipelines, zodat datawetenschappers en analisten gemakkelijker toegang kregen tot gezuiverde, geïntegreerde data.

Resultaat

Door de gecentraliseerde, geoptimaliseerde datastroom, kon DeltaFin sneller en accurater inzichten verwerven uit hun data. De efficiëntie in analytische projecten verbeterde, wat leidde tot meer datagestuurde innovaties en een beter afgestemd productaanbod op de klantbehoefte. Bram’s expertise als Data Engineer was instrumenteel in het ontsluiten van waarde uit de omvangrijke datavoorraad van het bedrijf.

Kijk hier voor actuele vacatures voor data engineers op DataJobs.nl.