Een steeds groter gedeelte van het dataproces wordt tegenwoordig ingericht met behulp van clouddiensten. Voorbeelden hiervan zijn Microsoft Azure, AWS (Amazon) en Google Cloud. Veel bedrijven vragen daarom specifiek naar kennis van data architecturen waarbij deze clouddiensten een grote rol spelen. Om deze dataprocessen op te tuigen is naast vaardigheden op het gebied van softwareontwikkeling ook kennis van statistiek en machine learning modellen erg handig. Dit helpt een data engineer bij het communiceren met betrokken data analisten en data scientists en het eventueel implementeren en automatiseren van hun algoritmen.

Een typisch functieprofiel van een data engineer:

• Iemand met een relevante academische opleiding
• Goed vaardig in Python, Java, en/of .net talen
• Ervaring met het opzetten van dataprocessen met relationele (SQL) databases en ongestructureerde databases zoals bijvoorbeeld NoSQL Ervaring met Microsoft Azure of andere cloud diensten en de daarbij behorende API’s
• Ervaring met Agile werken en scrum.
• (Beperkte) kennis van statistiek en zelflerende algoritmen.

Een data engineer verdient al snel € 4.500,- euro bruto per maand. Het diagram hieronder geeft per vacature het gevraagde salarisbereik aan.

Salarissen data engineers op DataJobs.nl

Salaris range per vacature voor data-engineers in bruto EUR per maand.

Instapniveau (Junior Data Engineer)

Op dit niveau zal je waarschijnlijk werken onder begeleiding van meer ervaren teamleden. Je verantwoordelijkheden kunnen het verzamelen en opschonen van gegevens, het ontwerpen en implementeren van eenvoudige databasestructuren, en het helpen bij het onderhoud van databases en datapijplijnen omvatten.

Medior niveau (Data Engineer)

Na enkele jaren ervaring zal je waarschijnlijk meer complexe projecten aannemen, waaronder het ontwerpen en implementeren van geavanceerde databasestructuren en datapijplijnen, het zorgen voor data-integriteit, en het optimaliseren van de prestaties van databases en datapijplijnen.

Senior niveau (Senior Data Engineer / Lead Data Engineer)

Op dit niveau zal je leiding geven aan complexe data engineering projecten en mogelijk ook junior teamleden begeleiden. Je zou ook betrokken kunnen zijn bij het bepalen van de strategische data-architectuur en het ontwerpen van beleid en procedures voor datamanagement.

Management (Data Engineering Manager / Director of Data Engineering)

Deze rollen vereisen naast technische vaardigheden ook sterke leiderschaps- en managementvaardigheden. Je zou verantwoordelijk zijn voor het beheren van een team van data engineers en het bepalen van de strategische richting van data engineering-initiatieven binnen de organisatie.

Execitive niveau (Chief Data Officer / Chief Technology Officer)

Op het hoogste niveau van een organisatie zijn deze rollen verantwoordelijk voor het beheren van de algehele data- en technologiestrategie van het bedrijf, inclusief het beheren van grote data- en technologieteams.

Association for Computing Machinery (ACM)

Als de grootste computerwetenschappelijke vereniging ter wereld biedt ACM middelen en netwerkmogelijkheden die waardevol kunnen zijn voor data engineers.

IEEE Computer Society

Deze organisatie biedt middelen, conferenties en netwerkmogelijkheden op het gebied van computerwetenschappen en engineering, inclusief data engineering.

Data Management Association (DAMA)

DAMA is een internationale organisatie die zich richt op de promotie en ondersteuning van data management professionals, inclusief data engineers.

Society for Industrial and Applied Mathematics (SIAM)

Hoewel niet specifiek gericht op data engineering, biedt SIAM waardevolle middelen en netwerkmogelijkheden voor professionals die werken met grote hoeveelheden gegevens.

LinkedIn Groepen

Er zijn diverse groepen op LinkedIn specifiek voor data engineers. Deze kunnen variëren van algemene discussieforums tot groepen gericht op specifieke technologieën of tools.

Meetup Groepen

Meetup.com biedt lokale netwerkgroepen voor data engineers in veel grote steden. Deze bijeenkomsten kunnen een geweldige manier zijn om te netwerken en te leren van anderen in jouw omgeving.

Stack Overflow

Hoewel het geen formele organisatie is, biedt Stack Overflow een community waar data engineers vragen kunnen stellen en beantwoorden over problemen waarmee ze worden geconfronteerd.

GitHub

Opnieuw, geen formele organisatie, maar een online platform waar data engineers en andere technologieprofessionals kunnen samenwerken aan projecten en leren van elkaar.

Data Engineering Podcast

Dit is een wekelijkse podcast gewijd aan data engineering, waarin industrie-experts worden geïnterviewd over de nieuwste trends en technieken in het veld.

Data Council

Deze organisatie houdt conferenties en bijeenkomsten voor data professionals, waaronder data engineers.

Kijk hier voor actuele vacatures voor data engineers op DataJobs.nl.