Data Engineer Senior GCP / Big Data (Hadoop - Spark - Java/Scala) - Freelance
This job is in your area. Enjoy a short commute and work close to home.
Job Description
Description du poste
Taux journalier (TJM): 640
Descriptif
La prestation de « Data Engineer senior» consiste à développer des ETL/ELT sous GCP et Cloudera onPrem, maintenir en condition opérationnelle un socle Spark Hadoop développé en Java, tout en participant à un chantier de réécriture en Scala ou PySpark.
Missions :
Concevoir, développer et mettre en œuvre des pipelines ETL/ELT robustes et performants pour ingérer, transformer et charger des données structurées et non structurées.
Développer des solutions de traitement de données à grande échelle en utilisant Scala et PySpark sur les environnements GCP (CF, Cloud run, Dataproc, BigQuery, Cloud Storage) et/ou Cloudera (HDFS, Spark, Hive, Ranger, kerberos).
Participer à la conception et à l'évolution de l'architec...