Apprenez à concevoir des pipelines de données et développez des bases solides pour lancer votre carrière en tant que Data Engineer.
Intro au Data Engineering
Installez votre machine virtuelle, découvrez le programme et découvrez les technos et les concepts centraux du Data Engineering : Python, CI/CD, Docker et bien d’autres.
Docker
.svg){kind=small}
Python
GitHub
GCP
Gestion de base de données
Approfondissez les fondamentaux des bases de données SQL, avec une compréhension solide des paradigmes transactionnels et analytiques.
Big Query
PostegreSQL
Fivetran
Airbyte
Stockage de données et Batch Pipelines
Appréhendez les stratégies de stockage des données et saisissez l'évolution majeure de Docker vers Kubernetes. Ceci vous fournira une vision concrète du développement de batch pipelines.
Kubernetes
SQL
dbt
Airflow
Industrialisation
Plongez au cœur des défis et des solutions relatives à la manipulation de données à grande échelle. Apprenez à maîtriser le transfert, le traitement et le suivi de volumes massifs de données.
Kafka
Pub/Sub
Apache Spark
Dataflow
Vous apprendrez l'ingénierie des données à travers 5 modules, à temps plein pendant 5 semaines ou à temps partiel pendant 6 mois.
Commencez votre apprentissage du Data Engineering avec une plongée approfondie dans les concepts et outils fondamentaux, de l'utilisation des meilleures pratiques Python et CI/CD à l'apprentissage de Docker.
Configurez votre propre machine virtuelle avec Visual Studio Code
Construisez votre premier Data Lake et mettez en place des transformations de données avec Python
Appliquez les techniques CI/CD en utilisant Ruff, Pylint, Github et Poetry
Déployez une application FastAPI en production à l'aide de Docker
Travaillez sur l'élément central de votre Modern Data Stack: le Data Warehouse. Améliorez vos compétences en SQL, Postgres et utilisez BigQuery comme un(e) Data Engineer. Découvrez également Docker Compose pour gérer les applications Docker multi-conteneurs.
Créez un entrepôt de données avec BigQuery et configurez l'accès pour votre équipe
Importez des données en utilisant des compétences SQL avancées, Fivetran & Airbyte
Configurez une instance Postgres de 0 et comparez-la à des solutions gérées
Utilisez Docker Compose pour la configuration locale et le test de configurations complexes (bases de données partitionnées)
Approfondissez votre compréhension des processus ETL, ELT et ETLT avec Airflow et DBT. Préparez vos données pour divers outils de visualisation de données et orchestrez vos conteneurs créés par Docker avec Kubernetes.
Implémentez et optimisez des flux ETL à l'aide d'Airflow
Créez et gérez des pipelines de données avec DBT, en mettant l'accent sur la modularité, les tests et le contrôle des versions
Combinez Airflow et DBT ensemble
Découvrez comment fournir des données aux utilisateurs finaux
Découvrez Kubernetes et comment le déployer sur un cluster de production
Apprenez à gérer des charges de travail et des transferts de données plus importants, explorez le domaine du streaming de données à grande échelle et saisissez les aspects essentiels du logging et de l’alerting.
Tirez parti de PySpark pour transformer d'énormes quantités de données
Implémenter des solutions de streaming de données avec Kafka et Pub/Sub
Transformez les données de streaming en temps réel avec Apache Beam
Découvrez comment gérer et surveiller vos solutions de données à mesure que votre charge de travail de données augmente
Concevez et construisez un projet de Data Engineering en équipe et à partir de zéro. Intégrez une variété de solutions de la Modern Data Stack. Fournissez des données aux utilisateurs finaux et déployez vos projets en production.
Et découvrez aussi :
une soutenance en fin de projet
Rejoignez nos prochains Bootcamps Data Engineering.
Comprenez l'objectif du bootcamp
Obtenez notre programme semaine après semaine
Comprenez notre méthodologie
Télécharger le programme Data Engineering
Vous n'êtes pas sûrs que la formation Data Engineering soit faite pour vous ? Découvrez nos autres formations en Data !
Jusqu'à 400 heures
1 professeur pour 7 élèves
Format flexible de 2 à 6 mois
Sur le campus ou en ligne
Rejoignez un workshop en direct et faites vos premiers pas dans le développement web, l'analyse de données avec Python, JavaScript, SQL et plus encore !
Vous souhaitez perfectionner vos compétences en Data Engineering? Rejoignez-nous pour cet atelier intensif où nous plongerons dans le monde fascinant des bases de données graphiques avec Neo4j. Que vous soyez développeur, data scientist/analyst ou simplement passionné de Tech et de Data, vous découvrirez comment les bases de données graphiques diffèrent des bases de données traditionnelles et comment les utiliser pour une expérience culinaire unique !
Bruno Lajoie
Selim Youssry
Nicolas Bancel
Yacine Alami
