Big Data : Stockage et mise à disposition des données (SQL, NoSQL)
Durée : 28 heures – Évaluation : Contrôle continu
Présentation
Ce cours s’adresse aux étudiants en informatique souhaitant appréhender et maîtriser les fondamentaux du Big Data. Destiné aux data analystes, aux responsables IT ou aux professionnels en transformation numérique, ce module vise à développer des compétences techniques et stratégiques pour exploiter efficacement les données et informations massives. Il s’axe sur la construction, la supervision et de développement d’une architecture de données. La gestion efficace du Big Datarequiert des technologies avancées (Cloud Computing, l’intelligence artificielle, Machine Learning,…), pour analyser rapidement de vastes ensembles d’informations. Les données sont organisées pour avoir une lecture et une utilisation efficace (interface, Data Lake, …).
La formation vise à faire de l’analyse de données en Big Data. Elle permet d’acquérir un ensemble de compétences techniques, analytiques et en gestion des données. Les étudiants apprendront l’évolution technologique des systèmes de gestion de données, en passant des bases relationnelles, aux solutions distribuées, avec les défis associés.
Ce cours approfondit la maîtrise en programmation (Python) et en base de données (SQL, NoSQL). Il offre une compréhension approfondie des attributs clés comme le Volume, la Vitesse, la Variété, la Véracité et la Valeur des données massives pour le NoSQL. La partie pratique permet de découvrir et comprendre des architectures Big Data (Hadoop, Spark), et de connaître les outils de visualisation et de déploiement en Cloud. Les études de cas concrets illustreront les applications du Big Data dans différents contextes professionnels d’analyses. Le cours aborde les enjeux stratégiques et éthiques, notamment la prise de décision, l’innovation, la transparence et la conformité aux lois, comme le RGPD (Règlement Général sur la Protection des Données).
Arthur est Architecte des systèmes d'information dans les processus industriels, avec une spécialisation en Intelligence Artificielle. Il a débuté sa carrière professionnelle dans l'informatique au sein de la jeune pousse Oky Doky, en qualité de Chargé de projets IA.
Objectifs pédagogiques
- Comprendre les concepts fondamentaux du Big Data
- Comprendre et développer une approche analytique et stratégique dans la gestion et l’analyse de grands volumes de données
- Acquérir des compétences avancées en programmation Python (ou R) pour le traitement et l’analyse de données massives
- Rappeler les bases de données SQL et NoSQL pour la gestion efficace de données structurées et non structurées
- Comprendre les architectures Big Data (Hadoop, Spark) et leur déploiement
- Acquérir des compétences pratiques pour collecter, pré traiter et analyser des données à grande échelle, avec des outils Python, les frameworks Hadoop, Spark, des bases de données NoSQL et des outils de visualisation
- Découvrir les outils de visualisation de données (Python / R) et de déploiement en environnement Cloud
Plan du module
- Les fondamentaux
- Qu’est-ce que le Big Data ?
- Pourquoi le Big Data est-il stratégique ?
- Les défis techniques et organisationnels
- Architecture et écosystème Big Data
- Cas pratiques et tendances
- Synthèse, évaluation et mise en contexte
- Analyser les enjeux stratégiques du Big Data
- Évaluer l’impact sur les entreprises : prise de décision, innovation, compétitivité
- Considérer les enjeux éthiques : biais algorithmiques, transparence, confidentialité (RGPD)
- Assurer la sécurisation des données : cryptage, anonymisation
- Discerner les défis techniques et organisationnels
- Types de données : structurées (CSV, SQL), semi-structurées (JSON, XML), non structurées (vidéos, images, textes)
- Explorer les outils de stockage et de traitement à grande échelle : HDFS, SQL, NoSQL, MapReduce, Spark
- Métriques d’évaluation et création de rapports : KPI, indicateurs clé, reporting automatisé
- Data Lake : concept et positionnement
- Données brutes (structurées, semi-structurées, non structurées) stockées dans leur format natif
- Agilité, scalabilité, préservation de la donnée brute, support de l’IA/ML
- Écosystème : (ETL / ELT), sources
- Acquisition, filtrage et nettoyage des données
- Importance du pré-traitement des données
- Étapes principales du pré-traitement
- Collecter les données (sources multiples, ETL), nettoyer (doublons, incohérences), transformer (normalisation)
- Conception d’un Data Lake : zones et pipelines d’ingestion
- ELT et Data Lake : chargement (zone brute), nettoyer/transformer disposition (zone nettoyée)
- Conception d’un Data Lake : zones et pipelines d’ingestion
- Analyse statistique appliquée au Big Data
- Comprendre les concepts d’analyse descriptive, échantillonnage, et techniques avancées (clustering, classification)
- Impact sur la qualité des résultats et la prévention des biais
- Outils et frameworks pour l’analyse
- Introduction aux environnements et langages
- L’écosystème Hadoop
- Fonctionnement de HDFS, modèle de programmation MapReduce, et outils (Hive, Pig, HBase)
- L’écosystème Apache Spark
- Clarifier les concepts clés : Resilient Distributed Dataset (RDD), Machine Learning avec MLlib
- Bases NoSQL (MongoDB, Cassandra) et outils de visualisation
- Visualisation des données et application de solutions
- Principes de la visualisation de données
- Types de graphiques et leur usage
- Outils et techniques
- Application de solutions et études de cas d’usage
Bibliographie et ressources
- Apache Spark, Développez en Python pour le Big Data (Nastasia Saby, éditeur : Editions ENI, ISBN : 9782409033797, 2409033792 – 2022)
- Analyse de données avec Python – Optimiser la préparation des données avec Pandas, Numpy, Jupyter et IPython (Wes Mckinney – O’REILLY – ISBN 9782412069189, 2412069182 – 2021)
- Maîtrisez l’utilisation des technologies Hadoop, Initiation à l’écosystème Hadoop (Juvénal Chokogoue, éditeur : Eyrolles, ISBN : 9782212406382, 221240638X – 2018)
- R pour les data sciences, Importer, classer, transformer, visualiser et modéliser les données (Garrett Grolemund, Hadley Wickham, éditeur : Eyrolles, ISBN : 9782212731514, 2212731515 – 2018)
Ce module fait partie de notre parcours Mastère Intelligence Artificielle (Bac+5) en première année.
Plutôt envie de découvrir ce module en immersion avant de vous inscrire ?
Participez à une de nos prochaines journées découvertes.