Spark
Existe au format livre et ebook
Présentation du livre
Depuis 2015, Spark s’impose comme le standard de-facto pour le big data : en apportant simplicité d’usage, puissance de calcul, analyses en temps réel, algorithmes de machine learning et deep learning, le tout accessible en Python. Spark est devenu la porte d’entrée incontournable des projets de valorisation de données.
Alors que vient de sortir Spark 3avec son lot d'innovations (Koalas, DeltaLake, et gestion des GPU), les environnements simplifiés « clicks boutons » sont légion (DataBricks, Dataiku, RapidMiner, etc.). Mais pour les utiliser à bon escient, il vous faudra comprendre son fonctionnement interne de Spark afin de paramétrer correctement votre cluster et vos applications.
C’est ce que propose ce livre : vous emmener dans une compréhension fine des tenants et aboutissants de Spark.
L’analyse des données n’est utile que dans des cas business précis. C’est pourquoi nous insistons sur une méthode d’analyse des données qui vous permettra de connaître les étapes d’un projet de machine learning, et les questions indispensables à se poser pour réussir une analyse pertinente. Nous l’illustrons via un exemple complet d’une entreprise (virtuelle) de location de vélo en libre service.
Ainsi, en lisant ce livre, vous maîtriserez l’outil et la méthode adéquats pour valoriser vos données de manière éclairée, vous assurant une meilleure efficacité et rentabilité de vos projets data.
Le code du livre est disponible sur Github.
Sommaire de l'ouvrage
Spark et big data. La fin des bases de données SQL ? L'algorithme MapReduce. Le Directed Acyclic Graph. Les Resilient Distributed Datasets. Concepts de Spark. Installation de Spark. Démarrer le cluster Spark. Démarre le master. Configuration d'une session Spark sur cluster. Présentation et installation de HDFS. Premiers scripts avec Spark Core et Spark SQL. Installer Git et Docker. Spark Streaming. Spark SQL. Introduction au machine learning. Spark ML : étude de cas analyse d'une société de location de Vélib. Comprendre, visualiser et nettoyer les données. Exemple de modélisation. Intégration des étapes de machine learning dans un pipeline.
