Outil · Data Science & Machine Learning

PySpark

Interface Python d'Apache Spark, qui permet d'écrire des traitements de données distribués en Python plutôt qu'en Scala ou Java.

Définition

PySpark est l'interface Python d'Apache Spark, qui permet d'écrire des traitements de données distribués en Python plutôt qu'en Scala ou en Java, les langages natifs de Spark.

PySpark rend Spark accessible aux data scientists déjà familiers de l'écosystème Python (Pandas, NumPy, scikit-learn), tout en leur permettant de profiter de la puissance de calcul distribué de Spark sur des volumes de données dépassant les capacités d'une seule machine.

Questions fréquentes

Qu'est-ce que PySpark ?

Interface Python d'Apache Spark, qui permet d'écrire des traitements de données distribués en Python plutôt qu'en Scala ou Java.

Quelles formations Sparks abordent PySpark ?

PySpark, Computer Vision, Kedro, NLP (Natural Language Processing), Python pour la Data Science, Programmation R – Introduction et tidyverse.