Pyspark: Python-Pakete auf dem Testamentsvollstrecker Server

stimmen
-1

Ich habe gerade angefangen mit Pyspark auf neue Anwendung arbeiten .. Ich installierte mit allen Paketen pip (Abhängigkeiten meiner Anwendung), die ich in dem Server benötigt, die ausgeführt Funken vorlegen. Muss ich auf der anderen Funken Gateways die Python-Pakete von meiner Anwendung installieren?

Vielen Dank.

Veröffentlicht am 20/10/2018 um 12:36
quelle vom benutzer
In anderen Sprachen...                            


1 antworten

stimmen
0

Sie haben die Pakete auf alle Arbeiter Knoten zu installieren. Sie könnten verwenden cssh Ihr Leben ein bisschen leichter zu machen.

Eine Alternative jedes pip Pakets im Voraus Installation ist eine requirements.txt zu verwenden (und vorzugsweise eine virtualenvironment). Um eine requirements.txt zu verwenden nur starten Funken vorlegen mit den folgenden Parametern:

--conf spark.pyspark.virtualenv.enabled=true  
--conf spark.pyspark.virtualenv.type=native 
--conf spark.pyspark.virtualenv.requirements=/Users/jzhang/github/spark/requirements.txt 
--conf spark.pyspark.virtualenv.bin.path=/Users/jzhang/anaconda/bin/virtualenv 
--conf spark.pyspark.python=/usr/local/bin/python3 spark_virtualenv.py

Weitere Informationen finden Sie im 2 .

Beantwortet am 20/10/2018 um 16:57
quelle vom benutzer

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more