Проблема с выпуском Pyspark Windows 10 с Python 3.6


0

PySpark 2.1 в настоящее время не работает с Python 3.6.0. Об этом сообщается здесь . Он был разрешен 17 января 2017 года, но не был выпущен на сегодняшний день (17 марта 2017 года). Однако, глядя на зафиксированные изменения, вы можете исправить это самостоятельно, загрузив следующие два файла Python:

https://github.com/apache/spark/blob/master/python/pyspark/serializers.py https://github.com/apache/spark/blob/master/python/pyspark/cloudpickle.py

и сохранение их в следующее место (переписывание существующих файлов):

C: Users prudra Desktop Udemy искровым 2.1.0-бен-hadoop2.7 питон pyspark

или более общие файлы должны быть сохранены в pythonpysparkподпапку вашей установки Spark.


0

Spark 2.1.1 только что выпущен 4 мая. Он сейчас работает с Python 3.6, вы можете увидеть релиз примечание здесь .

питон, pyspark,

python,pyspark,

0

Ответов: 2


0

PySpark 2.1 в настоящее время не работает с Python 3.6.0. Об этом сообщается здесь . Он был разрешен 17 января 2017 года, но не был выпущен на сегодняшний день (17 марта 2017 года). Однако, глядя на зафиксированные изменения, вы можете исправить это самостоятельно, загрузив следующие два файла Python:

https://github.com/apache/spark/blob/master/python/pyspark/serializers.py https://github.com/apache/spark/blob/master/python/pyspark/cloudpickle.py

и сохранение их в следующее место (переписывание существующих файлов):

C: Users prudra Desktop Udemy искровым 2.1.0-бен-hadoop2.7 питон pyspark

или более общие файлы должны быть сохранены в pythonpysparkподпапку вашей установки Spark.


0

Spark 2.1.1 только что выпущен 4 мая. Он сейчас работает с Python 3.6, вы можете увидеть релиз примечание здесь .

питон, pyspark,
Похожие вопросы