Python AppEngine MapReduce

Я создал довольно простой конвейер MapReduce, но у меня есть загадочный:

PipelineSetupError: Error starting production.cron.pipelines.ItemsInfoPipeline(*(), **{})#a741186284ed4fb8a4cd06e38921beff:

когда я пытаюсь запустить его. Это код конвейера:

class ItemsInfoPipeline(base_handler.PipelineBase):
"""
"""

    def run(self):
        output = yield mapreduce_pipeline.MapreducePipeline(
            job_name="items_job",
            mapper_spec="production.cron.mappers.items_info_mapper",
            input_reader_spec="mapreduce.input_readers.DatastoreInputReader",
            mapper_params={
                "input_reader": {
                    "entity_kind": "production.models.Transaction"
                }
            }
        )

        yield ItemsInfoStorePipeline(output)


class ItemsInfoStorePipeline(base_handler.PipelineBase):
"""
"""

    def run(self, statistics):
        print statistics
        return "OK"

Конечно, я дважды проверил, что путь mapper прав, и учтите, что ItemsInfoStorePipeline ничего не делает, потому что я фокусируюсь на том, что запущен трубопровод, чего не происходит.

Все это вызвано представлением «Флажок»:

class ItemsInfoMRJob(views.MethodView):
"""

It's based on transacions.

"""

    def get(self):
    """

    :return:
    """
        pipeline = ItemsInfoPipeline()
        pipeline.start()

        redirect_url = "%s/status?root=%s" % (pipeline.base_path, pipeline.pipeline_id)

        return flask.redirect(redirect_url)

я использую GoogleAppEngineMapReduce==1.9.22.0

Спасибо за любую помощь.

ОБНОВИТЬ

Вышеупомянутый код работает после развертывания.

ОБНОВЛЕНИЕ 2

По-видимому, больше людей справляются с этим:

https://github.com/GoogleCloudPlatform/appengine-mapreduce/issues/103

python,google-app-engine,mapreduce,google-app-engine-python,

0

Ответов: 1


0

Я обновляю это. У меня есть база кода, которая использует конвейеры и отлично работает в OSX. У меня был еще один разработчик с OSX, который просто ничего не делает, кажется, он работает, он получает это:

Обнаружена непредвиденная ошибка в реализации метода ProtoRPC: PipelineSetupError

Я пробовал заменять версии и идеально подходит для нашего ПК, и это продолжается. Я, наконец, сломался и построил изображение Ubuntu в докере. Я также стараюсь полностью соответствовать нашим версиям AppEngine и библиотек.

Он также отказывается начинать с того же сообщения. Я начал работать через библиотеки, раскомментируя ту часть, которая проглотила ошибку, но это была длинная яма кролика, которую я начал, потому что многие вещи над ней также, похоже, поглощают все происходящее.

питон, Google-приложение двигатель, MapReduce, Google-приложение-двигательно-питона,
Похожие вопросы