SBT: Запуск задания Spark на удаленном кластере из sbt

У меня есть искрообразование (давайте назовем его wordcount), написанное на Scala, которое я могу выполнять в следующих манерах

  • Запуск на локальном искровом экземпляре изнутри sbt

    sbt> runMain WordCount [InputFile] [Otuputdir] local [*]

  • Запустите на искровом искровом искровом искрообразовании - отправьте банку

    пакет sbt>

    $> spark-submit --master spark: //192.168.1.1: 7077 - класс WordCount target / scala-2.10 / wordcount_2.10-1.5.0-SNAPSHOT.jar [InputFile] [Otuputdir]

Код:

// get arguments
val inputFile = args(0)
val outputDir = args(1)
// if 3rd argument defined then use it
val conf = if ( args.length == 3 )  new SparkConf().setAppName("WordCount").setMaster(args(2)) else  new SparkConf().setAppName("WordCount") 
val sc = new SparkContext(conf)

Как я могу запустить эту работу на удаленном искровом кластере из SBT?

scala,apache-spark,sbt,

2

Ответов: 1


2

Существует плагин sbt для spark-submit. https://github.com/saurfang/sbt-spark-submit

масштаб, апаш-искра, SBT,
Похожие вопросы