• 中的your-spark-app.jar是个jars包,还是jar文件,如果是jar文件该怎么找


    spark-submit --class SparkJoin your-spark-app.jar "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\ratings.dat" "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\movies.dat" "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\output"
    

    中的your-spark-app.jar是个jars包,还是jar文件,如果是jar文件该怎么找file:///D:/Spark/spark-2.3.1-bin-hadoop2.6/spark-2.3.1-bin-hadoop2.6/jars/

    • 阿里嘎多学长 2024-06-03 16:42
      关注

      以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳:


      在Spark提交命令中,your-spark-app.jar通常指的是一个包含你的Spark应用程序代码的JAR文件。这个JAR文件是编译你的应用程序后生成的,它包含了应用程序的类文件和任何必要的资源文件。它不是一个JAR包,而是一个单独的JAR文件。

      要找到your-spark-app.jar,你需要按照以下步骤操作:

      1. 编译你的Spark应用程序:使用Scala或Java编译器编译你的Spark应用程序,生成JAR文件。如果你使用的是Scala,通常使用sbt package命令来编译和打包应用程序。

      2. 定位JAR文件:编译完成后,JAR文件通常位于项目的target目录下,具体路径取决于你的构建工具和项目配置。

      3. 使用JAR文件:一旦找到JAR文件,你就可以在spark-submit命令中使用它了。

      例如,如果你的项目结构如下:

      SparkRddDemo1/
      |-- src/
      |   |-- main/
      |       |-- scala/
      |           |-- SparkJoin/
      |-- target/
          |-- scala-2.11/
              |-- your-spark-app.jar
      

      那么,your-spark-app.jar将位于SparkRddDemo1/target/scala-2.11/目录下。

      至于你提供的路径file:///D:/Spark/spark-2.3.1-bin-hadoop2.6/spark-2.3.1-bin-hadoop2.6/jars/,这是Spark的安装目录下的jars文件夹,它包含了Spark运行时所需的所有JAR文件。your-spark-app.jar不应该在这个目录下,它应该是你单独编译生成的。

      如果你需要编译Scala项目并生成JAR文件,可以使用以下命令(假设你使用的是sbt):

      sbt clean
      sbt package
      

      这将清理之前的构建产物并重新编译打包你的应用程序。

      参考资料

      请注意,这些链接提供了关于Spark和sbt的一般信息,具体的编译和打包步骤可能需要根据你的项目配置和环境进行调整。

      展开全部

    • 专家-赤兔[在线] 全栈领域优质创作者 2024-06-03 16:42
      关注

      引自免费微信小程序:皆我百晓生

      在提供的命令行中,your-spark-app.jar 是一个 jar 文件,它是包含你的 Spark 应用程序的主要 Java 类(在这个例子中是 SparkJoin)的归档文件。要找到这个 jar 文件,你需要知道它的确切位置。

      如果你是在本地开发环境中编译了 Spark 应用程序,那么通常你会在项目的构建目录(比如 Maven 或者 SBT 项目中的 target 目录)中找到它。例如,如果你使用的是 Maven,可能的路径可能是:

      /target/your-spark-app-.jar
      

      如果你已经将项目打包并部署到生产环境,那么 jar 文件应该会存放在服务器上某个特定的位置,这取决于你的部署流程。在这种情况下,你需要从服务器上的正确路径获取它。

      如果你不确定 jar 文件在哪里,可以检查你的构建脚本(Maven 的 pom.xml 或 SBT 的 build.sbt),它们通常会指定输出 jar 文件的路径。

      在给定的 spark-submit 命令中,your-spark-app.jar 应替换为实际的 jar 文件路径。例如,如果 jar 文件位于 file:///D:/path/to/your-jar/your-spark-app.jar,则命令应修改为:

      spark-submit --class SparkJoin file:///D:/path/to/your-jar/your-spark-app.jar "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\ratings.dat" "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\movies.dat" "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\output"
      

      确保将 file:///D:/path/to/your-jar/your-spark-app.jar 替换为你实际的 jar 文件路径,并且其他参数(输入和输出文件路径)也匹配你的实际情况。

  • 相关阅读:
    辅助驾驶功能开发-控制篇(03)-基于PID的请求角度转扭矩算法
    python基础语法(JSON、类、对象)
    tomcat线程模型
    就业的二三事
    详解Pinia和Vuex
    优思学院|新版ISO9001:2015质量体系的优势(一)高阶结构
    【算法练习Day5】有效的字母异位词 &两个数组的交集&&快乐数&&两数之和
    华为机试真题 C++ 实现【租车骑绿岛】【2022.11 Q4新题】
    asp.net文档管理系统VS开发sqlserver数据库web结构c#编程Microsoft Visual Studio
    412-C++中map自定义key和value排序
  • 原文地址:https://ask.csdn.net/questions/8113415