引自免费微信小程序:皆我百晓生
在提供的命令行中,your-spark-app.jar 是一个 jar 文件,它是包含你的 Spark 应用程序的主要 Java 类(在这个例子中是 SparkJoin)的归档文件。要找到这个 jar 文件,你需要知道它的确切位置。
如果你是在本地开发环境中编译了 Spark 应用程序,那么通常你会在项目的构建目录(比如 Maven 或者 SBT 项目中的 target 目录)中找到它。例如,如果你使用的是 Maven,可能的路径可能是:
/target/your-spark-app-.jar
如果你已经将项目打包并部署到生产环境,那么 jar 文件应该会存放在服务器上某个特定的位置,这取决于你的部署流程。在这种情况下,你需要从服务器上的正确路径获取它。
如果你不确定 jar 文件在哪里,可以检查你的构建脚本(Maven 的 pom.xml 或 SBT 的 build.sbt),它们通常会指定输出 jar 文件的路径。
在给定的 spark-submit 命令中,your-spark-app.jar 应替换为实际的 jar 文件路径。例如,如果 jar 文件位于 file:///D:/path/to/your-jar/your-spark-app.jar,则命令应修改为:
spark-submit --class SparkJoin file:///D:/path/to/your-jar/your-spark-app.jar "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\ratings.dat" "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\movies.dat" "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\output"
确保将 file:///D:/path/to/your-jar/your-spark-app.jar 替换为你实际的 jar 文件路径,并且其他参数(输入和输出文件路径)也匹配你的实际情况。