• 大数据应用常用打包方式

    一、简介

    在提交大数据作业到集群上运行时，通常需要先将项目打成 JAR 包。这里以 Maven 为例，常用打包方式如下：

    • 不加任何插件，直接使用 mvn package 打包；
    • 使用 maven-assembly-plugin 插件；
    • 使用 maven-shade-plugin 插件；
    • 使用 maven-jar-plugin 和 maven-dependency-plugin 插件；

    以下分别进行详细的说明。

    二、mvn package

    不在 POM 中配置任何插件，直接使用 mvn package 进行项目打包，这对于没有使用外部依赖包的项目是可行的。但如果项目中使用了第三方 JAR 包，就会出现问题，因为 mvn package 打的 JAR 包中是不含有依赖包，会导致作业运行时出现找不到第三方依赖的异常。这种方式局限性比较大，因为实际的项目往往很复杂，通常都会依赖第三方 JAR。

    大数据框架的开发者也考虑到这个问题，所以基本所有的框架都支持在提交作业时使用 --jars 指定第三方依赖包，但是这种方式的问题同样很明显，就是你必须保持生产环境与开发环境中的所有 JAR 包版本一致，这是有维护成本的。

    基于上面这些原因，最简单的是采用 All In One 的打包方式，把所有依赖都打包到一个 JAR 文件中，此时对环境的依赖性最小。要实现这个目的，可以使用 Maven 提供的 maven-assembly-plugin 或 maven-shade-plugin 插件。

    三、maven-assembly-plugin插件

    Assembly 插件支持将项目的所有依赖、文件都打包到同一个输出文件中。目前支持输出以下文件类型：

    • zip
    • tar
    • tar.gz (or tgz)
    • tar.bz2 (or tbz2)
    • tar.snappy
    • tar.xz (or txz)
    • jar
    • dir
    • war

    3.1 基本使用

    在 POM.xml 中引入插件，指定打包格式的配置文件 assembly.xml(名称可自定义)，并指定作业的主入口类：

    <build>
    <plugins>
        <plugin>
            <artifactId>maven-assembly-pluginartifactId>
            <configuration>
                <descriptors>
                    <descriptor>src/main/resources/assembly.xmldescriptor>
                descriptors>
                <archive>
                    <manifest>
                        <mainClass>com.heibaiying.wordcount.ClusterWordCountAppmainClass>
                    manifest>
                archive>
            configuration>
        plugin>
    plugins>
build>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17

    assembly.xml 文件内容如下：

    <assembly xmlns="http://maven.apache.org/ASSEMBLY/2.0.0"
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:schemaLocation="http://maven.apache.org/ASSEMBLY/2.0.0 
                              http://maven.apache.org/xsd/assembly-2.0.0.xsd">
    
    <id>jar-with-dependenciesid>

    
    <formats>
        <format>jarformat>
    formats>

    <includeBaseDirectory>falseincludeBaseDirectory>
    <dependencySets>
        <dependencySet>
            <outputDirectory>/outputDirectory>
            <useProjectArtifact>trueuseProjectArtifact>
            <unpack>trueunpack>
            <scope>runtimescope>
            
            <excludes>
                <exclude>org.apache.storm:storm-coreexclude>
            excludes>
        dependencySet>
    dependencySets>
assembly>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26

    3.2 打包命令

    采用 maven-assembly-plugin 进行打包时命令如下：

    # mvn assembly:assembly 

    • 1

    打包后会同时生成两个 JAR 包，其中后缀为 jar-with-dependencies 是含有第三方依赖的 JAR 包，后缀是由 assembly.xml 中 标签指定的，可以自定义修改。

    在这里插入图片描述

    四、maven-shade-plugin插件

    maven-shade-plugin 比 maven-assembly-plugin 功能更为强大，比如你的工程依赖很多的 JAR 包，而被依赖的 JAR 又会依赖其他的 JAR 包，这样,当工程中依赖到不同的版本的 JAR 时，并且 JAR 中具有相同名称的资源文件时，shade 插件会尝试将所有资源文件打包在一起时，而不是和 assembly 一样执行覆盖操作。

    通常使用 maven-shade-plugin 就能够完成大多数的打包需求，其配置简单且适用性最广，因此建议优先使用此方式。

    4.1 基本配置

    采用 maven-shade-plugin 进行打包时候，配置示例如下：

    <plugin>
    <groupId>org.apache.maven.pluginsgroupId>
    <artifactId>maven-shade-pluginartifactId>
    <configuration>
        <createDependencyReducedPom>truecreateDependencyReducedPom>
        <filters>
            <filter>
                <artifact>*:*artifact>
                <excludes>
                    <exclude>META-INF/*.SFexclude>
                    <exclude>META-INF/*.sfexclude>
                    <exclude>META-INF/*.DSAexclude>
                    <exclude>META-INF/*.dsaexclude>
                    <exclude>META-INF/*.RSAexclude>
                    <exclude>META-INF/*.rsaexclude>
                    <exclude>META-INF/*.ECexclude>
                    <exclude>META-INF/*.ecexclude>
                    <exclude>META-INF/MSFTSIG.SFexclude>
                    <exclude>META-INF/MSFTSIG.RSAexclude>
                excludes>
            filter>
        filters>
        <artifactSet>
            <excludes>
                <exclude>org.apache.storm:storm-coreexclude>
            excludes>
        artifactSet>
    configuration>
    <executions>
        <execution>
            <phase>packagephase>
            <goals>
                <goal>shadegoal>
            goals>
            <configuration>
                <transformers>
                    <transformer
                       implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
                    <transformer
                       implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                    transformer>
                transformers>
            configuration>
        execution>
    executions>
plugin>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    系统签名工具
    zip 2星 超过40%的资源 9KB
    下载

    以上配置来源于 Storm Github，在上面的配置中，排除了部分文件，这是因为有些 JAR 包生成时，会使用 jarsigner 生成文件签名 (完成性校验)，分为两个文件存放在 META-INF 目录下：

    • a signature file, with a .SF extension；
    • a signature block file, with a .DSA, .RSA, or .EC extension。

    如果某些包的存在重复引用，这可能会导致在打包时候出现 Invalid signature file digest for Manifest main attributes 异常，所以在配置中排除这些文件。

    4.2 打包命令

    使用 maven-shade-plugin 进行打包的时候，打包命令和普通打包一样：

    # mvn package

    • 1

    打包后会生成两个 JAR 包，提交到服务器集群时使用非 original 开头的 JAR。

    在这里插入图片描述

    五、其他打包需求

    1. 使用非Maven仓库中的Jar

    通常上面两种打包能够满足大多数的使用场景。但是如果你想把某些没有被 Maven 管理 JAR 包打入到最终的 JAR 中，比如你在 resources/lib 下引入的其他非 Maven 仓库中的 JAR，此时可以使用 maven-jar-plugin 和 maven-dependency-plugin 插件将其打入最终的 JAR 中。

    <build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.pluginsgroupId>
            <artifactId>maven-jar-pluginartifactId>
            <configuration>
                <archive>
                    <manifest>
                        <addClasspath>trueaddClasspath>
                          
                        <classpathPrefix>lib/classpathPrefix>
                          
                        <mainClass>com.heibaiying.BigDataAppmainClass>
                    manifest>
                archive>
            configuration>
        plugin>
        <plugin>
            <groupId>org.apache.maven.pluginsgroupId>
            <artifactId>maven-dependency-pluginartifactId>
            <executions>
                <execution>
                    <id>copyid>
                    <phase>compilephase>
                    <goals>
                         
                        <goal>copy-dependenciesgoal>
                    goals>
                    <configuration>
                         
                        <outputDirectory>
                            ${project.build.directory}/lib
                        outputDirectory>
                    configuration>
                execution>
            executions>
        plugin>
    plugins>
build>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39

    2. 排除集群中已经存在的Jar

    大数据分析技术架构解决方案.ppt
    ppt 4星 超过85%的资源 3.28MB
    下载

    通常为了避免冲突，官方文档都会建议你排除集群中已经提供的 JAR 包，如下：

    Spark 官方文档 Submitting Applications 章节:

    When creating assembly jars, list Spark and Hadoop as provided dependencies; these need not be bundled since they are provided by the cluster manager at runtime.

    Strom 官方文档 Running Topologies on a Production Cluster 章节：

    Then run mvn assembly:assembly to get an appropriately packaged jar. Make sure you exclude the Storm jars since the cluster already has Storm on the classpath.

    按照以上说明，排除 JAR 包的方式主要有两种：

    • 对需要排除的依赖添加 provided 标签，此时该 JAR 包会被排除，但是不建议使用这种方式，因为此时你在本地运行也无法使用该 JAR 包；
    • 建议直接在 maven-assembly-plugin 或 maven-shade-plugin 的配置文件中使用 进行排除。

    3. 打包Scala文件

    如果你使用到 Scala 语言进行编程，此时需要特别注意 ：默认情况下 Maven 是不会把 scala 文件打入最终的 JAR 中，需要额外添加 maven-scala-plugin 插件，常用配置如下：

    <plugin>
    <groupId>org.scala-toolsgroupId>
    <artifactId>maven-scala-pluginartifactId>
    <version>2.15.1version>
    <executions>
        <execution>
            <id>scala-compileid>
            <goals>
                <goal>compilegoal>
            goals>
            <configuration>
                <includes>
                    <include>**/*.scalainclude>
                includes>
            configuration>
        execution>
        <execution>
            <id>scala-test-compileid>
            <goals>
                <goal>testCompilegoal>
            goals>
        execution>
    executions>
plugin>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24

    参考资料

    关于 Maven 各个插件的详细配置可以查看其官方文档：

    • maven-assembly-plugin : http://maven.apache.org/plugins/maven-assembly-plugin/
    • maven-shade-plugin : http://maven.apache.org/plugins/maven-shade-plugin/
    • maven-jar-plugin : http://maven.apache.org/plugins/maven-jar-plugin/
    • maven-dependency-plugin : http://maven.apache.org/components/plugins/maven-dependency-plugin/
  • 相关阅读:
    【Unity基础】2.网格材质贴图与资源打包
    第一百三十三回 StreamProvier
    java计算机毕业设计vue健身食谱系统源码+mysql数据库+系统+lw文档+部署
    DL-31/6电流继电器
    【BOOST C++ 10 时间数据】（1）日历日期（11-9）
    git和github
    java开发工具IntelliJ IDEA全新版本V2022.2更新详情（二）
    Hadoop3教程（十二）：MapReduce中Shuffle机制的概述
    C++函数如何具有多个返回值？
    别看了，这就是你的题呀(二)
  • 原文地址：https://blog.csdn.net/mxk4869/article/details/125893275