• devops学习(十) Jenkins 流水线

    在之前的环境中我们实现了基本的持续集成和持续部署(CI/CD) 但整个实现的过程是非常繁琐的，经常容易忘记怎么操作，而且当报错的时候排查很艰难  在jenkins中提供了一套流水线作业pipeline 来简化这些流程

    一、认识pipeline流水线

    1、新建项目

    1. 项目名称:  pipeline
    2.  
    3. 项目风格:  流水线

    2、体验流水线简单案例

    我们在流水线项目中点击右侧的hello World会自动生成流水线代码片段

     

     当我们手动构建后可以在屏幕中间的任务列表中看到我们项目构建所消耗的时间、是否成功、日志信息等

    二、pipeline 流水线语法结构

    我们上面生成的hello world的语句片段我们拿过来用一下

    1、语法说明

    1. pipeline {         // 所有的脚本信息都是放在pipeline中的
    2.     agent any      //构建时任务交给具体那个jenkins节点，(集群模式下可选node)
    3.  
    4.  
    5.     environment {         //演示代码里没有，这里加一下
    6.      key = 'value'        //全局变量配置，自定义
    7.   }
    8.  
    9.     stages {     //任务组，所有要跑的任务都放在这个组下
    10.  
    11.         stage('Hello') {    //第一个任务,任务构建的顺序是从上到下的，可以定义任务名称
    12.             steps {         //第一个任务的具体操作
    13.                 echo 'Hello World'    //具体的shell命令
    14.             }
    15.         }
    16.     }
    17. }

     也就是说，我们要添加一个子任务就需要在stages下添加一组stage的配置

    2、添加多组配置

    我们在这里先将大致框架定出来，设置每一步大概要做什么，具体内容先用输出代替

    1. pipeline {
    2.  
    3.   agent any   
    4.   
    5.   environment {
    6.      key = 'value'
    7.   }
    8.  
    9.      stages {
    10.  
    11.         stage('1、 拉取gitlab上的代码到jenkins主机  ') {
    12.             steps() {
    13.                 echo '拉取git仓库代码 - SUCCESS'
    14.             }
    15.         }
    16.         stage('2、通过jenkins本机的maven+jdk来实现编译打包') {
    17.             steps() {
    18.                 echo '通过maven构建项目 - SUCCESS'
    19.             }
    20.         }
    21.         stage('3、通过SonarQube做代码质量检测') {
    22.             steps() {
    23.                 echo '通过SonarQube做代码质量检测  - SUCCESS'
    24.             }
    25.         }
    26.         stage('4、通过jenkins主机构建docker镜像') {
    27.             steps() {
    28.                 echo '通过jenkins主机构建docker镜像   - SUCCESS'
    29.             }
    30.         }
    31.         stage('5、发送Chart包到K8master主机') {
    32.             steps() {
    33.                 echo '发送Chart包到K8master主机   - SUCCESS'
    34.             }
    35.         }
    36.         stage('6、通过Publish Over SSH通知master 部署/更新helm - SUCCESS') {
    37.             steps() {
    38.                 echo '通过Publish Over SSH通知master 部署/更新helm   - SUCCESS'
    39.             }
    40.         }
    41.     }
    42. }

    把上面的流水线配置贴到 pipeline中测试一下，我们能看到就有了很多任务

    三、基于前面的项目完善流水线配置

    1、通过流水线拉取gitlab项目

    这里我们没有像之前那种图形化配置，不过pipeline提供了生成流水线的配置

    1. //点击流水线案例，找到如下配置
    2. checkout Check out from version control 
    3.  
    4.  
    5. //git地址
    6. http://101.43.4.210:30001/root/mytest.git

     

    生成的语句

    checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[url: 'http://101.43.4.210:30001/root/mytest.git']]])

    添加到我们的语法中

    1. pipeline {
    2.  
    3.   agent any   
    4.   
    5.   environment {
    6.      key = 'value'
    7.   }
    8.  
    9.      stages {
    10.  
    11.         stage('1、 拉取gitlab上的代码到jenkins主机  ') {
    12.             steps() {
    13.                 echo '拉取git仓库代码 - SUCCESS'
    14.                 checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[url: 'http://101.43.4.210:30001/root/mytest.git']]])
    15.             }
    16.         }
    17.         stage('2、通过jenkins本机的maven+jdk来实现编译打包') {
    18.             steps() {
    19.                 echo '通过maven构建项目 - SUCCESS'
    20.             }
    21.         }
    22.         stage('3、通过SonarQube做代码质量检测') {
    23.             steps() {
    24.                 echo '通过SonarQube做代码质量检测  - SUCCESS'
    25.             }
    26.         }
    27.         stage('4、通过jenkins主机构建docker镜像') {
    28.             steps() {
    29.                 echo '通过jenkins主机构建docker镜像   - SUCCESS'
    30.             }
    31.         }
    32.         stage('5、发送Chart包到K8master主机') {
    33.             steps() {
    34.                 echo '发送Chart包到K8master主机   - SUCCESS'
    35.             }
    36.         }
    37.         stage('6、通过Publish Over SSH通知master 部署/更新helm - SUCCESS') {
    38.             steps() {
    39.                 echo '通过Publish Over SSH通知master 部署/更新helm   - SUCCESS'
    40.             }
    41.         }
    42.     }
    43. }

    测试构建

    1. //这里我们新建的流水线项目pipeline的目录位置,构建完就可以看到拉取的代码了
    2. cd /apps/devops_setup/data/jenkins/data/workspace/pipeline/

    2.1、流水线配置导入jenkinsfile

    我们每次都去项目中配置修改很麻烦，流水线提供了一种文件形式的定义方式

    我们在gitlab代码中定义一个jenkinsfile的文件，在构建的时候他会去拉取这个文件运行，打开idea

     

    2.2  项目配置拉取jenkinsfile位置

    我这里当时搞的时候整错了，idea添加时写的jenkinsfile首字母是小写，这里在配置拉取jenkinsfile的时候最下面的关键字也要改成小写

     如上，可知这个jenkinsfile文件名称不固定，根据自己的使用定义

     构建完的操作和之前在项目中定义的是完全一样的

    3、根据tag构建指定版本

    在我们的pipeline项目中定义一个全局字符tag ，让我们项目可以通过tag去构建，下图中我们设置的默认值意思是，当我们不选择构建的tag版本时直接点构建会去拉取master分支的代码

     

    我们在上面构建默认是走的master分支，但这使得我们发布特定版本的时候很不方便

    这里我们稍作修改，将master分支改成我们在构建时gitlab传过来的分支信息

    1. steps() {
    2.       echo '拉取git仓库代码 - SUCCESS'
    3.       checkout([$class: 'GitSCM', branches: [[name: '$tag']], extensions: [], userRemoteConfigs: [[url: 'http://101.43.4.210:30001/root/mytest.git']]])
    4. }
    5.  
    6.  
    7. //这里将*/master 修改为$tag  表示以gitlab传过来的标签作为分支切换

    注意，使用jenkinsfile内部调用全局变量是${xxx}，而在jenkins项目中调用jenkinsfile的变量是$xxx

     此时jenkinsfile是去拿master分支的配置，克隆的应该是V4版本

     构建测试

    根据上图显示我们也可以指定不同的版本来跑构建了，接下来继续完善这个流程

     4、添加maven编译打包

    直接在流水线语法那里指定为shell语法后，将编译的语法转换为流水线语法即可

    1. //脚本语法 
    2. sh: shell script 
    3.  
    4.  
    5. //编译的命令，绝对路径
    6. /var/jenkins_home/maven/bin/mvn  clean package -DskipTests

    返回流水线语法

    sh '/var/jenkins_home/maven/bin/mvn  clean package -DskipTests'

     这里加一段就全量跑一下太麻烦了，我们把剩下的几段都找出来再添加

    5、添加代码质量扫描

    这个和上面的操作方法一致，这里就不放图了

    1. //脚本语法 
    2. sh: shell script 
    3.  
    4. //代码质检命令
    5. /var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsoanr.sources=./  -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=./target -Dsonar.login=squ_3005d10215abc1ac559457cc90ba804c6c477c0c
    6.  
    7. //这里是直接shell跑的需要带上token值，最后一段那个
    8. //如果不记得你自己的token了，去sonarQube上 (我的账户--安全--生成token-用户令牌)获取

    返回

    sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsoanr.sources=./  -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=./target -Dsonar.login=squ_3005d10215abc1ac559457cc90ba804c6c477c0c'

    6、jenkins容器构建镜像

    我们在设置镜像的时候，不希望写死镜像仓库地址，根据测试或功能环境不同需要重新指定仓库，这里做全局变量

    通过jenkinsfile添加 

    1. //添加全局变量
    2. environment {          
    3.      harborUser  = 'admin'
    4.      harborPasswd  = 'Harbor12345'
    5.      harborAddress = '101.43.4.210:30007'
    6.      harborRepo   = 'repo'
    7.   }

     指定镜像构建和上传到镜像仓库的部分

     通过流水线语法添加

    1. //脚本语法 
    2. sh: shell script 
    3.  
    4. //镜像上传命令
    5. mv ./target/*.jar docker/
    6. docker build -t "${JOB_NAME}:${tag}" ./docker/
    7. docker login ${harborAddress} -u${harborUser} -p${harborPasswd}
    8. docker tag ${JOB_NAME}:${tag}  ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}
    9. docker push ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}

    返回值

    1. sh '''mv ./target/*.jar docker/
    2. docker build -t "${JOB_NAME}:${tag}" ./docker/
    3. docker login ${harborAddress} -u${harborUser} -p${harborPasswd}
    4. docker tag ${JOB_NAME}:${tag}  ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}
    5. docker push ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}'''

    7、通知K8S--Heml部署

    1. //生成方法
    2. sshPublisher: Send build artifacts over SSH
    3.  
    4.  
    5. //要拷贝的源文件
    6. helm/mytest/* helm/mytest/templates/*  
    9. //要执行的命令
    10. helm upgrade -i ${JOB_NAME} --set containers.image=$harborAddress/$harborRepo/${JOB_NAME}:${tag} --set name=${JOB_NAME} /usr/local/test/helm/mytest/

    返回

    sshPublisher(publishers: [sshPublisherDesc(configName: 'test', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: 'helm upgrade -i ${JOB_NAME} --set containers.image=$harborAddress/$harborRepo/${JOB_NAME}:${tag} /usr/local/test/helm/mytest/', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'helm/mytest/* helm/mytest/templates/*  ')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])

     这里要注意一个问题

    1.  execCommand: 'helm upgrade -i ${JOB_NAME} --set containers.image=$harborAddress/$harborRepo/${JOB_NAME}:${tag} /usr/local/test/helm/mytest/'
    2.  
    3.  
    4. //命令中execCommand: 后面的命令是 单引号 ''
    5. //这样会使得我们的$harborAddress/$harborRepo  这两个变量不生效
    6. //但是这个变量是取自jenkinsfile的我们无法通过${}的方式获取
    7. //所以这里的单引号要改成双引号

     修改后的代码如下

    sshPublisher(publishers: [sshPublisherDesc(configName: 'test', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "helm upgrade -i ${JOB_NAME} --set containers.image=$harborAddress/$harborRepo/${JOB_NAME}:${tag} /usr/local/test/helm/mytest/", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'helm/mytest/* helm/mytest/templates/*  ')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])

     

    这样一来我们就把之前的项目中所有步骤的流水线代码都拿到了，下面开始整理一下

     8、流水线脚本全量整理（jenkinsfile）

    1. pipeline {
    2.  
    3.   agent any
    4.  
    5.   environment {
    6.      harborUser  = 'admin'
    7.      harborPasswd  = 'Harbor12345'
    8.      harborAddress = '101.43.4.210:30007'
    9.      harborRepo   = 'repo'
    10.   }
    11.      stages {
    12.  
    13.         stage('1、 拉取gitlab上的代码到jenkins主机  ') {
    14.             steps() {
    15.                 echo '拉取git仓库代码 - SUCCESS'
    16.                 checkout([$class: 'GitSCM', branches: [[name: '$tag']], extensions: [], userRemoteConfigs: [[url: 'http://101.43.4.210:30001/root/mytest.git']]])
    17.             }
    18.         }
    19.         stage('2、通过jenkins本机的maven+jdk来实现编译打包') {
    20.             steps() {
    21.                 echo '通过maven构建项目 - SUCCESS'
    22.                 sh '/var/jenkins_home/maven/bin/mvn  clean package -DskipTests'
    23.             }
    24.         }
    25.         stage('3、通过SonarQube做代码质量检测') {
    26.             steps() {
    27.                 echo '通过SonarQube做代码质量检测  - SUCCESS'
    28.                 sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsoanr.sources=./  -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=./target -Dsonar.login=squ_3005d10215abc1ac559457cc90ba804c6c477c0c'           }
    29.         }
    30.         stage('4、通过jenkins主机构建docker镜像') {
    31.             steps() {
    32.                 echo '通过jenkins主机构建docker镜像   - SUCCESS'
    33.                 sh '''mv ./target/*.jar docker/
    34.                 docker build -t "${JOB_NAME}:${tag}" ./docker/
    35.                 docker login ${harborAddress} -u${harborUser} -p${harborPasswd}
    36.                 docker tag ${JOB_NAME}:${tag}  ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}
    37.                 docker push ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}'''
    38.  
    39.             }
    40.         }
    41.         stage('5、发送Chart包到K8master主机 通过helm部署， 这里多写了个第6步已经删了') {
    42.             steps() {
    43.                 echo '发送Chart包到K8master主机   - SUCCESS'
    44.                 sshPublisher(publishers: [sshPublisherDesc(configName: 'test', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "helm upgrade -i ${JOB_NAME} --set containers.image=$harborAddress/$harborRepo/${JOB_NAME}:${tag} --set name=${JOB_NAME} /usr/local/test/helm/mytest/", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'helm/mytest/* helm/mytest/templates/*  ')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
    45.            }
    46.          }
    47.        }
    48. }

    9、更新代码指定新版本

    这里我们修改一下idea上代码输出的信息为5.0.0版本，然后上传到gitlab上，打一个tag为V5.0.0的版本

     修改输出代码并上传

    gitlab添加V5.0.0版本标签

     10、构建前准备

    这里因为我们之前已经部署了mytest的服务，这里先清理一下，因为job名称不同，他不会替换掉，但是因为30008端口已经被占用，这里会冲突（或者在helm的地方更新下nodePort端口）

    helm delete mytest

    11、多版本快速滚动部署

    通过以上步骤实现了通过流水线去完成我们ci/cd的持续集成和部署，现在我们可以选择版本去发布了(≧∇≦)ﾉ

  • 相关阅读:
    WorkPlus Meet提供高效、安全视频会议解决方案
    Git上传代码
    129. 求根节点到叶节点数字之和
    vue 放大镜（简易）
    牛客小白月赛#55
    浏览器完整的渲染过程
    《轻购优品》新零售玩法：消费积分认购+众筹新玩法
    leetcode(力扣) 347. 前 K 个高频元素（优先队列 & 堆 & 哈希计数器）
    HTML5期末大作业 基于HTML+CSS+JavaScript学校官网首页
    【JavaWeb】一篇承载Ajax、Axios、Json的学习笔记~
  • 原文地址：https://blog.csdn.net/qq_42883074/article/details/126048905