Jenkins

Jenkins与GitLab

在GitLab和Jenkins中配置自动触发构建的流程主要涉及两个方面：

GitLab 配置 Webhook：当代码发生变更（如Push、Merge等）时，GitLab通过Webhook通知Jenkins。
Jenkins 配置 Job：配置 Jenkins Job，使其能够接收来自GitLab的Webhook触发。

下面是详细的配置步骤：

流水线

自由风格的软件项目

步骤 1：在Jenkins中配置GitLab插件

首先，确保Jenkins安装了以下插件：

GitLab Plugin

可以在 Jenkins > Manage Jenkins > Manage Plugins 中搜索并安装这些插件。

步骤 2：在GitLab中创建Access Token

在Jenkins中，需要使用GitLab的Access Token来访问GitLab代码库。创建步骤如下：

登录GitLab，点击右上角的头像，进入 Settings > Access Tokens。
创建一个 Personal Access Token，并勾选 api 权限（确保具有足够权限访问项目）。
复制该Token备用，稍后会用到。glpat-Dqm_C_eU46G6Bsh8SpVE

步骤 3：在Jenkins中添加GitLab凭据

在Jenkins中，进入 Manage Jenkins > Manage Credentials。
添加一个新的凭据，类型选择 Secret text。
在 Secret 字段中粘贴之前创建的GitLab Access Token。
给凭据一个ID（比如gitlab-token）以便后续使用。

步骤 4：在Jenkins中创建或配置Job

创建一个新的Job（例如，选择 Freestyle project 或 Pipeline）。
在Job配置中，选择 Source Code Management 下的 Git。
输入GitLab仓库的URL，并选择 Credentials 中刚刚创建的GitLab Access Token。
配置构建触发器，使其可以被GitLab的Webhook触发：
- 找到 Build Triggers，勾选 Build when a change is pushed to GitLab（若使用GitLab Plugin），或者 Trigger builds remotely（若使用GitLab Hook Plugin）。
- 如果使用GitLab Hook Plugin，生成一个 Token，如 my-token，后续在GitLab Webhook中使用。

步骤 5：在GitLab中配置Webhook

登录到GitLab项目，进入 Settings > Webhooks。
在 URL 中输入 Jenkins Webhook 地址。格式如下：
```
http://<jenkins_url>/project/<job_name>
```
如果配置了Token，则格式为：
```
http://<jenkins_url>/project/<job_name>?token=my-token
```
选择触发条件，比如勾选 Push events 和 Merge request events。
点击 Add webhook 保存配置。

步骤 6：测试

在GitLab仓库中进行一次Push或创建一个Merge Request。
检查Jenkins中的Job是否被自动触发并构建。

常见问题

网络访问问题：确保Jenkins服务器能被GitLab访问到。如果Jenkins部署在内网，可能需要配置公网访问或者使用反向代理。
Token不匹配：如果使用了Token，请确保GitLab Webhook中的Token与Jenkins中配置的Token一致。
权限问题：GitLab的Access Token需要具有对仓库的读取权限，确保设置的权限足够。

以上步骤完成后，每当GitLab中有新的代码提交或合并，Jenkins的Job都会自动触发构建。

Jenkins与SonarQube

参考文档

https://docs.sonarqube.org/latest/analysis/scan/sonarscanner-for-jenkins/

Jenkins + SonarQube 工作流

Jenkins pipeline启动；
SonarQube Scanner分析代码，并将报告发送至SonarQube Server；
SonarQube Server分析代码检测的结果是否符合预定义的质量阈；
SonarQube Server将通过（passed）或者失败（failed）的结果发送回Jenkins上的SonarQube Scanner插件暴露的Webhook；
质量域相关的阶段成功通过或可选地失败时，则Jenkins pipeline续费后面的Stage；否则，pipeline将终止；

配置 Jenkins 使用 SonarQube

实现配置 Jenkins 使用 sonar-scanner 进行代码质量扫描，并将结果报告给 SonarQube Server

流程概述

在Jenkins上安装SonarQube插件
在SonarQube上生成令牌
配置Jenkins对接到SonarQube Server
配置Jenkins的全局工具sonar-scanner
在SonarQube上添加回调Jenkins的Webhook
在Jenkins项目上调用sonar-scanner进行代码质量扫描
通过SonarQube确认扫描结果的评估；

在 SonarQube 上生成令牌

在SonarQube上以相应的用户生成令牌，该令牌将被 Jenkins 用于通过相应的 URL 打开 SonarQube

SonarQube Web UI –> 配置 –> 权限 –> 用户 –> 令牌 –> 更新令牌 –> 填写名称后生成令牌
- 假设设置的令牌名称为：jenkins
- 对应的令牌为：255faa25ad464db26c20cdba87710d35a04ae716

Jenkins 相关配置

配置 Jenkins 对接到 SonarQube Server

安装 SonarQube 插件

Jenkins 借助于 SonarQube Scanner 插件将 SonarQube 提供的代码质量检查能力集成到 pipeline上，从而确保质量阈检查失败时，能够避免继续进行后续的操作，例如发布等。

Pipeline与Jenkinsfile

pipeline 概述

https://www.jenkins.io/zh/doc/book/pipeline/

pipeline实际上就是基于Groovy语言实现的一种DSL，用于描述代码编译到打包发布的整个流水线是如何进行的；

DSL

领域特定语言（英语：domain-specific language、DSL）指的是专注于某个应用程序领域的计算机语言。又译作领域专用语言。
Jenkins中的不同插件集成到pipeline时通常具有不同的语法格式

pipeline 分类

Jenkinsfile 能使用两种语法进行编写 - 声明式和脚本式；
声明式和脚本式的流水线从根本上是不同的。声明式流水线的是 Jenkins 流水线更近的特性

声明式

相比脚本化的流水线语法，它提供更丰富的语法特性；
是为了使编写和读取流水线代码更容易而设计的。

脚本式

pipeline 定义

通过 Blue Ocean

https://www.jenkins.io/zh/doc/book/blueocean/

在 Blue Ocean 中设置一个流水线项目后，Blue Ocean UI 会帮你编写流水线的 Jenkinsfile 文件并提交到源代码管理系统。

通过经典 UI

你可以通过经典 UI 在 Jenkins 中直接输入基本的流水线。

Jenkins主页 –> 新建item**–>** 自定义项目名称后创建流水线
- 注意：Jenkins 使用这个项目名称在磁盘上创建目录。建议不要在项目名称中使用空格，因为这样做可能会触发在脚本中不能正确处理目录路径中的空格的bug。
第一次保存流水线定义时，UI会提示流水线尚未执行；在项目上通过“立即构建”，可手动触发构建过程；

阶段视图

任务执行结果会在阶段视图中以方块的形式显示；
- 一次构建用一行方块来表示，其中每个方块代表流水线中的一个stage；
- 每个方块都代表了一个特定阶段的一次执行结果；
方块颜色的含义：
- 蓝色条纹：运行中
- 白色：stage尚未执行
- 红色条纹：state执行失败
- 绿色：stage执行成功
- 浅红色：stage执行成功，但是下游的某个stage出现失败

回放

非常好用的pipeline调试工具！

插件

Jenkins plugin 概述

https://plugins.jenkins.io/

https://www.jenkins.io/zh/doc/book/managing/plugins/

Jenkins 默认安装的插件往往不能满足生成需求，需要安装一些额外的插件
插件的安装通常在Jenkins的web界面进行（Manage Jenkins → Plugin Manager）
- 虽然插件可以单独上传到Jenkins的家目录进行安装，但大部分插件都是和其他插件有依赖关系，因此单独上传的插件往往不能使用
有的插件在下载完成后需重启Jenkins才可生效，也可以在下载过程中点击安装完成后重启Jenkins(空闲时)

配置文件管理插件

Config File Provider

https://plugins.jenkins.io/config-file-provider/

https://www.jenkins.io/doc/pipeline/steps/config-file-provider/

用户不具有Jenkins节点的主机文件系统访问权限时，可借用Config File Provider插件进行修改
Managing Jenkins → Managed Files（新增的菜单项）
add a New configuration→ Global Maven settings.xml，指向国内或企业内部的maven镜像
最后在 Global Tool Configuration → Maven 配置中引用即可
在pipeline中的引用语法可以参阅语法生成器

CI/CD核心插件

GitLab
GitLab Authentication
Generic Webhook Trigger
GitLab Logo

角色管理插件

Role-based Authorization Strategy

邮件管理插件

Email Extension #邮件管理扩展插件，非必选

Jenkins 用户和项目的创建

Jenkins默认创建的用户都是超级管理员权限，这时就需要给用户设置特定的权限从而实现灵活管理
举例的用户和项目：
- dev-leader1 –> project1
- dev-leader2 –> project2

创建用户

系统管理 –> 管理用户 –> 新建用户
- 用户名：dev-leader1
- 密码：xxx
- 确认密码：xxx
- 全名：xxx
- 电子邮件地址：767483070@qq.com
dev-leader2同理

创建项目

新建任务 –> 输入一个任务名称：project1 –> 构建一个自由风格的软件项目 –> 确定
project2同理

Jenkins 用户权限管理

权限管理依赖于上面安装的Role-based插件

开启Role-Based方式的授权策略

系统管理 –> 全局安全配置 –> 授权策略 –> Role-Based –> 保存

分布式构建

Jenkins 分布式概述

Jenkins 可以部署在多个节点上以实现分布式构建的效果；
其节点可划分主节点（master）和代理节点（agent）两种类型；

主节点

主节点负责提供UI、处理HTTP请求及管理构建环境等
Jenkins的一个部署实例的核心控制系统，它能够完全访问所有Jenkins配置的选项和任务（job）列表，而且，若不存在其他代理节点，主节点也是默认的任务执行节点；

代理节点

代理节点则主要负责执行构建任务
在早先版本的Jenkins中，代理节点（agent）也被称为从节点（slave），它代表着所有的非主节点；
这类节点由主节点管理，按需分配或指定执行特定的任务，例如不同的构建任务或测试任务等
脚本式流水线中，节点特指一个运行代理节点的系统，而在声明式流水线中，它则是分配的一个来作为代理节点的特定节点

执行器（Executor）

简单来说，Executor 只是节点或代理节点用于执行任务的一个槽位；
Executor 的数量定义了该节点可以执行的并发任务量，一个节点上可以有任务数量的槽位，但也允许管理员按节点资源定义合适的数量
在主节点将任务分配给特定节点时，该节点上必须有可用的Executor来立即执行该任务，否则，只能等到有空闲槽位可用

节点标签

Jenkins中的标签（tag）指的是附加在节点之上的标识符，而后可由pipeline中的agent指令等进行过滤和选择；
agent节点较多时，出于便捷管理之需，通常应该给这些节点添加能够暴露其某种特性或功能的标签，以便于在构建任务中能基于标签过滤出符合条件的agent来；
- 一个agent上可附加多个标签
- 标签名称不允许使用空白字符，也不允许使用标签表达式中预留的关键字，例如!、&、|、<、>、) 和 ( 等；
常用的标签纬度有如下几个：
- 操作系统类型：linux、windows、macos等；
- 系统位数：32bit、64bit；
- 集成的工具链：jdk、go、python、nodejs等；

Master & Agent 的连接方式

为了能让 master 将一个主机识别为 agent，需要事先在各 agent 上运行特定的代理程序以使得其能够与master 之间建立双向通信，有多种方法实现 master 与 agent 之间的连接建立：

SSH连接器

首选且最稳定的双向连接机制，它依赖于Jenkins内置的SSH客户端，并要求各agent要部署并启动了SSH服务；
支持基于密钥及口令的两种认证方式，但认证信息要保存为master之上的凭证；
- 基于密钥认证时，master主机上私钥凭证对应的公钥要存在于各agent主机之上；

Inbound连接器

在agent上以手动或系统服务的方式经由JNLP协议触发双向连接的建立；

JNLP-HTTP连接器

在agent上经由JNLP协议通过HTTP建立双向连接；

Jenkins 分布式实现

master 配置

Jenkins Dashboard –> 系统管理 –> 节点管理 –> 新建节点

凭据管理

Jenkins 凭据概述

Jenkins 凭据是 Jenkins 中用于安全存储和管理敏感信息的机制。这些凭据可以用来提供给 Jenkins 作业、管道（pipeline）或插件，避免在脚本中硬编码敏感信息，如密码、SSH 密钥、API 令牌等。Jenkins 凭据的设计使得用户可以安全地处理这些信息，且通过访问控制保证只有经过授权的任务和人员能够使用它们。

凭据的主要类型

Jenkins 支持多种类型的凭据，常见的有：

用户名和密码（Username with password）
- 这是最基本的凭据类型，存储用户名和密码，通常用于 HTTP 基本认证、API 访问等。
SSH 私钥（SSH Username with private key）
- 用于 SSH 连接时的认证，通常在 Jenkins 中执行 SSH 操作（如通过 SSH 连接到远程主机）时使用。
Secret Text
- 单个的密文字符串，可以是密码、API 令牌或其他类型的密钥。常用于与第三方服务集成时提供 API Token。
Secret File
- 敏感的文件凭据，比如私钥文件、配置文件等，可以在作业中下载并使用。
证书（Certificate）
- 用于存储包含私钥的证书文件，通常用于需要双向 SSL 的场景，如与某些服务的加密通信。
GitHub 凭据
- 专用于 GitHub 操作的 OAuth 令牌、用户名/密码或 SSH 私钥，用于与 GitHub 仓库交互。

Jenkins 中的凭据存储

Jenkins 凭据默认存储在主控节点的加密数据库中。Jenkins 通过 Credentials 插件来管理凭据，并通过 Web 界面或 Jenkinsfile 进行使用和引用。对于安全性，Jenkins 采用两种机制来保护凭据：

全局工具配置

全局工具配置概述

Global Tool Configuration，主要用于定义全局级的代码编译构建工具
实际的操作过程相当于配置全局的环境变量，以便Jenkins能够通过对应插件调用该工具。
- 例如：在pipeline的tools{}语句块中指定maven以便调用maven来进行Java代码编译
其中包含的工具取决于安装的插件

JDK

Manage Jenkins → Global Tool Configuration → JDK

自动安装

无论使用何种自动安装方式，配置完成后， Jenkins都不会立即进行安装，而是在第一次被用到才安装；

Run Batch Command

从 java.sun.com安装

即安装Oracle JDK，需要输入用户名和密码，但Oracle Java SE 11+ 不再授权商用

解压 .zip/.tar.gz

下载工具包并安装在Jenkins下的工作目录中. 例如：http://apache.promopeddler.com/ant/binaries/apache-ant-1.7.1-bin.zip (选择离你最近的镜像服务器) 并指定一个子目录apache-ant-1.7.1.

运行命令

常用
别名：
- 例如：openjdk-11.0.14
运行命令：
- 例如：yum install -y java-11-openjdk
工具目录：
- 例如：/usr/lib/jvm/java-11-openjdk-11.0.14.1.1-6.el8.x86_64/bin/

非自动安装

若Jenkins节点无法连接互联网，也可以选择在系统上通过其它方式部署好JDK，而后在Jenkins中经由$JAVA_HOME环境变量引用；

Maven

Manage Jenkins → Global Tool Configuration → Maven

自动安装

无论使用何种自动安装方式，配置完成后， Jenkins都不会立即进行安装，而是在第一次被用到才安装；

Run Batch Command

从 Apache 安装

Jenkins节点能接入互联的情况下，直接从 Apache安装最为简单（因为服务器在国外，因此也有可能安装失败）；
各构建工具程序默认安装在${JENKINS_HOME}/tools/目录下

解压 .zip/.tar.gz

下载工具包并安装在Jenkins下的工作目录中. 例如：http://apache.promopeddler.com/ant/binaries/apache-ant-1.7.1-bin.zip (选择离你最近的镜像服务器) 并指定一个子目录apache-ant-1.7.1.

运行命令

常用

通知管理

Jenkins 通知概述

Jenkins通知是将任务的执行状态、事件或信息推送给相关用户，这些通常发生在pipeline的构建后处理（post-processing）时期；
- Email是Jenkins内置支持的通知方式，它也能够通过webhook扩展支持其它的即时通信媒介，例如 Slack、钉钉等；
Jenkins使用的许多插件或工具都会为其支持的多种任务生成HTML报告，相关的任务有如代码分析、代码覆盖率和单元测试等；
- 其中一些工具（如SonarQube和JaCoCo等）甚至可以和Jenkins任务输出做定制集成，这些工具甚至会采用直观的图标给出相关报告的链接；
- 对于那些在报告相关的功能方面支持的不是特别好的工具来说，我们也可以借助于HTML Publisher插件进行定制；

Email

基于内置邮件功能

Jenkins UI 配置

Jenkins UI –> 系统配置

Jenkins Location

系统管理员邮件地址
- 例如：767483070@qq.com

邮件通知

SMTP服务器
- 例如：smtp.qq.com
用户默认邮件后缀
- 例如：@qq.com
使用SMTP认证 √
- 用户名密码自行填写
  - 注意：此处用户名要和 Jenkins Location 中的系统管理员邮件地址保持一致！
使用SSL协议 √
SMTP端口
- 例如：465
最后填写接受邮箱测试能否发送。

pipeline

https://www.jenkins.io/doc/pipeline/steps/workflow-basic-steps/#mail-mail

在声明式pipeline的post{}里可以使用mail这一step来发送通知
- 该步骤支持有参数有如下几个：
  - subject：邮件主题；
  - to：收件人地址；
  - body：邮件正文；
  - from：发件地址（通常可省略）；

example

pipeline {
    agent any
    tools {
        maven 'maven-3.8.6'
    }
    stages {
        stage('Source') {
            steps {
                git branch: 'main', url: 'git@gitlab.xiangzheng.com:gitlab-instance-010b0ac5/spring-boot-helloWorld.git'
            }
        }
        stage('Build') {
            steps {
                sh 'mvn clean package'
            }
        }
    }
    post {
        always {
            mail to: 'sredevops@163.com',
            subject: "Status of pipeline: ${currentBuild.fullDisplayName}",
            body: "${env.BUILD_URL} has result ${currentBuild.result}"
        }
    }
}

测试

pipeline {
    agent any

    stages {
        stage('Build') {
            steps {
                echo 'Building the project...'
                // 模拟构建步骤
            }
        }
        stage('Test') {
            steps {
                echo 'Running tests...'
                // 模拟测试步骤
            }
        }
    }

    post {
        always {
            mail to: 'sredevops@163.com, 767483070@qq.com',
            subject: "Status of pipeline: ${currentBuild.fullDisplayName}",
            body: "${env.BUILD_URL} has result ${currentBuild.result}"
        }
    }
}

基于邮件扩展插件

需事先安装 Email Extension Plugin 插件

pipeline

DingTalk

需事先安装 DingTalk 插件

前期准备

创建钉钉webhook机器人。

Jenkins UI 配置

Jenkins UI –> 系统配置 –> 钉钉（新版本中移动到了系统管理中的未分类栏中）
代理
- 未设置代理则无需配置
机器人
- id
  - 机器人id，后续可以在pipeline中调用，例如：dingtalk-robot
- 名称
  - 机器人id，例如：dingtalk-robot
- webhook
  - 例如：https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxxxx
- 加密
  - 例如：SEC11fee24d65dfxxxxxxxxxxxxxx
- 最后可以进行测试。

pipeline

https://jenkinsci.github.io/dingtalk-plugin/guide/pipeline.html#参数说明

Jenkins

Jenkins与GitLab

流水线

自由风格的软件项目

步骤 1：在Jenkins中配置GitLab插件

步骤 2：在GitLab中创建Access Token

步骤 3：在Jenkins中添加GitLab凭据

步骤 4：在Jenkins中创建或配置Job

步骤 5：在GitLab中配置Webhook

步骤 6：测试

常见问题

Jenkins与SonarQube

参考文档

Jenkins + SonarQube 工作流

配置 Jenkins 使用 SonarQube

流程概述

在 SonarQube 上生成令牌

Jenkins 相关配置

安装 SonarQube 插件

Pipeline与Jenkinsfile

pipeline 概述

DSL

pipeline 分类

声明式

脚本式

pipeline 定义

通过 Blue Ocean

通过经典 UI

阶段视图

回放

插件

Jenkins plugin 概述

配置文件管理插件

Config File Provider

CI/CD核心插件

角色管理插件

邮件管理插件

Jenkins 用户和项目的创建

创建用户

创建项目

Jenkins 用户权限管理

开启Role-Based方式的授权策略

分布式构建

Jenkins 分布式概述

主节点

代理节点

执行器（Executor）

节点标签

Master & Agent 的连接方式

SSH连接器

Inbound连接器

JNLP-HTTP连接器

Jenkins 分布式实现

master 配置

凭据管理

Jenkins 凭据概述

凭据的主要类型

Jenkins 中的凭据存储

全局工具配置

全局工具配置概述

JDK

自动安装

Run Batch Command

从 java.sun.com安装

解压 *.zip/*.tar.gz

运行命令

非自动安装

Maven

自动安装

Run Batch Command

从 Apache 安装

解压 *.zip/*.tar.gz

运行命令

通知管理

Jenkins 通知概述

Email

基于内置邮件功能

Jenkins UI 配置

Jenkins Location

邮件通知

解压 .zip/.tar.gz

解压 .zip/.tar.gz