MySQL

mysql命令

使用 `mysql_config_editor` 进行密码管理

MySQL 提供了一个工具 mysql_config_editor，你可以使用它保存用户名和密码，这样你就不需要每次都输入密码。

设置用户凭据

mysql_config_editor set --login-path=local --host=localhost --user=用户名 --password

会提示你输入密码，密码会加密保存。

使用保存的配置执行 SQL

mysql --login-path=local -e "SELECT * FROM 数据库名.表名;"

这时候就不需要每次输入密码了，系统会自动使用你保存的凭据登录 MySQL。

执行后忘加端口了，如何修改？

# 查看当前的登录路径配置
mysql_config_editor print --login-path=local

# 修改登录路径示例：
mysql_config_editor set --login-path=local --host=localhost --user=用户名 --password --port=端口号

备份与还原

备份前言

备份方式

完全备份：

全部备份

部分备份：

只备份数据子集，如部分库或表

增量备份：

仅备份最近一次完全备份或增量备份（如果存在增量）以来变化的数据，备份较快，还原复杂
还原方式：完全备份 > 增1 > 增2 > 增3

差异备份：

仅备份最近一次完全备份以来变化的数据，备份较慢，还原简单
还原方式：完全备份 > 最后一次的差异备份

物理备份：

直接复制数据文件进行备份，与存储引擎有关，占用较多的空间，速度快

逻辑备份：

从数据库中“导出”数据另存而进行的备份，与存储引擎无关，占用空间少，速度慢，可能丢失精度

备份模式

冷备：

读、写操作均不可进行，数据库停止服务

温备：

读操作可执行，但写操作不可执行

热备：

读、写操作均可执行

MyISAM：

温备，不支持热备（温备时加写锁，因为不支持事务，导致每次看到的数据是变化的，所以不支持热备）

InnoDB：

都支持（因为支持事务，而事务具有隔离性，所以热备份时看到的数据是不变的）

备份工具

cp, tar

等复制归档工具：物理备份工具，适用所有存储引擎；只支持冷备；完全和部分备份

LVM的快照：

先加读锁，做快照后解锁，几乎热备；借助文件系统工具进行备份

mysqldump：

逻辑备份工具，适用所有存储引擎，对MyISAM存储引擎进行温备；支持完全或部分备份；对InnoDB存储引擎支持热备，结合binlog的增量备份

xtrabackup：

由Percona提供支持对InnoDB做热备(物理备份)的工具，支持完全备份、增量备份

MariaDB Backup：

从MariaDB 10.1.26开始集成，基于Percona XtraBackup 2.3.8实现

mysqlbackup：

热备份， MySQL Enterprise Edition组件

mysqlhotcopy：

PERL 语言实现，几乎冷备，仅适用于MyISAM存储引擎，使用LOCK TABLES、FLUSH TABLES和cp或scp来快速备份数据库

备份

备份前注意事项

远程拷贝时使用rsync -a（可以保留文件的属性权限等信息），双方主机都要rsync
备份产生的负载以及备份过程的时长
需要备份哪些数据？
- 数据库数据本身、二进制日志、InnoDB的事务日志、服务器的配置文件、用户帐号，权限设置，程序代码（存储过程、函数、触发器、事件调度器）
备份完成后做还原测试，用于测试备份的可用性，还原演练，写成规范的技术文档

mysqldump备份数据库

mysqldump是MySQL的客户端命令，通过mysql协议连接至mysql服务器进行备份
参考文档：https://dev. mysql.com/doc/refman/5.7/en/mysqldump.html
注意：此工具仅备份数据的内容，MySQL配置文件、二进制日志需另备份

语法

#语法一，支持指定数据库和指定多表的备份，但数据库本身定义不备份
mysqldump [OPTIONS] database [tables]

#语法二，支持指定数据库备份，包含数据库本身定义也会备份
mysqldump [OPTIONS] –B DB1 [DB2 DB3...]

#语法三，常用，备份所有数据库，包含数据库本身定义也会备份
mysqldump [OPTIONS] –A [OPTIONS]

常见通用选项说明

mysqldump 是 MySQL 提供的备份工具，它可以将一个或多个数据库备份成 SQL 脚本或压缩文件。以下是 mysqldump 常用的选项：

备份与还原

视图概述

VIEW 视图；
视图相当于虚拟表，不真正存放数据，存放的只是一段SQL语句的定义，从而简化查询；
视图保存有实表的查询结果，表更新，视图的查询结果也会更新；
视图还可以实现数据安全，因为它可以只显示真实表的部分列，或计算后的结果，从而隐藏真实表的数据；
可以通过视图来修改表内容，但视图通常只做查询 而不做修改。

创建视图语法

create view view_name as 查询的sql语句

创建视图范例

create view test_view as SELECT classid 班级,count(classid) 总人数 FROM students GROUP BY classid

#实际上就相当于生成一张表
MySQL [hellodb]> show tables;
+-------------------+
| Tables_in_hellodb |
+-------------------+
| classes           |
| coc               |
| courses           |
| scores            |
| students          |
| teachers          |
| test_view         | #
| toc               |
+-------------------+
8 rows in set (0.02 sec)

查看视图

#和正常查询表一样，只不过相当于将sql语句集合了而已
#因为存储的只是sql语句的别名，所以视图的查询结果会根据sql语句中表的改变而改变
MySQL [hellodb]> select * from test_view;
+--------+-----------+
| 班级   | 总人数    |
+--------+-----------+
|      2 |         3 |
|      1 |         4 |
|      4 |         4 |
|      3 |         4 |
|      5 |         1 |
|      7 |         3 |
|      6 |         4 |
+--------+-----------+
7 rows in set (0.01 sec)

查看视图定义

SHOW CREATE VIEW view_name #只能看视图定义
SHOW CREATE TABLE view_name # 可以查看表和视图

查看是否为视图

#视图的显示
MySQL [hellodb]> show table status like 'test_view'\G;
*************************** 1. row ***************************
           Name: test_view
         Engine: NULL
        Version: NULL
     Row_format: NULL
           Rows: NULL
 Avg_row_length: NULL
    Data_length: NULL
Max_data_length: NULL
   Index_length: NULL
      Data_free: NULL
 Auto_increment: NULL
    Create_time: 2021-11-27 20:42:29
    Update_time: NULL
     Check_time: NULL
      Collation: NULL
       Checksum: NULL
 Create_options: NULL
        Comment: VIEW #为视图
1 row in set (0.00 sec)

#正常表
MySQL [hellodb]> show table status like 'students'\G;
*************************** 1. row ***************************
           Name: students
         Engine: InnoDB
        Version: 10
     Row_format: Dynamic
           Rows: 25
 Avg_row_length: 655
    Data_length: 16384
Max_data_length: 0
   Index_length: 0
      Data_free: 0
 Auto_increment: 27
    Create_time: 2021-11-26 20:59:20
    Update_time: NULL
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options: 
        Comment: #不为视图则不会显示

删除视图

DROP VIEW view_name

变量、服务器配置和状态

变量概述

变量分为系统变量、状态变量、用户自定义变量，并且都分为全局变量和会话变量两种，全局变量表示对所有会话有效，会话变量表示只在当前会话生效
- 状态变量用于保存mysqld运行中的统计数据的变量，不可更改
参考文档：https://dev.mysql.com/doc/refman/8.0/en/server-option-variable-reference.html
- 主要关注以下字段：
  - System Var 系统变量
  - Status Var 状态变量
  - Var Scope 变量生效范围，global为全局变量，both表示既是session又是global
  - Dynamic 是否可以动态修改

列出变量

#查看所有变量(包括global和session)
SHOW [SESSION] VARIABLES;
SHOW GLOBAL VARIABLES #只查看global级变量

#查看所有的服务器状态变量
SHOW [SESSION] STATUS;
SHOW GLOBAL STATUS; #只查看global级变量

#查看指定的变量
SHOW VARIABLES LIKE 'VAR_NAME';
#或
SELECT @@VAR_NAME; #查看指定的系统变量
SELECT @VAR_NAME; #查看指定的自定义变量

#shell端执行
mysqladmin variables #查看选项和部分变量
#或
mysql -e "show variables"

系统变量

修改全局变量

更多用法：help SET
**注意：**仅对修改后新创建的会话有效；对已经建立的会话无效

SET GLOBAL system_var_name=value; #常用
#或
SET @@global.system_var_name=value;

修改会话变量

更多用法：help SET

SET [SESSION] system_var_name=value; #常用
#或
SET @@[session.]system_var_name=value;

常用的系统变量

**注意：**有些系统变量既可以作为系统变量来查看又可以作为服务器选项来对配置文件进行修改从而实现持久修改

#服务器系统变量
max_connections
sql_mode #对其设置可以完成一些约束检查的工作,可分别进行全局的设置或当前会话的设置，详情参阅下面的说明

#服务器状态变量，只读，用于保存mysqld运行中的统计数据的变量，不可更改
...

sql_mode

参考文档：

并发控制和锁机制

锁概念

锁的分类

读锁：又称共享锁、S锁，所有事务(人)只能读不能写并且多个读互不阻塞
写锁：又称独占锁、排它锁、X 锁，除了当前事务外会阻塞其它事务的读和写

锁的粒度

表级锁：MyISAM
行级锁：InnodB

锁的实现

存储引擎：自行实现其锁策略和锁粒度（由存储引擎自动施加锁）
服务器级：实现了锁，表级锁，用户可显式请求（用户手动请求）

锁策略

在锁粒度及数据安全性寻求的平衡机制

锁的实现

这里指的是手动实现加锁

表加锁

语法

LOCK TABLES tbl_name [[AS] alias] lock_type [, tbl_name [[AS] alias] lock_type] ...

#lock_type: 
READ
WRITE

范例

加读锁

总结：只对加锁的表生效，任何终端对所有表的读操作不受任何影响但增删改操作无法进行，在其他终端同样进行修改和插入内容都进入到阻塞状态

#表加读锁前
mysql> insert students (name,age) VALUES ('james',16);
Query OK, 1 row affected (0.01 sec)
mysql> select * from students;
...
26 rows in set (0.00 sec)

#加读锁
mysql> LOCK TABLES students READ;
Query OK, 0 rows affected (0.00 sec)

#表加读锁后
mysql> insert students (name,age) VALUES ('azheng',18);
ERROR 1099 (HY000): Table 'students' was locked with a READ lock and can't be updated
mysql> select * from students;
...
26 rows in set (0.00 sec)

加写锁

总结：只对加锁的表生效，当前终端的任何操作不受影响，其它终端会阻塞增删改查

#表加写锁前
mysql> insert students (name,age) VALUES ('azheng',18);
Query OK, 1 row affected (0.00 sec)
mysql> select * from students;
...
27 rows in set (0.00 sec)

#加写锁
mysql> LOCK TABLES students WRITE;
Query OK, 0 rows affected (0.00 sec)

#表加写锁后
#当前终端读写正常
mysql> insert students (name,age) VALUES ('azheng',23);
Query OK, 1 row affected (0.01 sec)
mysql> select * from students;
...
28 rows in set (0.00 sec)
#其他终端针对加锁的表均卡住不动，等待锁释放才能成功执行
mysql> select * from teachers;
...
4 rows in set (0.01 sec)
mysql> select * from students; #执行后会一直卡住不动，直到解锁
mysql> insert students (name,age) VALUES ('azheng',23); #执行后会一直卡住不动，直到解锁

解锁

解全部当前会话的锁，加锁的终端关闭的话同时也会解锁

UNLOCK TABLES

加全局读锁

关闭正在打开的表（清除查询缓存），通常在备份前加全局读锁

语法

FLUSH TABLES [tb_name[,...]] [WITH READ LOCK]

范例

**总结：**加全局读锁后，对所有库、所有表皆可查询，但不能对任何表和库进行增删改

#在当前终端加全局读锁
FLUSH TABLES WITH READ LOCK;

#当前终端
------------------------------------------------------------------------------
#当前终端查询不受阻塞
mysql> select * from teachers;
+-----+---------------+-----+--------+
| TID | Name          | Age | Gender |
+-----+---------------+-----+--------+
|   1 | Song Jiang    |  66 | M      |
|   2 | Zhang Sanfeng |  66 | M      |
|   3 | Miejue Shitai |  88 | F      |
|   4 | Lin Chaoying  |  66 | F      |
|   5 | xiangzheng    |  23 | M      |
|   6 | xiaohong      |  17 | F      |
+-----+---------------+-----+--------+

#当前终端修改阻塞
mysql> update teachers  set age='19' where tid=6;
ERROR 1223 (HY000): Can't execute the query because you have a conflicting read lock

#当前终端插入阻塞
mysql> insert teachers (name,age,gender) value ('xiaoqiang',26,'M');
ERROR 1223 (HY000): Can't execute the query because you have a conflicting read lock

#当前终端创建新的数据库阻塞
mysql> create database abc;
ERROR 1223 (HY000): Can't execute the query because you have a conflicting read lock
------------------------------------------------------------------------------


#其他终端
------------------------------------------------------------------------------
#其他终端查询不受阻塞
mysql> select * from teachers;
+-----+---------------+-----+--------+
| TID | Name          | Age | Gender |
+-----+---------------+-----+--------+
|   1 | Song Jiang    |  66 | M      |
|   2 | Zhang Sanfeng |  66 | M      |
|   3 | Miejue Shitai |  88 | F      |
|   4 | Lin Chaoying  |  66 | F      |
|   5 | xiangzheng    |  23 | M      |
|   6 | xiaohong      |  17 | F      |
+-----+---------------+-----+--------+

#其他终端修改阻塞
mysql> update teachers  set age='19' where tid=6;

#其他终端插入阻塞
mysql> insert teachers (name,age,gender) value ('xiaoqiang',26,'M');

#其他终端创建新的数据库阻塞
mysql> create database abc;
------------------------------------------------------------------------------


#解锁后立刻可以进行写操作
UNLOCK TABLES;

查询时加写或读锁

使用较少

语法

SELECT clause [FOR UPDATE | LOCK IN SHARE MODE]

范例: 同时在两个终端对同一行记录修改

由存储引擎自动加的锁

#同时对同一行记录执行update
#在第一终端提示1行成功
MariaDB [hellodb]> update students set classid=1 where stuid=24;
Query OK, 1 row affected (0.002 sec)
Rows matched: 1 Changed: 1 Warnings: 0

#在第二终端提示0行修改
MariaDB [hellodb]> update students set classid=1 where stuid=24;
Query OK, 0 rows affected (0.000 sec)
Rows matched: 1 Changed: 0 Warnings: 0

部署

docker-compose.yml

version: '3.1'
services:
  # mysql
  mysql:
    image: mysql:5.7
    restart: always
    container_name: mysql
    environment:
      MYSQL_ROOT_PASSWORD: "P@ssw0rd"
    ports:
      - 3306:3306

yum 安装

官方文档：https://dev.mysql.com/doc/refman/8.0/en/linux-installation-yum-repo.html

apt 安装

官方文档：https://dev.mysql.com/doc/mysql-apt-repo-quick-guide/en/

二进制安装

安装包下载地址：https://dev.mysql.com/downloads/mysql/

二进制安装官方文档：

5.6

准备用户

uid和gid可以自定义，但是必须为系统账号

useradd -r -u 306 -d /data/mysql mysql

准备数据目录

建议使用逻辑卷，因为可以在线扩容

#可选做，后面的脚本mysql_install_db可自动生成此目录
mkdir /data/mysql
chown mysql:mysql /data/mysql

准备二进制程序

tar xf mysql-5.6.47-linux-glibc2.12-x86_64.tar.gz -C /usr/local
cd /usr/local
ln -s mysql-5.6.47-linux-glibc2.12-x86_64/ mysql
chown -R root:root /usr/local/mysql/

准备配置文件

#cd /usr/local/mysql
#cp -b support-files/my-large.cnf   /etc/my.cnf
vim /etc/my.cnf
#mysql语句块中添加以下三个选项
[mysqld]
datadir = /data/mysql
innodb_file_per_table = on #在mariadb5.5以上版的是默认值，可不加
skip_name_resolve = on    #禁止主机名解析，建议使用

安装依赖包

yum -y install perl libaio ncurses* numactl-libs

创建数据库文件

#执行此脚本时要注意路径问题，否则可能无法执行
cd /usr/local/mysql/
./scripts/mysql_install_db --datadir=/data/mysql --user=mysql

[root@centos8 mysql]#ls /data/mysql/ -l
total 110604
-rw-rw---- 1 mysql mysql 12582912 Jun  1 16:44 ibdata1
-rw-rw---- 1 mysql mysql 50331648 Jun  1 16:44 ib_logfile0
-rw-rw---- 1 mysql mysql 50331648 Jun  1 16:44 ib_logfile1
drwx------ 2 mysql mysql     4096 Jun  1 16:44 mysql
drwx------ 2 mysql mysql     4096 Jun  1 16:44 performance_schema
drwx------ 2 mysql mysql     4096 Jun  1 16:44 test

准备服务脚本，并启动服务

cp ./support-files/mysql.server /etc/rc.d/init.d/mysqld
chkconfig --add mysqld
service mysqld start

#实现开机启动
chmod +x /etc/rc.local
echo '/etc/init.d/mysqld start' >> /etc/rc.local

#如果有对应的service 文件可以执行下面
cp support-files/systemd/mariadb.service /usr/lib/systemd/system/
systemctl daemon-reload
systemctl enable --now mariadb

PATH路径

echo 'PATH=/usr/local/mysql/bin:$PATH' >> /etc/profile.d/mysql.sh
. /etc/profile.d/mysql.sh

安全初始化

/user/local/mysql/bin/mysql_secure_installation

5.7

安装相关依赖包

# centos
yum -y install libaio numactl-libs ncurses-compat-libs


# Ubuntu
apt -y install libaio1 libncurses5

创建相关账户和组

uid和gid可以自定义，但是必须为系统账号

useradd -r -u 306 -d /data/mysql -s /sbin/nologin mysql

创建数据库存放目录

mkdir /data/

准备程序文件

tar xf mysql-5.7.33-linux-glibc2.12-x86_64.tar.gz -C /usr/local

cd /usr/local/

ln -s mysql-5.7.33-linux-glibc2.12-x86_64/ mysql

chown -R root.root /usr/local/mysql/

准备环境变量

将mysql安装目录下的的可执行程序加入到PATH变量

echo 'PATH=/usr/local/mysql/bin:$PATH' > /etc/profile.d/mysql.sh

. /etc/profile.d/mysql.sh

准备配置文件

注意：此文件复制时 socket=/data/mysql/mysql.sock 后容易出现空格，从而导致mysql服务无法启动，注意检查

# /etc/my.cnf
[mysqld]
datadir=/data/mysql
skip_name_resolve=1
socket=/data/mysql/mysql.sock
log-error=/data/mysql/mysql.log
pid-file=/data/mysql/mysql.pid

[client]
socket=/data/mysql/mysql.sock

生成数据库文件并提取root密码

# mysqld --initialize --user=mysql --datadir=/data/mysql 
...省略...
2021-06-06T10:14:37.529816Z 1 [Note] A temporary password is generated for root@localhost: *w:soPHo>4d+  #注意生成root的初始密码

#获取密码
# grep password /data/mysql/mysql.log
2019-12-26T13:31:30.458826Z 1 [Note] A temporary password is generated for
root@localhost: LufavlMka6,!

#获取密码方法二
# awk '/temporary password/{print $NF}' /data/mysql/mysql.log
LufavlMka6,!

准备开启启动脚本

方法一：service文件

推荐使用
官方帮助：https://dev.mysql.com/doc/mysql-secure-deployment-guide/8.0/en/secure-deployment-post-install.html#secure-deployment-systemd-startup
注意：以下service文件由官方提供，生产中可以按需修改

# /usr/lib/systemd/system/mysql.service
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target

[Install]
WantedBy=multi-user.target

[Service]
User=mysql
Group=mysql

# Have mysqld write its state to the systemd notify socket
Type=notify

# Disable service start and stop timeout logic of systemd for mysqld service.
TimeoutSec=0

# Start main service
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/etc/my.cnf $MYSQLD_OPTS 

# Use this to switch malloc implementation
EnvironmentFile=-/etc/sysconfig/mysql

# Sets open_files_limit
LimitNOFILE = 10000

Restart=on-failure

RestartPreventExitStatus=1

# Set environment variable MYSQLD_PARENT_PID. This is required for restart.
Environment=MYSQLD_PARENT_PID=1

PrivateTmp=false

方法二：开机启动脚本

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
chkconfig --add mysqld
service mysqld start

#实现开机启动
chmod +x /etc/rc.local
echo '/etc/init.d/mysqld start' >> /etc/rc.local

修改初始口令

方法一，通过mysqladmin修改

#注意修改密码前后要加单引号，否则会报错
mysqladmin -uroot -p'LufavlMka6,!' password 12345

方法二，进入数据库后修改

ALTER USER 'root'@'localhost' IDENTIFIED BY '123';

测试登录

mysql -uroot -p12345

bin_install_mysql5.7.sh

#!/bin/bash

install_dependencies (){
    if [ -f /etc/os-release ]; then
        source /etc/os-release
        case "$ID" in
            ubuntu)
                apt -y install libaio1 libncurses5 
                ;;
            centos)
                yum -y install libaio numactl-libs ncurses-compat-libs 
                ;;
            *)
                echo $ID
                ;;
        esac
    else
        echo "无法确定 Linux 发行版"
    fi
}

install_mysql (){
    local file="mysql-5.7.34-linux-glibc2.12-x86_64.tar.gz"
    if [ -f $file ]; then
	mkdir /data/
        tar xf $file -C /usr/local
        cd /usr/local/
        ln -s ${file%.tar.gz} mysql
        chown -R root.root /usr/local/mysql/
	echo 'PATH=/usr/local/mysql/bin:$PATH' > /etc/profile.d/mysql.sh
    else
        echo "$file 不存在，请放在当前目录下"
    fi
}

copy_config_files() {
cat > /etc/my.cnf <<EOF
[mysqld]
user=root
datadir=/data/mysql
skip_name_resolve=1
socket=/data/mysql/mysql.sock
log-error=/data/mysql/mysqld.log
pid-file=/data/mysql/mysqld.pid

[client]
socket=/data/mysql/mysql.sock
EOF

cat > /etc/systemd/system/mysqld.service <<EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(7)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target

[Install]
WantedBy=multi-user.target

[Service]
User=root
Group=root

Type=forking

PIDFile=/data/mysql/mysqld.pid

# Disable service start and stop timeout logic of systemd for mysqld service.
TimeoutSec=0

# Start main service
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/etc/my.cnf --daemonize --pid-file=/data/mysql/mysqld.pid \$MYSQLD_OPTS

# Use this to switch malloc implementation
EnvironmentFile=-/etc/sysconfig/mysql

# Sets open_files_limit
LimitNOFILE = 5000

Restart=on-failure

RestartPreventExitStatus=1

PrivateTmp=false
EOF
}

init_mysql() {
    . /etc/profile.d/mysql.sh
    mysqld --initialize --user=root --datadir=/data/mysql &> /dev/null
    pass_file="/data/mysql/mysqld.log"
    if [ -f $pass_file ]; then 
        echo "数据库初始化成功! 初始密码为: $(awk '/temporary password/{print $NF}' $pass_file)"
    else
        echo "数据库初始化失败，请检查 $pass_file 是否存在"
    fi
}

start_mysql() {
    systemctl daemon-reload && systemctl enable --now mysqld &> /dev/null 
    systemctl is-active mysqld &> /dev/null
    if [ $? -eq 0 ];then
        echo "数据库启动成功!"
    else
        echo "数据库启动失败，请检查 service 运行状态"
    fi
}

main() {
    install_dependencies
    install_mysql
    copy_config_files
    init_mysql
    start_mysql
}

main

8

bin_install_mysql8.sh

#!/bin/bash
# 
#********************************************************************
#Author:            xiangzheng
#QQ:                767483070
#Date:              2022-05-24
#FileName：         mysql_bin_install.sh
#URL:               https://www.xiangzheng.vip
#Email:             rootroot25@163.com
#Description：      The test script
#Copyright (C):     2022 All rights reserved
#********************************************************************
DIR='/usr/local/src'
FILE='mysql-8.0.26-linux-glibc2.12-x86_64.tar'
PASS='54321'

[ -f ${DIR}/${FILE} ] || { echo "${DIR}/${FILE} file not exist exit" ; exit 3 ; }

#Centos
yum -y install libaio numactl-libs ncurses-compat-libs

#Ubuntu
#apt -y install libaio1 libncurses5

useradd -r -u 306 -d /data/mysql -s /sbin/nologin mysql
mkdir -p /data/mysql &> /dev/null
chown -R mysql.mysql /data/mysql/

cd ${DIR%/*}
tar xf ${DIR}/${FILE} -C .
if [ -f ${FILE}.xz ];then
    tar xf ${FILE}.xz -C .
fi
ln -s ${FILE%.*} mysql
chown -R root.root /usr/local/mysql/

cat > /etc/my.cnf << EOF
[mysqld]
datadir=/data/mysql
skip_name_resolve=1
socket=/data/mysql/mysql.sock
log-error=/data/mysql/mysql.log
pid-file=/data/mysql/mysql.pid

[client]
socket=/data/mysql/mysql.sock
EOF


cat > /usr/lib/systemd/system/mysql.service << EOF
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target

[Install]
WantedBy=multi-user.target

[Service]
User=mysql
Group=mysql

# Have mysqld write its state to the systemd notify socket
Type=notify

# Disable service start and stop timeout logic of systemd for mysqld service.
TimeoutSec=0

# Start main service
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/etc/my.cnf \$MYSQLD_OPTS 

# Use this to switch malloc implementation
EnvironmentFile=-/etc/sysconfig/mysql

# Sets open_files_limit
LimitNOFILE = 10000

Restart=on-failure

RestartPreventExitStatus=1

# Set environment variable MYSQLD_PARENT_PID. This is required for restart.
Environment=MYSQLD_PARENT_PID=1

PrivateTmp=false
EOF

echo 'PATH=/usr/local/mysql/bin:$PATH' > /etc/profile.d/mysql.sh
. /etc/profile.d/mysql.sh

mysqld --initialize --user=mysql --datadir=/data/mysql
INIT_PASS=`awk '/temporary password/{print $NF}' /data/mysql/mysql.log`

systemctl daemon-reload
systemctl enable --now mysql
systemctl is-active mysql &> /dev/null && echo 'mysql install complete!'

mysqladmin -uroot -p"${INIT_PASS}" password ${PASS} &>/dev/null

编译安装

编译安装说明

建议内存4G以上

插件管理

插件管理相关变量

#动态加载插件，如果值为NO 则不能使用如--plugin-load在服务器启动时加载插件，或INSTALL PLUGIN在运行时加载插件的语句
mysql> select @@have_dynamic_loading;
+------------------------+
| @@have_dynamic_loading |
+------------------------+
| YES                    | #YES表示支持动态加载，NO反之
+------------------------+


#插件存放目录
mysql> select @@plugin_dir;
+------------------------------------------------------------+
| @@plugin_dir                                               |
+------------------------------------------------------------+
| /usr/local/mysql-8.0.26-linux-glibc2.12-x86_64/lib/plugin/ |
+------------------------------------------------------------+

触发器

TRIGGER 触发器

触发器的执行不是由程序调用，也不是由手工启动，而是由事件来触发、激活从而实现执行
通常根据增删改的操作来触发执行
还分为事前触发和事后触发
触发器相关文件（存放在数据库对应的目录下以）
- *.TRN 触发器相关文件
- *.TRG 被监控表的触发器相关文件
触发器范例
- 如：在电商网站购物，将商品生成订单就是执行了一条SQL语句，而触发器发现这条SQL语句执行后则会将商品的总库存减去下单的数量
- 生产中触发器基本不用

创建表

创建表前言

创建表前需要事先创建数据库，而创建表需要关注数据类型；
表中的行 row，每一行都是一条记录 record，又称为元组；
表中的列 column，每一列都是一个字段 field，又称属性。

数据库关系模型

在数据库设计中，实体之间的关系可以分为一对多（One-to-Many）、多对多（Many-to-Many）和一对一（One-to-One）。

这些关系模型有助于在数据库中有效地组织和管理数据，并确保数据的一致性和完整性。

一对多

使用外键

这种关系指的是一个实体（表）的一个记录可以关联到另一个实体的多个记录。例如，一个部门可以有多个员工，但一个员工只能属于一个部门。

下面是一个实际的部门表和员工表的示例，展示了一对多的关系：

部门表（Departments）：

DepartmentID	DepartmentName	Location
1	HR	10th Floor
2	Finance	8th Floor
3	IT	12th Floor

部门表（Departments）的主键是 DepartmentID。

员工表（Employees）：

EmployeeID	Name	DepartmentID
101	John	1
102	Alice	1
103	Bob	2
104	Sarah	3
105	Michael	1

员工表（Employees）的主键是 EmployeeID，而 DepartmentID 是外键，用来与部门表中的 DepartmentID 字段建立关联，表示员工所属的部门。

在上述示例中，部门表（Departments）和员工表（Employees）之间存在一对多的关系。每个部门可以有多个员工，但每个员工只能属于一个部门。例如：

HR部门（DepartmentID为1）有三名员工：John、Alice和Michael。
Finance部门（DepartmentID为2）有一个员工：Bob。
IT部门（DepartmentID为3）有一个员工：Sarah。

这个示例展示了一个典型的一对多关系，其中一个部门可以拥有多个员工，但每个员工只能属于一个部门。

多对多

引入第三张表

存储过程

PROCEDURE 存储过程

存储过程通常只在测试环境中使用，生产环境中不建议使用存储过程

调用存储过程

CALL sp_name ([ proc_parameter [,proc_parameter ...]]);

查看存储过程列表

SHOW PROCEDURE STATUS;

删除存储过程

DROP PROCEDURE [IF EXISTS] sp_name;

存储过程范例

# cat testlog.sql 
create table testlog (id int auto_increment primary key,name char(10),age int default 20);

delimiter $$

create procedure  sp_testlog() 
begin  
declare i int;
set i = 1; 
while i <= 10000
do  insert into testlog(name,age) values (concat('xiang',i),i); 
set i = i +1; 
end while; 
end$$

delimiter ;

导入存储过程

mysql -D hellodb < testlog.sql

存储引擎

存储引擎概述

目前最主流的存储引擎是innoDB，早期还有MyISAM存储引擎不过目前基本已经淘汰
存储引擎负责把具体分析的结果完成对磁盘上文件路径访问的转换

MyISAM 存储引擎

特点

不支持事务
表级锁定
读写相互阻塞，写入不能读，读时不能写
只缓存索引
不支持外键约束
不支持聚簇索引
读取数据较快，占用资源较少
不支持MVCC（多版本并发控制机制）高并发
崩溃恢复性较差
MySQL5.5.5前默认的数据库引擎

适用场景

只读（或者写较少）
表较小（可以接受长时间进行修复操作

MyISAM引擎文件

tbl_name.frm 表格式定义
tbl_name.MYD 数据文件
tbl_name.MYI 索引文件

InnoDB 存储引擎

特点

行级锁
支持事务，适合处理大量短期事务
- 数据一致性
读写阻塞与事务隔离级别相关
可缓存数据和索引
支持聚簇索引
支持外键
支持数据缓存
崩溃恢复性更好
支持MVCC高并发
- MVCC：数据库表中其实是隐藏了insert和delete这两个字段，这两个字段记录了事件发生的先后次序(可以理解为时间戳)，而将表中添加字段时本质上是先插入一个字段然后再将这个插入的字段中的insert字段添加一个类似时间戳的信息用来记录字段插入的事件，最后再将原有的字段中的insert字段也记录一个类似时间戳的信息来标明被删除的时间，这时用户就只能看到新添加的字段了但原有的字段其实并未删除只是做了个标记而已，正因为这种机制可以很好的记录事件的发生时间防止数据查询错误的情况产生进而可以实现高并发访问
从MySQL5.5后支持全文索引
从MySQL5.5.5开始为默认的数据库引擎

InnoDB数据库文件

#所有InnoDB表的数据和索引放置于同一个表空间中
数据文件：ibdata1, ibdata2,存放在datadir定义的目录下
表格式定义：tb_name.frm,存放在datadir定义的每个数据库对应的目录下

#每个表单独使用一个表空间存储表的数据和索引
两类文件放在对应每个数据库独立目录中
数据文件(存储数据和索引)：tb_name.ibd 
表格式定义：tb_name.frm

事务的四大特性

原子性（Atomicity）

读写分离中间件

MySQL常见中间件汇总

mysql-proxy：Oracle，https://downloads.mysql.com/archives/proxy/
Atlas：Qihoo，https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md
dbproxy：美团，https://github.com/Meituan-Dianping/DBProxy
Cetus：网易乐得，https://github.com/Lede-Inc/cetus
Amoeba：https://sourceforge.net/projects/amoeba/
Cobar：阿里巴巴，Amoeba的升级版， https://github.com/alibaba/cobar
Mycat：基于Cobar， http://www.mycat.org.cn/
ProxySQL：https://proxysql.com/

Mycat 概述

数据库是对底层存储文件的抽象，而Mycat是对数据库的抽象
一个彻底开源的，面向企业应用开发的大数据库集群
支持事务、ACID、可以替代MySQL的加强版数据库
一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
一个新颖的数据库中间件产品

Mycat 主要功能

其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。
支持SQL92标准
遵守MySQL 原生协议，跨语言，跨平台，跨数据库的通用中间件代理
基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群
支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster
基于Nio实现，有效管理线程，高并发问题
支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页
支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join
支持通过全局表，ER关系的分片策略，实现了高效的多表join查询
支持多租户方案
支持分布式事务（弱xa）
支持全局序列号，解决分布式下的主键生成问题
分片规则丰富，插件化开发，易于扩展
强大的web，命令行监控
支持前端作为mysq通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉
支持密码加密
支持服务降级
支持IP白名单
支持SQL黑名单、sql注入攻击拦截
支持分表（1.6）
集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）
读写分离
它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL、MongoDB等主流数据库
而在最终用户看来，无论是那种存储方式，在MyCat里，都是一个传统的数据库表，支持标准的SQL语句进行数据的操作，这样一来，对前端业务系统来说，可以大幅降低开发难度，提升开发速度

Mycat 工作原理

Mycat的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户

Mycat 应用场景

Mycat适用的场景很丰富，以下是几个典型的应用场景

高可用

前言

虽然主从复制读写分离等技术可以实现减轻主库的压力提升整体的性能，但是如果主节点或从节点宕机而主节点或从节点又不能提升为新主则会导致读写出现问题

常见高可用解决方案

MHA：Master High Availability

对主节点进行监控，可实现自动故障转移至其它从节点；通过提升某一从节点为新的主节点，基于主从复制实现，还需要客户端配合实现，目前MHA主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，出于机器成本的考虑，淘宝进行了改造，目前淘宝TMHA已经支持一主一从
官方网站：
- https://code.google.com/archive/p/mysql-master-ha/
- https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads

Galera Cluster：wsrep(MySQL extended with the Write Set Replication)

通过wsrep协议在全局实现复制；任何一节点都可读写，不需要主从复制，实现多主读写

GR（Group Replication）

MySQL官方提供的组复制技术(MySQL 5.7.17引入的技术)，基于原生复制技术Paxos算法，实现了多主更新，复制组由多个server成员构成，组中的每个server可独立地执行事务，但所有读写事务只在冲突检测成功后才会提交
假设有三个节点，这3个节点互相通信，每当有事件发生，都会向其他节点传播该事件，然后协商，如果大多数节点都同意这次的事件，那么该事件将通过，否则该事件将失败或回滚。这些节点可以是单主模型的(single-primary)，也可以是多主模型的(multi-primary)。单主模型只有一个主节点可以接受写操作，主节点故障时可以自动选举主节点。多主模型下，所有节点都可以接受写操作，所以没有master-slave的概念（类似Galera Cluster）

MHA

Galera Cluster(PXC)

概述

Galera Cluster 集成了Galera插件的MySQL集群，是一种新型的，数据不共享的，高度冗余的高可用方案，目前Galera Cluster有两个版本，分别是Percona Xtradb Cluster及MariaDB Cluster，Galera本身是具有多主特性的，即采用multi-master的集群架构，是一个既稳健，又在数据一致性、完整性及高性能方面有出色表现的高可用解决方案

官方文档

特点

多主架构：真正的多点读写的集群，在任何时候读写数据，都是最新的
同步复制：集群不同节点之间数据同步，没有延迟，在数据库挂掉之后，数据不会丢失
并发复制：从节点APPLY数据时，支持并行执行，更好的性能
故障切换：在出现数据库故障时，因支持多点写入，切换容易
热插拔：在服务期间，如果数据库挂了，只要监控程序发现的够快，不可服务时间就会非常少。在节点故障期间，节点本身对集群的影响非常小
自动节点克隆：在新增节点，或者停机维护时，增量数据或者基础数据不需要人工手动备份提供，Galera Cluster会自动拉取在线节点数据，最终集群会变为一致
对应用透明：集群的维护，对应用程序是透明的

缺点

由于DDL 需全局验证通过，则集群性能由集群中最差性能节点决定（一般集群节点配置都是一样的）
配置新节点的开销。添加新节点时，它必须从现有节点之一复制完整的数据集。如果是100 GB，则复制100 GB。
- 新节点加入或延后较大的节点重新加入需全量拷贝数据(SST，State Snapshot Transfer),作为donor 贡献者，如：同步数据时的提供者的节点在同步过程中无法提供读写
只支持innodb存储引擎的表

工作过程

用户发起更新操作后，Galera Cluster在告诉用户成功前会进行全局检查确定不会产生冲突后才会通知用户成功

函数

函数概述

FUNCTION 函数
函数分为系统内置函数和自定义函数
- 系统内置函数参考：https://dev.mysql.com/doc/refman/5.7/en/func-op-summary-ref.html
- 自定义函数：user-defined function UDF，保存在mysql.proc表中
参数可以有多个,也可以没有参数
无论有无参数，小括号（）是必须的
函数在定义和引用时不区分大小写，通常写为大写。
必须有且只有一个返回值

创建函数语法

CREATE [AGGREGATE] FUNCTION function_name(parameter_name type,[parameter_name type,...]) RETURNS {STRING|INTEGER|REAL} [characteristic ...] runtime_body

创建函数范例

#无参UDF，创建了一个名为simpleFun的函数，字符数量为VARCHAR(20)，返回的值是Hello World
CREATE FUNCTION simpleFun() RETURNS VARCHAR(20) RETURN "Hello World"; 

#有参数UDF
DELIMITER // #"//"表示后续的字段以"//"为结束符，而不以";"为结束符，除了"//"以外，也可以使用"$$"等符号来代替"//"
CREATE FUNCTION deleteById(id SMALLINT UNSIGNED) RETURNS VARCHAR(20) 
BEGIN
 DELETE FROM students WHERE stuid = id;
 RETURN (SELECT COUNT(*) FROM students);
END//
DELIMITER ; #将结束符再修改回来

查看自定义的函数

SHOW FUNCTION STATUS\G;

查看函数定义

SHOW CREATE FUNCTION function_name

调用函数

SELECT [db_name.]function_name();

删除函数

DROP FUNCTION [db_name.]function_name;

常用内置函数

MySQL 提供了许多内置函数，用于执行各种操作，包括字符串处理、数学计算、日期和时间处理等。

配置文件

前言

官方文档：

/etc/my.cnf #Global选项

/etc/mysql/my.cnf #Global选项

/etc/my.cnf.d/*

/etc/my.cnf.d/client.conf #客户端的子配置文件

~/.my.cnf #User-specific 选项

MySQL 配置文件格式

格式：

parameter = value

说明：

_和- 相同
1，ON，TRUE意义相同(不写=号和值默认为ON)， 0，OFF，FALSE意义相同

MySQL 服务器端配置

自动生成服务器端配置文件

配置文件生成工具参考链接：

获取mysqld的可用选项列表

可以通过mysqld选项，服务器系统变量和服务器状态变量进行MySQL的配置和查看状态

#查看mysqld可用选项列表和及当前值
mysqld --verbose --help

#获取mysqld当前启动选项
mysqld --print-defaults

#查看mysqld的当前启动选项
mysqld --print-defaults

临时修改服务器端配置

在命令行中设置，永久修改服务器端配置需写配置文件

/usr/bin/mysqld_safe --skip-name-resolve=1

/usr/libexec/mysqld --basedir=/usr

服务器端配置文件说明

[root@mysql-master ~]# vim /etc/my.cnf
[mysqld]
character-set-server=utf8mb4 #服务端的默认字符集，新版本已默认utf8mb4

skip-networking=1 #只侦听本地客户端， 所有客户端和服务器的交互都通过一个socket文件实现，socket的配置存放在/var/lib/mysql/mysql.sock） 可在/etc/my.cnf修改

skip_name_resolve=1

skip-grant-tables #忽略授权表

max_connections=2000 #最大连接数量，数量过大时还要修改service文件中[Service]块中的LimitNOFILE=65535，以及limit文件




[mysqld_safe]

[mysqld_multi]

[server]

不停服务修改配置文件的方法

首先确定要修改的值即是服务器变量又是服务器选项

日志

事务日志

transaction log
事务日志只有Inodb这种支持事务的存储引擎才有，分为 redo log 和 undo log
事务日志的写入类型为“追加”，因此其操作为“顺序IO”；通常也被称为：预写式日志（日志写入先于数据前） write ahead logging
事务日志通常是循环覆盖的
PS：建议事务日志和数据文件分开存放

redo log

redo log 负责确保事务的持久性，记录数据修改之后的值，当数据写入到内存，但还没写到磁盘时，服务器出现故障，重启MySQL后，会从redo log恢复发生故障之前的数据，叫做crash-safe
- redo log 写入成功才会通知用户成功
redo log 还可以提高速度，在更新数据时，为了减少磁盘IO次数，每次操作都会先将数据写入到内存中，再根据策略将redo log中的数据写入到磁盘（通过innodb_flush_log_at_trx_commit 值来控制写入策略）
- 0，每次提交后都会先写入Log Buffer，然后每秒将Log Buffer的内容刷新到磁盘文件中，性能很好但mysql宕机有可能会导致最后一秒的事务丢失
- 1，此为默认值，日志缓冲区将写入日志文件，并在每次事务后执行后立刻刷新到磁盘。这是完全遵守ACID特性，性能最差但容错性最好，如果设置为1，同时sync_binlog = 1表示最高级别的容错
- 2，每次提交后都会先写入OS cache，然后每秒将OS cache的内容刷新到磁盘文件中，性能比0略差一些，性能很好但OS宕机有可能会导致最后一秒的事务丢失
- 总结：2和0 因为都是将事务写入内存，虽然跨越用户态与内核态，但毕竟只是内存的数据拷贝，所以性能差异并不大，但通常建议设置为2，因为操作系统崩溃的概率相比MySQL应用程序崩溃的概率小很多只要操作系统不奔溃也绝对不会丢数据
  - OS buffer：操作系统的缓存
  - log buffer：MySQL的缓存
  - 通过show variables like ‘%innodb_log%’ ;可以查看redo log的文件大小等信息

undo log

作用：确保事务的原子性，同时可以实现多版本并发控制（MVCC）
内容：undo log是逻辑日志，会通过逻辑将数据恢复到事务开始之前的的状态
产生时间：在事务开始之前就会产生
存储位置：默认存储在共享空间中，可通过以下语法查看
- show global variables like "innodb_data_file_path%";

事务日志相关配置

参阅：https://dev.mysql.com/doc/refman/8.0/en/server-option-variable-reference.html

#查看事务日志相关变量
mysql> show variables like '%innodb_log%';
+------------------------------------+----------+
| Variable_name                      | Value    |
+------------------------------------+----------+
| innodb_log_buffer_size             | 16777216 #buffer缓存大小
| innodb_log_checksums               | ON       
| innodb_log_compressed_pages        | ON       
| innodb_log_file_size               | 50331648 #每个日志文件大小
| innodb_log_files_in_group          | 2 #日志文件个数，第一个写满了写第二个，然后在回滚写第一个       
| innodb_log_group_home_dir          | ./ #事务文件路径，默认路径为数据库的默认目录下的 ib_logfile0 和 ib_logfile1文件，建议和数据文件分开存放，redo log和undo log 
| innodb_log_spin_cpu_abs_lwm        | 80       
| innodb_log_spin_cpu_pct_hwm        | 50       
| innodb_log_wait_for_flush_spin_hwm | 400      
| innodb_log_write_ahead_size        | 8192     
| innodb_log_writer_threads          | ON       
+------------------------------------+----------+

mysql> select @@innodb_flush_log_at_trx_commit;
+----------------------------------+
| @@innodb_flush_log_at_trx_commit |
+----------------------------------+
|                                1 | #默认值为1，建议设为2，详情参阅下面的说明
+----------------------------------+

事务日志性能优化

# mkdir -p /data/mysql_log/transaction_log
# chown -R mysql.mysql /data/mysql_log/
# vim /etc/my.cnf
[mysqld]
######transaction-log######
innodb_log_group_home_dir = /data/mysql_log/transaction_log
innodb_log_file_size = 200M
innodb_log_files_in_group = 3
innodb_flush_log_at_trx_commit=2 #如果设置为1，同时sync_binlog = 1表示最高级别的容错


# systemctrl restart mariadb|mysqld

错误日志

参阅：https://dev.mysql.com/doc/refman/8.0/en/error-log.html

事件

EVENT 事件

类似于shell中的计划任务
shell中的计划任务可以精确到分钟级，而MySQL中的事件可以精确到秒级

事件的优缺点

优点：

一些对数据定时性操作不再依赖外部程序，而直接使用数据库本身提供的功能，可以实现每秒钟执行一个任务，这在一些对实时性要求较高的环境下就非常实用

缺点：

定时触发，不可以直接调用

事件的管理

事件调度器的开启和关闭

MySQL事件调度器event_scheduler负责调用事件，它默认是关闭的（新版MySQL8.0.27默认是开启的）。这个调度器不断地监视一个事件是否要调用，要创建事件，必须打开调度器
服务器系统变量和服务器选项：

event_scheduler：默认值为OFF，设置为ON才支持Event，并且系统自动打开专用的线程

范例：开启和关闭event_scheduler

#默认事件调度功能是关闭的（新版MySQL8.0.27默认是开启的）
MySQL [hellodb]> select @@event_scheduler;
+-------------------+
| @@event_scheduler |
+-------------------+
| OFF               |
+-------------------+

#临时开启event_scheduler
set global event_scheduler=1;

#临时关闭event_scheduler
set global event_scheduler=0;

#永久开启，配合临时开启，然后再将配置添加到配置文件中
[root@centos8 ~]#vim /etc/my.cnf.d/mariadb-server.cnf
[mysqld]
event_scheduler=ON

-----------------------------------------------------------------------------
#开启后会看到进程
MySQL [hellodb]> show processlist\G;
...
     Id: 9
   User: event_scheduler
   Host: localhost
     db: NULL
Command: Daemon
   Time: 1160
  State: Waiting on empty queue
   Info: NULL
2 rows in set (0.00 sec)
...

事务

事务概述

MySQL 中的事务是一组 SQL 语句，它们作为一个单独的逻辑单元执行，并且要么全部成功执行，要么全部回滚到事务开始前的状态。

事务的使用对于确保数据的完整性和一致性至关重要，特别是在涉及多个并发用户或应用程序操作数据库时。

事务的特性

事务具有四大特性，通常称为 ACID 特性：

原子性（Atomicity）

事务是一个原子操作，要么全部执行成功，要么全部失败回滚，不存在部分执行的情况。
原子性指的是事务不可分割，要么都做，要么都不做。

一致性（Consistency）

事务在执行前后，数据库的完整性约束没有被破坏，事务开始前和结束后，数据库的状态应保持一致。
一致性指的是事务并行执行和串行执行的结果一致。

隔离性（Isolation）

多个事务并发执行时，每个事务的操作应该与其他事务的操作相互隔离，即一个事务的执行不应该受到其他事务的影响。
隔离性指的是多个事务间的操作相互隔离，之间不受影响。
一个事务所做出的操作在提交之前，是不能为其它事务所见；隔离有多种隔离级别，实现并发
- MySQL的默认隔离级别是“可重复读”；既当前事务开启后，无论其他人对此事务作出怎样的修改，当前事务也只能看到开启时的初始数据

持久性（Durability）

一旦事务提交成功，其所做的改变将永久保存在数据库中，即使系统发生故障，这些改变也不会丢失。
持久性指的是，事务一旦提交，则永久保存，不可回滚。

事务的隔离级别

隔离级别是数据库管理系统（DBMS）中用来控制事务之间相互影响程度的概念。常见的隔离级别包括：

读未提交

Read Uncommitted
可读取到未提交数据，从而产生脏读
最低级别的隔离级别。允许事务读取其他事务尚未提交的数据。这意味着一个事务可以看到另一个事务未提交的更新，可能会导致脏读（Dirty Read）问题。

读已提交

Read Committed，此为 Oracle 的默认隔离级别
可读取到提交数据，但未提交数据不可读，产生不可重复读，即可读取到多个提交数据，导致每次读取数据不一致
保证一个事务只能读取到已经提交的数据。这样可以避免脏读，但是可能会出现不可重复读（Non-repeatable Read）问题，因为在事务执行期间，另一个事务可能会提交并修改数据。

范例：

-- 开启两个终端后，均临时关闭自动提交以及将隔离级别改为读已提交
set autocommit=0; -- 0表示关闭事务自动提交
select @@autocommit; -- 验证配置结果
SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED; -- 将会话的隔离级别设置为读已提交，意味着该会话中的所有事务将使用读已提交的隔离级别。请注意，这仅影响当前会话，不会影响其他会话的隔离级别。
select @@TRANSACTION_ISOLATION; -- 验证当前隔离级别


-- 修改前，两个终端看到的内容如下：
mysql> select * from teachers where tid=1;
+-----+------------+-----+--------+
| TID | Name       | Age | Gender |
+-----+------------+-----+--------+
|   1 | Song Jiang |  66 | M      |
+-----+------------+-----+--------+


-- 终端1更新数据：
mysql> update teachers set age=77 where tid=1;
mysql> select * from teachers where tid=1;
+-----+------------+-----+--------+
| TID | Name       | Age | Gender |
+-----+------------+-----+--------+
|   1 | Song Jiang |  77 | M      |
+-----+------------+-----+--------+


-- 终端2看到的内容未发生变化（因为终端1还未提交，避免了脏读）
mysql> select * from teachers where tid=1;
+-----+------------+-----+--------+
| TID | Name       | Age | Gender |
+-----+------------+-----+--------+
|   1 | Song Jiang |  66 | M      |
+-----+------------+-----+--------+


-- 终端1提交数据
mysql> commit;


-- 终端1提交后，终端2看到了更新的数据（产生不可重复读）
mysql> select * from teachers where tid=1;
+-----+------------+-----+--------+
| TID | Name       | Age | Gender |
+-----+------------+-----+--------+
|   1 | Song Jiang |  77 | M      |
+-----+------------+-----+--------+

可重复读

Repeatable Read，此为 MySQL 的默认隔离级别

数据库管理

创建数据库

创建 testdb 数据库

mysqladmin -uroot -p12345 create testdb

#语法
# CREATE {DATABASE | SCHEMA} [IF NOT EXISTS] db_name

#方法一
CREATE DATABASE testdb;

#方法二，如果数据库已经存在则不返回错误信息，但是会有报警信息，可以使用SHOW warnings;来查看 
CREATE DATABASE IF NOT EXISTS testdb;


#方法三，创建数据库时指定字符集和排序规则
CREATE DATABASE four_honey
    CHARACTER SET utf8mb4
    COLLATE utf8mb4_unicode_ci;


# 查看数据库的字符集和排序规则
SELECT
    s.SCHEMA_NAME AS database_name,
    s.DEFAULT_CHARACTER_SET_NAME AS character_set,
    c.COLLATION_NAME AS collation
FROM
    information_schema.SCHEMATA s
JOIN
    information_schema.COLLATIONS c
    ON s.DEFAULT_COLLATION_NAME = c.COLLATION_NAME
WHERE
    s.SCHEMA_NAME = 'four_honey';

删除数据库

删除 testdb 数据库

mysqladmin -uroot -p12345 drop testdb

DROP DATABASE testdb;

查看创建数据库时指定的选项

SHOW CREATE DATABASE testdb;

数据库列表查询

SHOW DATABASES;

修改数据库

不建议修改，因为会导致数据库混乱，从而导致错误

索引

索引概述

索引类似于书的目录，利用好索引技术可以很大的提升查询效率，定义作为查找条件的字段上，又称为键key，索引通过存储引擎实现

优点

降低服务需要扫描的数据量，减少了IO次数
帮助服务器避免排序和使用临时表
帮助将随机I/O转为顺序I/O

缺点

占用额外空间，影响插入速度
如果表内容修改(如表中间插入内容)，则索引也会随之而更新

索引类型

B+ TREE、HASH、R TREE、FULL TEXT
聚簇（集）索引、非聚簇索引：数据和索引是否存储在一起
主键索引(在主键上自动建立索引)、二级（辅助）索引
稠密索引、稀疏索引：是否索引了每一个数据项
简单索引、组合索引
左前缀索引：取前面的字符做索引
覆盖索引：从索引中即可取出要查询的数据，性能高

B+Tree索引

按顺序存储，每一个叶子节点到根结点的距离是相同的；左前缀索引，适合查询范围类的数据
根节点和枝节点只存储索引不存储数据，叶子节点既存储索引又存储数据
每个叶子节点中还包含列表指针会指向下一个叶子节点的位置，因此还可以实现叶子节点间一定范围的查询而无需从根节点重新开始查找

可以使用B+Tree索引的查询类型：

全值匹配：精确所有索引列，如：姓wang，名xiaochun，年龄30
匹配最左前缀：即只使用索引的第一列，如：姓wang
匹配列前缀：只匹配一列值开头部分，如：姓以w开头的
匹配范围值：如：姓ma和姓wang之间
精确匹配某一列并范围匹配另一列：如：姓wang,名以x开头的
只访问索引的查询

B+Tree索引的限制：

如不从最左列开始，则无法使用索引，如：查找名为xiaochun，或姓为g结尾
不能跳过索引中的列：如：查找姓wang，年龄30的，只能使用索引第一列

特别提示

索引列的顺序和查询语句的写法应相匹配，才能更好的利用索引
为优化性能，可能需要针对相同的列但顺序不同创建不同的索引来满足不同类型的查询需求

创建索引

语法

更多语法帮助：help CREATE INDEX;
UNIQUE：表示唯一索引，如手机号不能重复但是允许为空

CREATE [UNIQUE] INDEX index_name ON tbl_name (index_col_name[(length)],...);
#或
ALTER TABLE tbl_name ADD INDEX index_name(index_col_name[(length)]);

范例

索引的名称通常建议为**idx_**开头

#创建索引前
mysql> desc students;
+-----------+------------------+------+-----+---------+----------------+
| Field     | Type             | Null | Key | Default | Extra          |
+-----------+------------------+------+-----+---------+----------------+
| StuID     | int unsigned     | NO   | PRI | NULL    | auto_increment |
| Name      | varchar(50)      | NO   |     | NULL    |                |
| Age       | tinyint unsigned | NO   |     | NULL    |                |
| Gender    | enum('F','M')    | NO   |     | NULL    |                |
| ClassID   | tinyint unsigned | YES  |     | NULL    |                |
| TeacherID | int unsigned     | YES  |     | NULL    |                |
+-----------+------------------+------+-----+---------+----------------+


#为students的name字段创建索引，(name(10))匹配name左侧的前十个字符作为索引
mysql> CREATE INDEX idx_name ON students(name(10));


#创建索引后，key字段就代表索引的意思
mysql> desc students;
+-----------+------------------+------+-----+---------+----------------+
| Field     | Type             | Null | Key | Default | Extra          |
+-----------+------------------+------+-----+---------+----------------+
| StuID     | int unsigned     | NO   | PRI | NULL    | auto_increment |
| Name      | varchar(50)      | NO   | MUL | NULL    |                |
| Age       | tinyint unsigned | NO   |     | NULL    |                |
| Gender    | enum('F','M')    | NO   |     | NULL    |                |
| ClassID   | tinyint unsigned | YES  |     | NULL    |                |
| TeacherID | int unsigned     | YES  |     | NULL    |                |
+-----------+------------------+------+-----+---------+----------------+


#查看表中索引的相关信息
mysql> SHOW INDEX FROM students\G;
...
*************************** 2. row ***************************
        Table: students
   Non_unique: 1
     Key_name: idx_name #索引名称
 Seq_in_index: 1
  Column_name: Name
    Collation: A
  Cardinality: 25
     Sub_part: 10
       Packed: NULL
         Null: 
   Index_type: BTREE
      Comment: 
Index_comment: 
      Visible: YES
   Expression: NULL

创建复合索引
注意：当创建下面的复合索引后上面的针对name的索引就没有意义了相当于冗余索引了

#将name和age字段作为复合索引，name在前，age在后
mysql> CREATE INDEX idx_name_age ON students(name(10),age);

#查看创建的复合索引信息
mysql> SHOW INDEX FROM students\G
...
*************************** 4. row ***************************
        Table: students
   Non_unique: 1
     Key_name: idx_name_age
 Seq_in_index: 2
  Column_name: Age
    Collation: A
  Cardinality: 25
     Sub_part: NULL
       Packed: NULL
         Null: 
   Index_type: BTREE
      Comment: 
Index_comment: 
      Visible: YES
   Expression: NULL

删除索引

语法

DROP INDEX index_name ON tbl_name;
#或
ALTER TABLE tbl_name DROP INDEX index_name(index_col_name);

查看索引

语法

SHOW INDEXES FROM [db_name.]tbl_name;

范例

key字段就代表索引的意思

mysql> show index from hellodb.students\G
*************************** 1. row ***************************
        Table: students
   Non_unique: 0
     Key_name: PRIMARY #主键索引，即创建主键时自动添加的索引
 Seq_in_index: 1
  Column_name: StuID
    Collation: A
  Cardinality: 25
     Sub_part: NULL
       Packed: NULL
         Null: 
   Index_type: BTREE #实际上就是B+TREE索引
      Comment: 
Index_comment: 
      Visible: YES
   Expression: NULL

查看索引的使用情况

粗略查看索引的使用情况，更详细了解需要使用EXPLAIN工具
此命令主要用于统计所有利用索引的行数

语法

Mariadb部分版本可用，MySQL最新版不支持

#先将此变量设为1，表示打开
SET GLOBAL userstat=1;

#然后查看索引的使用情况
SHOW INDEX_STATISTICS;

EXPLAIN 查看索引的使用情况

更详细的了解索引的使用情况

配置文件

/etc/my.cnf #Global选项
/etc/mysql/my.cnf #Global选项
~/.my.cnf #User-specific 选项

client端配置文件

生效位置

#MySQL客户端配置
[mysql]
[client]

格式：parameter = value
说明：_和- 相同
     1，ON，TRUE意义相同(不写=号和值默认为ON)， 0，OFF，FALSE意义相同

配置客户端mysql的自动登录

vim/etc/my.cnf.d/client.conf
[client]
user=azheng
password=123

server端配置文件

生效位置

[mysqld] #MySQL服务器端配置
[mysqld_safe]
[mysqld_multi]
[mysqldump] #MySQL服务器默认备份选项
[server] #MySQL服务器端配置

格式：parameter = value
说明：_和- 相同
     1，ON，TRUE意义相同(不写=号和值默认为ON)， 0，OFF，FALSE意义相同

socket地址

服务器监听的两种socket地址：

用户管理

参考文档

https://dev.mysql.com/doc/refman/8.0/en/access-control.html

MySQL 用户相关库和表

在MySQL中，与用户相关的信息存储在系统数据库中的特定表中。以下是与MySQL用户相关的一些主要系统数据库和表：

mysql数据库：
- user表： 存储MySQL用户的基本信息，如用户名、密码和全局权限。
information_schema数据库：
- SCHEMATA表： 包含有关所有数据库的信息，包括它们的所有者。

注意：在MySQL中，用户和权限信息不仅仅存在于mysql.user表中，还涉及到其他表和数据库。权限信息可能分布在不同的表中，而这些表之间的关系和结构可能在不同的MySQL版本中有所不同。因此，以下提到的表可能会根据你的MySQL版本而有所变化。

可以使用以下SQL查询语句来查看用户和权限信息：

-- 查看用户表信息
SELECT * FROM mysql.user;

-- 查看权限表信息
SELECT * FROM information_schema.SCHEMA_PRIVILEGES;

请注意，要执行上述查询，你需要具有足够的权限来访问这些表的信息。通常，只有具有SELECT权限的用户才能执行这些查询。

在MySQL中，用户权限相关的信息主要分布在mysql数据库的不同表中。以下是一些与用户权限相关的表，以及它们的主要字段：

user表：
- 存储有关MySQL用户的基本信息，如用户名、密码、全局权限等。
- 字段：Host, User, authentication_string, Super_priv, Select_priv, Insert_priv, Update_priv, Delete_priv, Create_priv, Drop_priv, Reload_priv, Shutdown_priv 等。
db表：
- 存储有关数据库特定权限的信息，如用户对特定数据库的权限。
- 字段：Host, Db, User, Select_priv, Insert_priv, Update_priv, Delete_priv, Create_priv, Drop_priv, Grant_priv 等。
tables_priv表：
- 存储有关表特定权限的信息，如用户对特定表的权限。
- 字段：Host, Db, User, Table_name, Grantor, Timestamp, Table_priv 等。
columns_priv表：

优化

参考链接

阿里巴巴Java开发手册：https://developer.aliyun.com/topic/java2020
58到家数据库30条军规解读：http://zhuanlan.51cto.com/art/201702/531364.htm

数据库服务衡量指标

Qps：query per second 每秒处理的请求数
Tps：transaction per second 每秒处理的事务数量

MySQL压力测试

常见MySQl压力测试工具

mysqlslap
Sysbench，功能强大，官网： https://github.com/akopytov/sysbench
tpcc-mysql
MySQL Benchmark Suite
MySQL super-smack
MyBench

mysqlslap

来自于mariadb包，测试的过程默认生成一个mysqlslap的schema,生成测试表t1，查询和插入测试数据，mysqlslap库自动生成，如果已经存在则先删除。用–only-print来打印实际的测试过程，整个测试完成后不会在数据库中留下痕迹

语法

mysqlslap [options]

options

--auto-generate-sql, -a #自动生成测试表和数据，表示用mysqlslap工具自己生成的SQL脚本来测试并发压力

--auto-generate-sql-load-type=type #测试语句的类型。代表要测试的环境是读操作还是写操作还是两者混合的。取值包括：read，key，write，update和mixed(默认)

--auto-generate-sql-add-auto-increment #代表对生成的表自动添加auto_increment列，从5.1.18版本开始支持

--number-char-cols=N, -x N #自动生成的测试表中包含多少个字符类型的列，默认1

--number-int-cols=N, -y N #自动生成的测试表中包含多少个数字类型的列，默认1

--number-of-queries=N #总的测试查询次数(并发客户数×每客户查询次数)

--query=name,-q #使用自定义脚本执行测试，例如可以调用自定义的存储过程或者sql语句来执行测试

--create-schema #代表自定义的测试库名称，测试的schema

--commint=N #多少条DML后提交一次

--compress, -C #如服务器和客户端都支持压缩，则压缩信息

--concurrency=N, -c N #表示并发量，即模拟多少个客户端同时执行select。可指定多个值，以逗号或者--delimiter参数指定值做为分隔符,如：--concurrency=100,200,500

--engine=engine_name, -e engine_name #代表要测试的引擎，可以有多个，用分隔符隔开。例如：--engines=myisam,innodb

--iterations=N, -i N #测试执行的迭代次数，代表要在不同并发环境下，各自运行测试多少次

--only-print #只打印测试语句而不实际执行。

--detach=N #执行N条语句后断开重连

--debug-info, -T #打印内存和CPU的相关信息

范例

#单线程测试
mysqlslap -a -uroot -pmagedu

#多线程测试。使用--concurrency来模拟并发连接
mysqlslap -a -c 100 -uroot -pmagedu

#迭代测试。用于需要多次执行测试得到平均值
mysqlslap -a -i 10 -uroot -pmagedu
mysqlslap ---auto-generate-sql-add-autoincrement -a
mysqlslap -a --auto-generate-sql-load-type=read
mysqlslap -a --auto-generate-secondary-indexes=3
mysqlslap -a --auto-generate-sql-write-number=1000
mysqlslap --create-schema world -q "select count(*) from City”
mysqlslap -a -e innodb -uroot -pmagedu
mysqlslap -a --number-of-queries=10 -uroot -pmagedu

#测试同时不同的存储引擎的性能进行对比
mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --iterations=5 --
engine=myisam,innodb --debug-info -uroot -pmagedu

#执行一次测试，分别50和100个并发，执行1000次总查询
mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --debug-info -uroot -
pmagedu

#50和100个并发分别得到一次测试结果(Benchmark)，并发数越多，执行完所有查询的时间越长。为了准确起见，可以多迭代测试几次
mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --iterations=5 --
debug-info -uroot -pmagedu

索引优化参考建议

独立地使用列：尽量避免其参与运算，独立的列指索引列不能是表达式的一部分，也不能是函数的参数，在where条件中，始终将索引列单独放在比较符号的一侧，尽量不要在列上进行运算（函数操作和表达式操作）
左前缀索引：构建指定索引字段的左侧的字符数，要通过索引选择性（不重复的索引值和数据表的记录总数的比值）来评估，尽量使用短索引，如果可以，应该制定一个前缀长度
多列索引：AND操作时更适合使用多列索引，而非为每个列创建单独的索引
选择合适的索引列顺序：无排序和分组时，将选择性最高放左侧
只要列中含有NULL值，就最好不要在此列设置索引，复合索引如果有NULL值，此列在使用时也不会使用索引
对于经常在where子句使用的列，最好设置索引
对于有多个列where或者order by子句，应该建立复合索引
对于like语句，以 % 或者 _ 开头的不会使用索引，以 % 结尾会使用索引
尽量不要使用not in和<>操作,虽然可能使用索引,但性能不高
不要使用RLIKE正则表达式会导致索引失效
查询时，能不要*就不用*，尽量写全字段名，比如:select id,name,age from students;
大部分情况连接效率远大于子查询
在有大量记录的表分页时使用limit
对于经常使用的查询，可以开启查询缓存（MySQL8.0+查询缓存废弃）
多使用explain和profile分析查询语句
查看慢查询日志，找出执行时间长的sql语句优化

并发访问

# vim /etc/my.cnf
[mysqld]
max_connections=2000 #通常还要修改service文件中[Service]块中的LimitNOFILE=65535，以及limit文件

防止更新表时未加where导致修改所有行

[root@centos8 ~]# vim /etc/my.cnf
[mysql] #客户端配置
safe-updates #加以限制

#或者设置别名：
[root@centos8 ~]# alias mysql='mysql -U'

优化表空间

删除表中数据，但不会自动缩减数据文件的大小。

主从复制

主从复制前言

主从复制模式

异步复制

默认值，主节点数据写入成功则立即通知用户成功
优点：速度快，用户体验性好
缺点：主从数据不一致比较常见，解决方法？？？？

同步复制

主节点和从节点都将数据写入成功才通知用户成功
优点：数据安全性好
缺点：速度慢，用户体验性差

常见架构

一主一从

Master –> Slave

一主多从

Master –> Slaves

级联复制

一主一从，一从在带多从
Master –> Slave –> Slaves

主主

虽然名为双主架构，但还是当主从来用
Master –> Master(Slave)

主从复制相关线程

主节点：

dump Thread
- 为每个Slave的I/O Thread启动一个dump线程，用于向其发送binary log events

从节点：

I/O Thread
- 向Master请求二进制日志事件，并保存于中继日志中
SQL Thread
- 从中继日志中读取日志事件，在本地完成重放

主从复制相关文件

主节点：

bin-log

从节点：

mariadb-relay-bin.00000#

中继日志，保存从主节点复制过来的二进制日志,本质就是二进制日志

[root@slave ~]#file /var/lib/mysql/mariadb-relay-bin.000001 
/var/lib/mysql/mariadb-relay-bin.000001: MySQL replication log, server id 18
MySQL V5+, server version 10.3.17-MariaDB-log

master.info

MySQL

mysql命令

使用 mysql_config_editor 进行密码管理

备份与还原

备份前言

备份方式

备份模式

备份工具

备份

备份前注意事项

mysqldump备份数据库

语法

常见通用选项说明

备份与还原

视图概述

创建视图语法

创建视图范例

查看视图

查看视图定义

查看是否为视图

删除视图

变量、服务器配置和状态

变量概述

列出变量

系统变量

修改全局变量

修改会话变量

常用的系统变量

sql_mode

并发控制和锁机制

锁概念

锁的分类

锁的粒度

锁的实现

锁策略

锁的实现

表加锁

语法

范例

加读锁

加写锁

解锁

加全局读锁

语法

范例

查询时加写或读锁

语法

范例: 同时在两个终端对同一行记录修改

部署

docker-compose.yml

yum 安装

apt 安装

二进制安装

5.6

准备用户

准备数据目录

准备二进制程序

准备配置文件

安装依赖包

创建数据库文件

准备服务脚本，并启动服务

PATH路径

安全初始化

5.7

安装相关依赖包

创建相关账户和组

创建数据库存放目录

准备程序文件

准备环境变量

准备配置文件

生成数据库文件并提取root密码

准备开启启动脚本

方法一：service文件

方法二：开机启动脚本

修改初始口令

测试登录

bin_install_mysql5.7.sh

8

bin_install_mysql8.sh

编译安装

使用 `mysql_config_editor` 进行密码管理