# 打印所有行，但跳过第一行
awk 'NR>1'

# 提取第一列 IP，跳过第一行
awk 'NR>1 {print $1}' file.txt

# mkdir -p /data/test/{a,b}/{x,y}
# tree
.
└── test
    ├── a
    │   ├── x
    │   └── y
    └── b
        ├── x

        └── y

---

# mkdir -p /data/test/{a,b/{x,y}}
# tree
.
└── test
    ├── a
    └── b
        ├── x

        └── y

---

# mkdir -p /data/test/dir{3,4,5/dir{6,7}}
# tree
.
└── test
    ├── dir3
    ├── dir4
    └── dir5
        ├── dir6
        └── dir7

cp file{,.bak}

# 传输选项
-P <port> # 指定SSH端口，默认为22。指定SSH端口号，一般用于远程主机开启了非默认端口号的情况，例如`scp -P 2222 file.txt user@remotehost:/path/to/dir`。

-C # 启用压缩传输，可提高传输速度。开启压缩传输，可加快传输速度，适用于较慢的网络环境。


# 操作选项
-r # 递归复制整个目录。递归复制整个目录，即将目录下的所有文件和子目录都复制到目标主机。例如，`scp -r /path/to/source/dir user@remotehost:/path/to/target/dir`。

-p # 保留文件的权限和时间戳等属性。保留文件的属性，包括文件权限、时间戳和所有者等。例如，`scp -rp file.txt user@remotehost:/path/to/dir`。

-q # 不显示传输进度。不显示传输进度，适用于在脚本中使用。


# 其他选项
-v # 显示详细输出信息，可以用于调试。

-B # 使用批处理模式（batch mode）。使用批处理模式，即只进行一次加密会话，适用于在脚本中使用，例如`scp -B file.txt user@remotehost:/path/to/dir`。

-S <program> # 指定加密程序，默认使用ssh。指定加密程序，例如`scp -S /usr/bin/ssh2 file.txt user@remotehost:/path/to/dir`。

-i <identity_file> # 指定使用的私钥文件，例如`scp -i /path/to/private_key file.txt user@remotehost:/path/to/dir`。

rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [USER@]host:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
rsync [OPTION]... [USER@]HOST::SRC DEST
rsync [OPTION]... SRC [USER@]HOST::DEST
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

-v, --verbose                 # 增加输出信息的详细程度
-z, --compress                # 在传输过程中压缩压缩文件数据
-q, --quiet                   # 不显示非错误信息
-c, --checksum                # 比较文件时使用文件的校验和而非修改时间和文件大小
-a, --archive                 # 归档模式，相当于 -rlptgoD（不包括 -H,-A,-X 选项）

-r, --recursive               # 递归复制目录及其内容
-l, --links                   # 保留符号链接
-p, --perms                   # 保留文件权限
-t, --times                   # 保留文件修改时间
-g, --group                   # 保留文件所属组信息
-o, --owner                   # 保留文件所属用户信息
-D                            # 相当于 --devices --specials
--devices                     # 保留设备文件信息
--specials                    # 保留特殊文件信息

-R, --relative                # 使用相对路径名
-b, --backup                  # 创建备份文件（使用 --suffix 和 --backup-dir 选项来指定备份文件名及存放目录）
--backup-dir=DIR              # 指定备份文件的存放目录
--suffix=SUFFIX               # 指定备份文件的后缀名（默认是 ~，除非使用了 --backup-dir 选项）
-u, --update                  # 仅复制源目录中较新的文件
--inplace                     # 原地修改目标文件，不备份原文件（详见手册）
--append                      # 附加数据到目标文件的末尾
--append-verify               # 附加数据到目标文件的末尾，并验证文件校验和
-d, --dirs                    # 复制目录但不递归复制其内容
-L, --copy-links              # 复制符号链接本身
-K, --keep-dirlinks           # 保留符号链接目录
-k, --copy-dirlinks           # 复制符号链接目录本身而非其中的内容
-H, --hard-links              # 保留硬链接
--stats                       # 显示文件传输过程的统计信息
--progress                    # 显示文件传输进度
--human-readable              # 以易读的方式显示输出信息
--log-file=FILE               # 将输出信息保存到指定文件中
--partial                     # 在传输中途停止，下次继续传输（详见手册）
--partial-dir=DIR             # 传输中途文件的临时存放目录
--timeout=SECONDS             # 设置连接超时时间
--password-file=FILE          # 从指定文件中读取密码
--delete                      # 删除目标目录中源目录中不存在的文件，删除目标目录中不存在的文件
--delete-before               # 在传输之前删除目标目录中源目录中不存在的文件
--delete-after                # 在传输之后删除目标目录中源目录中不存在的文件
--delete-excluded             # 在传输时删除排除的文件
--exclude=PATTERN             # 排除符合指定模式的文件
--include=PATTERN             # 仅传输符合指定模式的文件

rsync -avz /path/to/local/file username@remote:/path/to/remote/directory/

rsync -avz username@remote:/path/to/remote/file /path/to/local/directory/

rsync -avz /path/to/source/directory /path/to/destination/directory

rsync -avz username@remote:/path/to/source/directory username@remote:/path/to/destination/directory

rsync -avz -e 'ssh -p 22' username@remote:/path/to/source/directory username@remote:/path/to/destination/directory

rsync -avz --delete /path/to/source/directory /path/to/destination/directory

rsync -avz --exclude 'file1.txt' --exclude 'dir1/' /path/to/source/directory /path/to/destination/directory

rsync -avz --backup --suffix=.bak /path/to/local/directory username@remote:/path/to/remote/directory

uid = nobody # rsync进程使用的用户ID
gid = nobody # rsync进程使用的组ID
use chroot = yes # 是否使用chroot环境
max connections = 4 # 同时处理的最大客户端连接数
timeout = 300 # 超时时间
read only = yes # 是否只读
log file = /var/log/rsync.log # 日志文件路径
# hosts allow 和 hosts deny 可以定义允许或拒绝访问的主机列表。
[backup]
path = /path/to/local/backup
comment = Backup directory

username:password

secrets file = /etc/rsyncd.secrets

# -nfs 覆盖当前软链接，直接创建新的软链接
# ll /etc/localtime 
lrwxrwxrwx 1 root root 30 Jul 30 15:07 /etc/localtime -> /usr/share/zoneinfo/Asia/Tokyo
# ln -nfs /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# ll /etc/localtime 
lrwxrwxrwx 1 root root 33 Jul 30 14:07 /etc/localtime -> /usr/share/zoneinfo/Asia/Shanghai

date |& tee 123


# 不在屏幕上打印
date |& tee 123 &> /dev/null
# 或直接
date &> 123

-s  #显示内存的统计数据
1   #每一秒执行一次
1 3 #每一秒执行一次，执行三次后退出

[root@centos ~]# vmstat 
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 3  0      0 162080      0 1399348    0    0     1     5   13    5  1  1 98  0  0

#procs:
 r 可运行（正运行或等待运行）进程的个数，和核心数有关
 b 处于不可中断睡眠态的进程个数(被阻塞的队列的长度)

#memory：
 swpd 交换内存的使用总量
 free 空闲物理内存总量
 buffer 用于buffer的内存总量
 cache 用于cache的内存总量

#swap:
 si 从磁盘交换进内存的数据速率(kb/s)
 so 从内存交换至磁盘的数据速率(kb/s)

#io：
 bi 从块设备读入数据到系统的速率(kb/s)
 bo 保存数据至块设备的速率(kb/s)

#system：
 in interrupts 中断速率，包括时钟
 cs context switch 进程切换速率

#cpu：
 us Time spent running non-kernel code
 sy Time spent running kernel code
 id Time spent idle. Linux 2.5.41前,包括IO-wait time.
 wa Time spent waiting for IO. 2.5.41前，包括in idle.
 st Time stolen from a virtual machine. 2.6.11前, unknown.

[root@centos ~]# iostat
Linux 4.18.0-240.22.1.el8_3.x86_64 (centos) 	12/20/2021 	_x86_64_	(1 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.62    0.01    1.27    0.00    0.00   98.09

Device             tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
vda               0.43         1.19         4.92    3373248   13930785

# iostat
%user #CPU处在用户模式下的时间百分比。

%nice #CPU处在带NICE值的用户模式下的时间百分比

%system #CPU处在系统模式下的时间百分比

%iowait #CPU等待输入输出完成时间的百分比。值过高时，表示硬盘存在I/O瓶颈

%steal #管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比。

%idle #CPU空闲时间百分比。值高表示CPU较空闲。值高但系统响应慢时，可能是CPU等待分配内存，应加内存值持续低于10，表明CPU处理能力相对较低，系统中最需要解决的资源是CPU

#iftop -n
TX #发送（上传）
RX #接受（下载）
cum #总合
peak #最高点
rates #速度
tps #该设备每秒的传输次数
kB_read/s #每秒从设备（drive expressed）读取的数据量；
kB_wrtn/s #每秒向设备（drive expressed）写入的数据量；
kB_read #读取的总数据量；
kB_wrtn #写入的总数量数据量；

-c #显示cpu相关信息
-C #,#,...,total
-d #显示disk相关信息
-D #total,sda,sdb,...
-g #显示page相关统计数据
-m #显示memory相关统计数据
-n #显示network相关统计数据
-p #显示process相关统计数据
-r #显示io请求相关的统计数据
-s #显示swapped相关的统计数据
--tcp
--udp
--unix
--raw
--socket 
--ipc
--top-cpu #显示最占用CPU的进程
--top-io  #显示最占用io的进程
--top-mem #显示最占用内存的进程
--top-latency #显示延迟最大的进程

[root@centos ~]# dstat 1 3
You did not select any stats, using -cdngy by default.
----total-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai stl| read  writ| recv  send|  in   out | int   csw 
  1   1  98   0   0|   0     0 | 474B 7331B|   0     0 |1616  3345 
  1   1  98   0   0|   0     0 | 318B 3064B|   0     0 |1518  3227 
  1   0  98   0   0|   0     0 | 240B 4615B|   0     0 |1424  3129 

# 新建窗口，默认开启的窗口名称为0,1,...
tmux

# 新建窗口并给会话命名
tmux new -s <session-name>

# 查看当前所有的 Tmux 会话
tmux ls

# 重新接入存活的会话
tmux attach -t 0 # 0表示会话的编号（或使用会话名称）

cmd & #后台运行

#ctrl+z
#ctrl+z暂停运行，注意这是让当前运行的脚本到后台，然后"暂停"运行。
[azheng@azheng opt]$ bash test.sh 
1
2
3
^Z

#获取后台暂停运行的编号
[azheng@azheng opt]$ jobs 
[1]+  Stopped                 bash test.sh


#bg命令让暂停的程序继续在后台运行，如果有标准输出会干扰前台的命令执行
[azheng@azheng opt]$ bg 1
[azheng@azheng opt]$ 38
39
40
^C
[azheng@azheng opt]$ 41
42
43
44
45
46

#fg命令让后台程序恢复前台运行
[azheng@azheng opt]$ fg 1

# centos6
/etc/sysconfig/network

# centos7、8

#常用选项
-i #不区分大小写
-n N #只列出前N个匹配的项目
-r #使用基本正则表达式
--regex #使用扩展的正则表达式

#搜索包含conf的文件
locate conf

#搜索conf结尾的文件
locate -r '\.conf$'
locate --regex '.conf$'

find [OPTION]... [查找路径] [查找条件] [处理动作]

find /etc/ -maxdepth #   #最大搜索目录深度,指定目录下的文件为第1级
find /etc/ -mindepth #   #最小搜索目录深度

find /etc/ -d 
find /etc/ -depth 
#-d和-depth等价

find /etc/ -name "filename"   #默认精确查找
find /etc/ -name "*filename*" #模糊查找，支持通配符
find /etc/ -iname "*FilEnAMe*" #忽略大小写模糊查找

find /tmp/private1/data/authority/ ! -path '/tmp/private1/data/authority/' ! -name 'torrc' ! -name 'fingerprint' ! -name 'keys'

find / -inum 12345 #在根下查找节点编号为12345的文件
find / -samefile /etc/passwd #在根下查找和/etc/passwd节点编号相同的文件
find / -links n   #在根下查找链接数为n的文件

-ls

find / -inum 12345 -ls #注意此处的ls为find命令自带的ls，而非系统中的ls命令

#在etc目录下查找conf结尾的文件：
find /etc/ -regex ".*\.conf$"

#以PATTERN匹配整个文件路径，而非文件名称

-user USERNAME #查找属主为指定用户(UID)的文件
-group GRPNAME #查找属组为指定组(GID)的文件
-uid UserID #查找属主为指定的UID号的文件
-gid GroupID #查找属组为指定的GID号的文件
-nouser #查找没有属主的文件
-nogroup #查找没有属组的文件

-type TYPE

#TYPE可以是以下形式：
f #普通文件
d #目录文件
l #符号链接文件
s #套接字文件
b #块设备文件
c #字符设备文件
p #管道文件

#查看/home/下的目录
find /home/ -type d -ls

-empty

find /app/ -type d -empty #查找app目录下的空目录
find /etc/ -type f -empty #查找etc目录下的空文件

与：-a # 默认值，并且的意思，默认两个条件组合查询就相当于省略了-a
或：-o # 或者的关系，两个或多个条件达到了都显示
非：-not，-!，！ #除了

[root@centos8 ~]$find /etc/ -type d -o -type f -ls | wc -l
416
[root@centos8 ~]$find /etc/ -type d -o -type f | wc -l
624
#两次结果不一样是因为-type f -ls形成了并且的关系，所以显示的都是文件

#解决方案：加上括号
[root@centos8 ~]$find /etc/ \( -type d -o -type f \) -ls | wc -l
624

#找出/tmp目录下，属主不是root，且文件名不以f开头的文件
find /tmp ( -not -user root -a -not -name 'f*' ) -ls
find /tmp -not ( -user root -o -name 'f*' ) –ls

#查找/etc/下，除/etc/sane.d目录的其它所有.conf后缀的文件
find /etc -path '/etc/sane.d' -a -prune -o -name "*.conf"

#查找/etc/下，除/etc/sane.d和/etc/fonts两个目录的所有.conf后缀的文件
find /etc \( -path "/etc/sane.d" -o -path "/etc/fonts" \) -a -prune -o -name
"*.conf"

#排除/proc和/sys目录
find / \( -path "/sys" -o -path "/proc" \) -a -prune -o -type f -a -mmin -1

-size [+|-]#UNIT
 常用单位：k, M, G，c（byte）,注意大小写敏感
#UNIT: (#-1, #]
 如：6k 表示(5k-6k]
-#UNIT：[0,#-1]
 如：-6k 表示[0-5k]
+#UNIT：(#,∞)
 如：+6k 表示(6k-∞)

#以“天”为单位
-atime [+|-]# 

#: [#,#+1)   #10表示10天到11天之间的内容
+#: [#+1,∞]  #+10表示11天以前的内容
-#: [0,#)    #-10表示10天以内的内容

-atime #文件读时间
-mtime #文件修改时间
-ctime #文件属性修改时间	

#以“分钟”为单位
-atime [+|-]# 

-amin
-mmin
-cmin

-perm [/|-]MODE

MODE #精确权限匹配
/MODE #任何一类(u,g,o)对象的权限中只要能一位匹配即可，或关系，+ 从CentOS 7开始淘汰
-MODE #每一类对象都必须同时拥有指定权限，与关系
0 #表示不关注

-print #默认的处理动作，显示至屏幕
-ls #类似于对查找到的文件执行“ls -l”命令
-fls file #查找到的所有文件的长格式信息保存至指定文件中，相当于 -ls > file
-delete #删除查找到的文件，慎用！,五交互式的直接删除
-ok COMMAND {} \; #对查找到的每个文件执行由COMMAND指定的命令，对于每个文件执行命令之前，都会交互式要求用户确认
-exec COMMAND {} \; #对查找到的每个文件执行由COMMAND指定的命令，非交互方式，操作时需小心！
{} #用于引用查找到的文件名称自身

#备份配置文件，添加.orig这个扩展名
find  -name  ".conf"  -exec  cp {} {}.orig \;

#提示删除存在时间超过３天以上所有者为joe的临时文件
find /tmp -ctime +3 -user joe -ok rm {} \;

#在家目录中寻找可被其它用户写入的文件，找到后去除other的写权限
find ~ -perm -002  -exec chmod o-w {} \;

#查找/data下的权限为644，后缀为sh的普通文件，然后增加执行权限
find /data –type f -perm 644  -name "*.sh" –exec chmod 755 {} \;

#以字符nul分隔
find -type f -name "*.txt” -print0 | xargs -0 rm
                          #-print0 以空作为分隔符
                                          #-0 以空作为文件名 

find | xargs COMMAND

#显示10个数字
seq 10 | xargs   #sargs后面什么也不加相当于隐藏了echo
1 2 3 4 5 6 7 8 9 10

#删除当前目录下的大量文件
ls | xargs   rm 

#
find  -name "*.sh" | xargs ls -Sl

#echo {1..10} |xargs 
1 2 3 4 5 6 7 8 9 10

#echo {1..10} |xargs -n1
1
2
3
4
5
6
7
8
9
10

#echo {1..10} |xargs -n2
1 2
3 4
5 6
7 8
9 10

#批量创建和删除用户
echo user{1..10} |xargs -n1 useradd 
echo user{1..100} | xargs -n1 userdel -r

#这个命令是错误的
find /sbin/ -perm /700 | ls -l       

#查找有特殊权限的文件，并排序
find /bin/ -perm /7000 | xargs ls -Sl  

#此命令和上面有何区别？答：此命令表示文件必须全部都有超级权限，而上面命令表示有一个地方有超级权限就成立
find /bin/ -perm -7000 | xargs ls -Sl 
 
#并发执行多个进程
seq 100 |xargs -i -P10 wget -P /data   http://10.0.0.8/{}.html

#并行下载视频
seq 199 | xargs -i -P3 you-get https://www.bilibili.com/video/BV1Et411E7dx?p={}

find /var/ -user "root" -group "mail"

find /var/ -! \( -user "root" -o -user "lp" \)
#或者
find /var/ -! -user "root" [-a] -! -user "lp"

find /var/ -mtime -7 ! \( -user "root" -o -user "postfix" \)
#或者
find /var  -mtime -7 -not -user "root" [-a] -not -user "postfix"

find / -atime -7 -nouser -o -nogroup

find /etc/ -size +1M -type f

find /etc/ -! -perm -222

find /etc/ -! -perm /111

find /etc/init.d/ -perm -111 -perm -002
#或者
find /etc/init.d/ -perm -113

#常见选项
-k #keep, 保留原文件,CentOS 8 新特性
-d #解压缩，相当于gunzip
-c #结果输出至标准输出，保留原文件不改变
-# #指定压缩比，#取值为1-9，值越大压缩比越大

#范例
gzip file #压缩
gzip -k file #保留源文件并压缩（CentOS 8 新特性）
gzip -c file > file.gz #保留源文件并压缩

gzip -d file.gz #解压缩
gunzip file.gz  #解压缩

zcat file.gz #不显式解压缩的前提下查看文本文件内容

cat file1 | gzip > file2.gz #把前一个命令的标准数据压缩（在数据库备份中常用）

#常用选项
-k keep, 保留原文件
-d 解压缩
-c 结果输出至标准输出，保留原文件不改变
-# 1-9，压缩比，默认为9

#范例
bzip2 file #压缩
bzip2 -k file #保留源文件并压缩


bzip2 -d file.bz2 #解压缩
bunzip2 file.bz2  #解压缩

bzcat file.bz2 #不显式解压缩的前提下查看文本文件内容

cat file1 | bzip2 > file2.bz2 #把前一个命令的标准数据压缩（在数据库备份中常用）

#常用选项
-k #keep, 保留原文件
-d #解压缩
-c #结果输出至标准输出，保留原文件不改变
-# #压缩比，取值1-9，默认为6

#范例
xz file #压缩
xz -k file #保留源文件并压缩


xz -d file.bz2 #解压缩
unxz file.bz2  #解压缩

xzcat file.bz2 #不显式解压缩的前提下查看文本文件内容

cat file1 | xz > file2.xz #把前一个命令的标准数据压缩（在数据库备份中常用）

xz > bz2 > gz > zip

-f # 指定文件（要放在选项的最后面）
-v # 显示详细信息
-c # 打包 -f #指定打包过后的文件放在哪里
-t # 预览 -f #指定预览哪个文件
-x # 解包 -f #对哪个文件解包
-C # 指定解包的位置

-h # 关注符号链接；归档并转储它们指向的文件。

-z # 压缩成gz格式
-j # 压缩成bz2格式
-J # 压缩成xz格式

-P # 表示允许使用绝对路径发，否则有可能报错：tar: Removing leading `/' from member names

#打包
tar -cvf /bak/home.tar /home #将home目录打包到/bak/下并命名成home.tar

#打包并压缩
tar -{z|j|J}cvf home.tar.{gz|bz2|xz} /home #将home目录打包并压缩到当前目录
tar -{z|j|J}cvf /data/home.tar.{gz|bz2|xz} /home #将home目录打包并压缩到指定的/data/目录下

#打包压缩时不包括目录本身
cd /home/
tar -{z|j|J}cvf home.tar.{gz|bz2|xz} *

#解包
tar -xvf home.tar #默认解包到当前所在位置
tar -xvf home.tar -C /data/ #指定解包路径/data/
#解包和压缩时，tar命令会自动识别文件的压缩格式并自动解包，但是压缩和解压缩还是需要依赖系统本身安装的压缩解压缩工具

#利用 tar 进行文件复制
tar c /data/ | tar x -C /backup

tar zcvf /root/a.tgz --exclude=/app/host1 --exclude=/app/host2 /app

#tar打包/etc 整个目录（打包及压缩，但需要排除/etc/services 文件）
打包及压缩：tar zcvf etc.tar.gz /etc --exclude=/etc/services

#范例

#打包并压缩
zip –r /backup/sysconfig.zip /etc/sysconfig/

#不包括目录本身，只打包压缩目录内的文件和子目录
cd /etc/sysconfig; zip -r /root/sysconfig.zip * 

#默认解压缩至当前目录
unzip /backup/sysconfig.zip  

#解压缩至指定目录,如果指定目录不存在，会在其父目录（必须事先存在）下自动生成
unzip /backup/sysconfig.zip  -d /tmp/config  
cat /var/log/messages | zip messages  - #-表示接接受前面的标准输入

#-p 表示管道
unzip -p message.zip   > message

w #显示谁远程登录了系统并且在干什么
who #显示目前谁远程登录了
last #显示最近远程登录的用户，也可以查看已经登录的用户
lastb #查看登录失败的信息

#找到失败登录的IP
awk '/Failed password/{print $(NF-3)}' /var/log/secure

#找出失败登录次数最多的前10个IP
lastb -f btmp-test1 | awk '{print $3}'|sort | uniq -c|sort -nr|head

# 将jenkins用户加入到docker组，以确保其有权限运行docker命令创建容器
usermod -a -G docker jenkins

# 清空 testuser1 的所有附加组
usermod -G "" testuser1

-p #显示PID
-T #不显示线程thread,默认显示线程
-u #显示用户切换
-H #pid 高度指定进程及其前辈进程

#{}中表示线程，没有{}的即是单线程
[root@centos ~]# pstree -p
systemd(1)─┬─AliSecGuard(1216)─┬─{AliSecGuard}(1217)
           │                   ├─{AliSecGuard}(1218)
           │                   ├─{AliSecGuard}(1220)
           │                   ├─{AliSecGuard}(1222)
           │                   ├─{AliSecGuard}(1224)
           │                   └─{AliSecGuard}(189196)
           ├─sshd(1058)───sshd(252747)───sshd(252760)───bash(252761)───pstree(252852)

a #选项包括所有终端中的进程
x #选项包括不链接终端的进程
u #选项显示进程所有者的信息
f #选项显示进程树,相当于 --forest
k|--sort 属性 #对属性排序,属性前加 - 表示倒序
o 属性… 选项 #显示定制的信息 pid、cmd、%cpu、%mem，范例：ps axo pid,cmd,psr,ni,pri,rtprio
L #显示支持的属性列表
-C cmdlist #指定命令，多个命令用，分隔
-L #显示线程
-e #显示所有进程，相当于-A
-f #显示完整格式程序信息（进程父子关系）
-F #显示更完整格式的进程信息
-H #以进程层级格式显示进程相关信息
-u #userlist 指定有效的用户ID或名称
-U #userlist 指定真正的用户ID或名称
-g #gid或groupname 指定有效的gid或组名称
-G #gid或groupname 指定真正的gid或组名称
-p #pid 显示指pid的进程
--ppid #pid 显示属于pid的子进程
-t ttylist #指定tty,相当于 t
-M #显示SELinux信息，相当于Z

C   #ps -ef 显示列 C 表示cpu利用率

VSZ #Virtual memory SiZe，虚拟内存集，线性内存（申请的内存）
RSS #ReSident Size, 常驻内存集（目前真正使用的内存）

STAT #进程状态
 R #running， 严格来说，应是“可运行”，即在运行队列中，处于正在执行或即将运行状态
 S #interruptable sleeping，可中断睡眠，通常是在等待某个事件的发生，如一个信号或有输入可用
 D #uninterruptable sleeping，不可中断睡眠，通常是在等待输入或输出完成
 T #stopped，通常是被shell作业控制所停止，或者进程正处于调试器的控制之下
 Z #zombie僵尸进程，通常是该进程已经死亡，但父进程没有调用wait类函数来释放该进程的资源
 + #前台进程（没有+即表示后台运行的进程）
 l #多线程进程
 L #内存分页并带锁
 N #低优先级进程，(nice)
 < #高优先级进程
 s #进程是会话期首进程，session leader，会话（子进程）发起者
 I #Idle kernel thread，CentOS 8 新特性

ni     #nice值
pri    #priority 优先级
rtprio #实时优先级
psr    #processor CPU编号 

ps aux

ps -ef

#查看某一进程使用的是哪颗cpu，加上ni或nice可以查看进程的优先级
ps axo pid,cmd,psr[,ni|nice]|grep nginx

#查看进程的父子关系
ps auxf

#查看进程的特定属性
ps axo pid,cmd,%mem,%cpu

#按CPU利用率倒序排序
ps axo pid,cmd,%cpu,%mem k -%cpu

#按内存倒序排序
ps axo pid,cmd,%cpu,%mem --sort -%mem

#有效用户和实际用户
[wang@centos8 ~]#passwd
Changing password for user wang.
Current password: 
[root@centos8 ~]#ps axo pid,cmd,%cpu,%mem,user,euser,ruser | grep passwd
  1965 passwd                       0.0  1.0 root     root     wang
  1970 grep --color=auto passwd     0.0  0.1 root     root     root
  
#查询你拥有的所有进程
ps -x

#显示指定用户名(RUID)或用户ID的进程
ps -fU apache
ps -fU 48

#显示指定用户名(EUID)或用户ID的进程
ps -fu wang
ps -fu 1000

#查看以root用户权限（实际和有效ID）运行的每个进程
ps -U root -u root

#列出某个组拥有的所有进程（实际组ID：RGID或名称）
ps -fG nginx

#列出有效组名称（或会话）所拥有的所有进程
ps -fg mysql
ps -fg 27

#显示指定的进程ID对应的进程
ps -fp 1234

#以父进程ID来显示其下所有的进程，如显示父进程为1234的所有进程
ps -f --ppid 1234

#显示指定PID的多个进程
ps -fp 1204,1239,1263

#要按tty显示所属进程
ps -ft pts/0

#以进程树显示系统中的进程如何相互链接
ps -e --forest

#以进程树显示指定的进程
ps -f --forest -C sshd
ps -ef --forest | grep -v grep | grep sshd

#要显示一个进程的所有线程,将显示LWP（轻量级进程）以及NLWP（轻量级进程数）列
ps -fL -C nginx

#要列出所有格式说明符
ps L

#查看进程的PID，PPID，用户名和命令
ps -eo pid,ppid,user,cmd

#自定义格式显示文件系统组,ni值开始时间和进程的时间

ps -p 1234 -o pid,ppid,fgroup,ni,lstart,etime

#使用其PID查找进程名称：
ps -p 1244 -o comm= #要以其名称选择特定进程，显示其所有子进程
ps -C sshd,bash

#查找指定进程名所有的所属PID，在编写需要从std输出或文件读取PID的脚本时这个参数很有用
ps -C httpd,sshd -o pid= #检查一个进程的执行时间
ps -eo comm,etime,user | grep nginx

#排序，查找占用最多内存和CPU的进程
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head

#显示安全信息
ps -eM
ps --context

#使用以下命令以用户定义的格式显示安全信息
ps -eo euser,ruser,suser,fuser,f,comm,label

#使用watch实用程序执行重复的输出以实现对就程进行实时的监视，如下面的命令显示每秒钟的监视
watch -n 1 'ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head'

#查看优先级和CPU绑定关系
[root@centos8 ~]#ps axo pid,cmd,ni,pri,psr,rtprio |grep migration
   11 [migration/0]                 - 139   0     99
   16 [migration/1]                 - 139   1     99
 2246 grep --color=auto migration   0 19   0     -
[root@centos8 ~]#ps axo pid,cmd,ni,pri,psr |grep dd
     2 [kthreadd]                   0 19   1
   138 [ipv6_addrconf]             -20 39   0
 2153 dd if=/dev/zero of=/dev/nul 19   0   0
 2228 grep --color=auto dd         0 19   1

#实现进程和CPU的绑定
[root@centos8 ~]#taskset --help
Usage: taskset [options] [mask | cpu-list] [pid|cmd [args...]]

prtstat PID

prtstat -r PID #整齐显示

#以指定的优先级来启动进程
[root@centos8 ~]#nice -n -10 ping 127.0.0.1
[root@centos8 ~]#ps axo pid,cmd,nice |grep ping
  2118 ping 127.0.0.1              -10
  2120 grep --color=auto ping        0

#调整正在执行中的进程的优先级
[root@centos8 ~]#renice -n -20 2118
2106 (process ID) old priority -10, new priority -20
[root@centos8 ~]#ps axo pid,cmd,nice |grep ping
  2118 ping 127.0.0.1              -20
  2200 grep --color=auto ping        0

-u uid        #effective user，生效者
-U uid        #real user，真正发起运行命令者
-t terminal   #与指定终端相关的进程
-l            #显示进程名
-a            #显示完整格式的进程名
-P pid        #显示指定进程的子进程

[root@centos8 ~]#pgrep -u wang
2303
2330

[root@centos8 ~]#pgrep -lu wang
2303 bash
2330 dd

#错误写法
[root@centos8 ~]#pgrep -ul wang
pgrep: invalid user name: l

[root@centos8 ~]#pgrep -au wang
2303 -bash
2330 dd if=/dev/zero of=/dev/null

[root@centos8 ~]#pgrep -aP 2303
2330 dd if=/dev/zero of=/dev/null

[root@centos8 ~]#pgrep -at pts/2
1482 -bash
2302 su - wang
2303 -bash
2330 dd if=/dev/zero of=/dev/null

[root@centos ~]# pidof openvpn
1063

[root@centos8 ~]#pidof bash
19035 18813 18789 1251

#-x 按脚本名称查找pid
[root@centos8 ~]#pidof ping.sh
[root@centos8 ~]#pidof -x ping.sh
19035

[root@8 ~]# uptime 
 14:32:37 up  2:32,  6 users,  load average: 0.00, 0.00, 0.03
[root@8 ~]# w
 14:32:38 up  2:32,  6 users,  load average: 0.00, 0.00, 0.03
USER     TTY      FROM             LOGIN@   IDLE   JCPU   PCPU WHAT
root     pts/1    10.0.0.1         06Jul21 166days  0.05s  0.05s -bash
root     pts/2    10.0.0.1         30Aug21 112days  0.06s  0.06s -bash
root     pts/3    10.0.0.1         08Sep21 103days  0.04s  0.04s -bash
root     pts/4    10.0.0.1         10Sep21 101days  0.03s  0.03s -bash
root     pts/5    10.0.0.1         12:33    3.00s  0.18s  0.00s w
root     pts/6    10.0.0.1         12:33   13:42   0.05s  0.05s -bash

[root@centos8 ~]#yum install -y sysstat
[root@centos8 ~]#mpstat
Linux 4.18.0-80.el8.x86_64 (centos8.localdomain) 01/09/2020 _x86_64_ (4 
CPU)
10:16:43 AM CPU   %usr   %nice   %sys %iowait   %irq   %soft %steal %guest 
%gnice   %idle
10:16:43 AM all    0.01    0.00    0.03    0.00    0.01    0.01    0.00    0.00 
   0.00   99.93
[root@centos8 ~]#mpstat 1 3
Linux 4.18.0-80.el8.x86_64 (centos8.localdomain) 01/09/2020 _x86_64_ (4 
CPU)
10:16:48 AM CPU   %usr   %nice   %sys %iowait   %irq   %soft %steal %guest 
%gnice   %idle
10:16:49 AM all    0.00    0.00    0.25    0.00    0.00    0.00    0.00    0.00 
   0.00   99.75
10:16:50 AM all    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00 
   0.00  100.00
10:16:51 AM all    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00 
   0.00  100.00
Average:     all    0.00    0.00    0.08    0.00    0.00    0.00    0.00    0.00 
   0.00   99.92

-d #指定刷新时间间隔，默认为3秒
-b #全部显示所有进程
-n #刷新多少次后退出
-H #线程模式
-p #指定PID

#范例
top -H -p `pidof mysqld`

h | ?   #帮助
q | esc #退出
s #修改刷新时间间隔
k #终止指定进程
W #保存文件
b #打开关闭加亮
y #横向加量
x #纵向加亮，shift+>|< 可以实现切换加量的列
f #选择显示的类目，d或者空格实现是否选择

#排序：
P #以占据的CPU百分比,%CPU
M #占据内存百分比,%MEM，根据驻留内存大小进行排序
T #累积占据CPU时长,TIME+

#首部信息显示：
l #uptime信息
t #tasks及cpu信息
1 #cpu分别显示，监控每个逻辑CPU的状况
m #memory信息

#第1行：top - 17:29:09 up 53days, 1 users, load average: 0.00, 0.01, 0.05 
#系统简要信息
top - 17:29:09  当前系统时间
up 53days       系统运行时间
1 users         在线用户数量
load average: 0.00, 0.01, 0.05   #CPU负载情况，即任务队列的平均长度。 三个数值分别为 1分钟、5分钟、15分钟前到现在的平均值
# load average 表示的是CPU的负载,包含的信息不是CPU的使用率状况,而是在一段时间内CPU正在处理以及等待CPU处理的进程数之和的统计信息,也就是CPU使用队列的长度的统计信息


#第2行：Tasks: 69 total, 2 running, 67 sleeping, 0 stopped, 0 zombie
#进程相关信息
69 total     进程总数
2 running    正在运行的进程数
158 sleeping 睡眠的进程数
0 stopped    停止的进程数
0 zombie     僵尸进程数


#第3行：%Cpu(s): 0.0 us, 0.0 sy, 0.0 ni, 100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st 
#CPU使用信息，当有多个CPU时，这些内容可能会超过两行，其参数如下：

0.0 us    用户空间占用CPU百分比
0.0 sy    内核空间占用CPU百分比
0.0 ni    用户进程空间内改变过优先级的进程占用CPU百分比（调整nice时间）
100.0 id  空闲CPU百分比
0.0 wa    等待输入输出的CPU时间百分比
0.0 hi    硬中断（Hardware IRQ）占用CPU的百分比
0.0 si    软中断（Software Interrupts）占用CPU的百分比
0.0 st    用于有虚拟cpu的情况，用来指示被虚拟机偷掉的cpu时间。


#第4行：KiB Mem: 1016168 total, 68820used, 567720 free, 379628 buffers
#物理内存的使用情况
1016168 total 物理内存总量
68820  used 使用的物理内存总量
567720 free 空闲内存总量
379628 buffers 用作内核缓存的内存量


#第5行：KiB Swap: 0 total, 0 free ,0 used, 293196 avail Mem 
#swap交换内存的使用情况
0 total 交换区总量
0 used  使用的交换区总量
0 free  空闲交换区总量
0 cached Mem 缓冲的交换区总量
293196 avail Mem  代表可用于进程下一次分配的物理内存数量


#5行以下
PID   #进程ID
PPID  #父进程ID
RUSER #Real user name
UID   #进程所有者的用户id
USER  #进程所有者的用户名
GROUP #进程所有者的组名
TTY   #启动进程的终端名。不是从终端启动的进程则显示为...
PR    #优先级
NI    #nice值。负值表示高优先级，正值表示低优先级
%CPU  #上次更新到现在的CPU时间占用百分比
TIME  #进程使用的CPU时间总计，单位秒
TIME+ #进程使用的CPU时间总计，单位1/100秒
%MEM  #进程使用的物理内存百分比
VIRT  #进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES
SWAP  #进程使用的虚拟内存中，被换出的大小，单位kb 
RES   #进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA
CODE  #可执行代码占用的物理内存大小，单位kb
DATA  #可执行代码以外的部分(数据段+栈)占用的物理内存大小，单位kb
SHR   #共享内存大小，单位kb
nFLT  #页面错误次数
nDRT  #最后一次写入到现在，被修改过的页面数
S     #进程状态。D=不可中断的睡眠状态 R=运行 S=睡眠 T=跟踪/停止 Z=僵尸进程
COMMAND #命令名/命令行
WCHAN #若该进程在睡眠，则显示睡眠中的系统函数名
Flags #任务标志

-d          #指定延迟时间；
-u UserName #仅显示指定用户的进程
-s COLUME   #以指定字段进行排序

s #跟踪选定进程的系统调用
l #显示选定进程打开的文件列表
a #将选定的进程绑定至某指定CPU核心
t #显示进程树
q #退出

-b   #以字节为单位
-m   #以MB为单位
-g   #以GB为单位
-h   #易读格式
-o   #不显示-/+buffers/cache行
-t   #显示RAM + swap的总和
-s n #刷新间隔为n秒
-c n #刷新n次后即退出

[root@centos8 ~]#free -h
             total       used       free     shared buff/cache   available
Mem:          1.8Gi       355Mi       724Mi       9.0Mi       726Mi       1.2Gi
Swap:         2.0Gi         0B       2.0Gi

#清除buff/cache，生产中不要使用，因为buff/cache是可以提高效率的，并且改成3后将改不回默认值0了 除非重启
[root@centos8 ~]#echo 3 > /proc/sys/vm/drop_caches
[root@centos8 ~]#free -h
             total       used       free     shared buff/cache   available
Mem:          1.8Gi       320Mi       1.3Gi       9.0Mi       152Mi       1.3Gi
Swap:         2.0Gi         0B       2.0Gi

pmap [options] pid [...]

[root@centos ~]# pmap -x 1063
1063:   /usr/sbin/openvpn --status /run/openvpn-server/status-multi-user.log --status-version 2 --suppress-timestamps --cipher AES-256-GCM --ncp-ciphers AES-256-GCM:AES-128-GCM:AES-256-CBC:AES-128-CBC:BF-CBC --config server.conf
Address           Kbytes     RSS   Dirty Mode  Mapping
0000558776fe3000     760     692       0 r-x-- openvpn
00005587772a1000       8       8       8 r---- openvpn
00005587772a3000       4       4       4 rw--- openvpn
00005587772a4000      32       8       8 rw---   [ anon ]
0000558778414000     912     812     812 rw---   [ anon ]
...

#实际上就是查看/proc目录下的信息：
[root@centos ~]# cat /proc/1063/maps
558776fe3000-5587770a1000 r-xp 00000000 fd:01 51250240                   /usr/sbin/openvpn
5587772a1000-5587772a3000 r--p 000be000 fd:01 51250240                   /usr/sbin/openvpn
5587772a3000-5587772a4000 rw-p 000c0000 fd:01 51250240                   /usr/sbin/openvpn
5587772a4000-5587772ac000 rw-p 00000000 00:00 0 
558778414000-5587784f8000 rw-p 00000000 00:00 0                          [heap]
7efe5902e000-7efe59902000 r--s 00000000 fd:01 17414516                   /var/lib/sss/mc/passwd (deleted)
7efe59902000-7efe59fa1000 r--s 00000000 fd:01 17414350                   /var/lib/sss/mc/group (deleted)
7efe59fa1000-7efe59fab000 r-xp 00000000 fd:01 50990966                   /usr/lib64/libnss_sss.so.2
...

-a        #列出打开文件存在的进程
-c<进程名> #列出指定进程所打开的文件
-g        #列出GID号进程详情
-d<文件号> #列出占用该文件号的进程
+d<目录>   #列出目录下被打开的文件
+D<目录>   #递归列出目录下被打开的文件
-n<目录>   #列出使用NFS的文件
-i<条件>   #列出符合条件的进程(4、6、协议、:端口、 @ip )
-p<进程号> #列出指定进程号所打开的文件
-u        #列出UID号进程详情
-h        #显示帮助信息
-v        #显示版本信息。
-n        #不反向解析网络名字

#查看由登陆用户启动而非系统启动的进程
lsof /dev/pts/1

#指定进程号，可以查看该进程打开的文件
lsof -p 1063

#命令调命令
lsof -p `pidof bc`

#查看指定程序打开的文件
lsof -c httpd

#查看指定用户打开的文件
lsof -u root | more 

#查看指定目录下被打开的文件，参数+D为递归列出目录下被打开的文件，参数+d为列出目录下被打开的文件
lsof +D /var/log/ 
lsof +d /var/log/ 
 
#查看所有网络连接，通过参数-i查看网络连接的情况，包括连接的ip、端口等以及一些服务的连接情况，例如：sshd等。也可以通过指定ip查看该ip的网络连接情况
lsof -i –n      
lsof -i@127.0.0.1 
 
#查看端口连接情况，通过参数-i:端口可以查看端口的占用情况，-i参数还有查看协议，ip的连接情况等
lsof -i :80 -n
 
#查看指定进程打开的网络连接，参数-i、-a、-p等，-i查看网络连接情况，-a查看存在的进程，-p指定进
程
lsof -i –n -a -p 9527
 
#查看指定状态的网络连接，-n:no host names, -P:no port names,-i TCP指定协议，-s指定协议
状态通过多个参数可以清晰的查看网络连接情况、协议连接情况等
lsof -n -P -i TCP -s TCP:ESTABLISHED

lsof |grep /var/log/messages
rm -f /var/log/messages
lsof |grep /var/log/messages
cat /proc/653/fd/6
cat /proc/653/fd/6 > /var/log/messages

lsof -i :portnumber   # 显示正在使用的端口以及对应的进程

lsof | grep file # 查找某一文件被哪个进程打开

# 显示当前系统可用信号
trap -l

# 给某个进程发送9信号
kill -9 PID

# 显示当前系统可用信号
kill -l

# 把所有的登录后的shell给杀掉
killall -9 bash

[root@centos ~]# strace ls
execve("/usr/bin/ls", ["ls"], 0x7fff4367ab40 /* 23 vars */) = 0
brk(NULL)                               = 0x55e4a4015000
arch_prctl(0x3001 /* ARCH_??? */, 0x7ffef1d16dc0) = -1 EINVAL (Invalid argument)
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)
openat(AT_FDCWD, "/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=31487, ...}) = 0
mmap(NULL, 31487, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7f41287c5000
...

[root@centos ~]# ltrace ls
strrchr("ls", '/')                                                      = nil
setlocale(LC_ALL, "")                                                   = "en_US.UTF-8"
bindtextdomain("coreutils", "/usr/share/locale")                        = "/usr/share/locale"
textdomain("coreutils")                                                 = "coreutils"
__cxa_atexit(0x5598345ee650, 0, 0x559834800f80, 0)                      = 0
...

modprobe -r 驱动名 # 卸载网卡驱动，网卡驱动可以通过ethtool -i 网卡名 来查看，driver 表示驱动名
modprobe 驱动名 # 加载网卡驱动

# Centos，来自epel源
# yum -y install stress

 -?, --help         show this help statement
     --version      show version statement
 -v, --verbose      # 运行时显示详细的信息
 -q, --quiet        # 运行时不显示运行信息
 -n, --dry-run      # 显示以完成的指令情况
 -t, --timeout N    # 指定程序运行结束的时间，单位为秒，不指定结束时间则会一直运行
     --backoff N    # 指定程序开始运行的时间，单位为微妙
 -c, --cpu N        # 后面跟一个整数，表示测试CPU的进程数，每个进程都反复不停的计算随机数的平方根
 -i, --io N         # 后面跟一个整数，表示测试磁盘I/O的进程数，每个进程反复调用 sync() 将内存上的内容写到硬盘上
 -m, --vm N         # 后面跟一个整数，表示测试内存的进程数，每个进程不断分配和释放内存
     --vm-bytes B   # 指定在内存测试时malloc的字节数，默认256M
     --vm-stride B  # 指定每B个字节移动一个字节
     --vm-hang N    # 指定free栈的秒数
     --vm-keep      # 向内存空间内不断写入，而不是释放和重新分配
 -d, --hdd N        # 产生执行write和unlink函数的进程数
     --hdd-bytes B  # 指定写的字节数

# 生成2个进程来测试CPU，持续100秒
# stress -c 2 -t 100s


# top
top - 09:46:25 up  4:31,  8 users,  load average: 2.03, 0.77, 0.32
Tasks: 138 total,   5 running, 133 sleeping,   0 stopped,   0 zombie
%Cpu0  :100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu1  :100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
...

-u, --unit=UNIT # 按服务名称过滤日志，只显示指定服务的日志

-f, --follow # 实时跟踪日志，持续输出新的日志条目。

-x # 显示更多的错误信息

-e # 显示日志的末尾，即从最新的日志条目开始显示。（否则默认从头打印）

-p, --priority=PRIORITY # 按优先级过滤日志，只显示指定优先级的日志。可选的优先级包括：emerg(紧急)、alert(警报)、crit(严重)、err(错误)、warning(警告)、notice(注意)、info(信息)、debug(调试)。

-k, --dmesg # 显示内核环缓冲区（dmesg）的日志。

--since=DATE # 仅显示指定日期（含）之后的日志。日期的格式可以是"YYYY-MM-DD"或"YYYY-MM-DD HH:MM:SS"。

--until=DATE # 仅显示指定日期（含）之前的日志。日期的格式可以是"YYYY-MM-DD"或"YYYY-MM-DD HH:MM:SS"。

-n, --lines=NUM # 仅显示指定行数的日志。


-o, --output=FORMAT # 指定输出的格式。常用的格式包括"short"（简短格式）、"short-iso"（简短ISO格式）、"short-precise"（精确简短格式）、"verbose"（详细格式）、"json"（JSON格式）等。

-r, --reverse # 反向显示日志，从最新的日志开始向前显示。

--no-pager # 禁用分页显示，直接将日志输出到终端。

-o, --output-fields=FIELDS # 指定要显示的字段。可以使用逗号分隔的字段列表，例如"_SYSTEMD_UNIT,_PID,_COMM,_MESSAGE"。

-a, --all # 显示所有日志条目，包括被裁剪的日志。

kubectl get --raw /api/v1/namespace/xxx | jq .

kubectl get --raw /api/v1/namespace/xxx | jq .kind

seq -s '=' 3 7
3=4=5=6=7

-i # 忽略大小写
-v # 取反，输出不匹配的行
-c # 输出匹配的行数
-n # 输出匹配的行号
-r # 递归搜索子目录
-w # 只匹配整个单词，而不是部分字符串
-E # 使用扩展正则表达式
-F # 使用固定字符串而不是正则表达式
-m # 仅输出前几个匹配行
-A number #输出匹配行的下文，number为上下文行的数量
-B number #输出匹配行的上文，number为上下文行的数量
-C number #输出匹配行的上下文，number为上下文行的数量

grep -n "^$" filename

grep -n "^$" filename | awk -F: '{print $1}'

awk '{if($0~/^$/)print NR}' filename 

grep -n "^$" filename | awk 'BEGIN{FS=":"}{print $1}'

# 方法一
grep -r "查询内容" 文件目录     # 这样查询出来的包括文件名+内容，等价于grep "查询内容"  2>/dev/null
grep -r -l "查询内容" 文件目录  # 这样只显示包含内容的文件名

# 方法二
find -type f |xargs grep "查询内容" 

grep "search string" file.txt

grep "search string" file1.txt file2.txt file3.txt

grep -l "search string" *

grep -v "search string" file.txt

grep -c "search string" file.txt

grep -E "regex pattern" file.txt

grep -r "search string" /path/to/dir

# grep $'\t' install_httpd.yml 
		- name: Install configure file
		- name: ensure apache is running
		- name: restart httpd

-n, --quiet, --silent # 不自动打印模式空间内容
-e script, --expression script # 将指定的脚本添加到命令列表中
-f script-file, --file script-file # 从指定的文件中读取 sed 脚本
-i[SUFFIX], --in-place[=SUFFIX] # 直接修改输入文件，而不是打印到标准输出
-r, --regexp-extended # 使用扩展正则表达式语法
-s, --separate  # 处理多个文件时，将它们视为独立的序列
--sandbox       # 禁止访问文件系统和环境变量，以保证安全性
--follow-symlinks # 跟随符号链接文件
--posix         # 使用 POSIX 模式，只支持 POSIX 兼容的正则表达式
--version       # 显示版本信息并退出
--help          # 显示帮助信息并退出



-n #关闭自动打印，即关闭输出模式空间的内容到屏幕(注意：搜索替代时加n会导致文件被清空)

-e #多点编辑

-r 或 -E #使用扩展的的正则表达式

-i.bak #编辑后给原文件做一个.bak后缀的备份(不加.bak则只编辑，不备份)

-f /PATH/SCRIPT_FILE #从指定文件中读取编辑脚本

p # 打印当前模式空间内容，追加到默认输出之后

Ip # 忽略大小写输出

d # 删除模式空间匹配的行，并立即启用下一轮循环

a [\\]text # 在指定行后面追加文本，支持使用\n实现多行追加

i [\\]text # 在行前面插入文本

c [\\]text # 替换行为单行或多行文本

w /path/file # 保存模式匹配的行至指定文件

r /path/file # 读取指定文件的文本至模式空间中匹配到的行后

= # 为模式空间中的行打印行号

! # 模式空间中匹配行取反处理

---

s/要查找的内容/替换为的内容/修饰符 # 查找替换,支持使用其它分隔符，可以是其它形式：s@@@，s###
# 要查找的内容：可使用基本正则表达式模式
# 替换为的内容：不能使用模式，但可以使用\1, \2, ...等后向引用符号；还可以使用“&”引用前面查找时查找到的整个内容


# 修饰符：
g   # 全局替换，默认情况下，每一行只替换第一次出现
gc  #全局替换，每次替换前询问
p   # 显示替换成功的行
w /PATH/FILE # 将替换成功的行保存至文件中
I,i # 忽略大小写

# 替换文本中的字符串，这个命令将会在文件file.txt中查找所有出现的字符串"old_string"并将其替换为"new_string"。
sed 's/old_string/new_string/g' file.txt


# 删除文件中的空行，这个命令将会在文件file.txt中删除所有的空行。
sed '/^$/d' file.txt


# 修改文件中某一行的内容，这个命令将会在文件file.txt的第5行中查找所有出现的字符串"old_string"并将其替换为"new_string"。
sed '5s/old_string/new_string/' file.txt


# 在行首添加字符，这个命令将会在文件file.txt的每一行前面添加字符串"prefix"。
sed 's/^/prefix/' file.txt


# 在行尾添加字符，这个命令将会在文件file.txt的每一行末尾添加字符串"suffix"。
sed 's/$/suffix/' file.txt

# 将多个空格替换为一个空格，这个命令将会在文件file.txt中将多个连续的空格替换为一个空格。
sed 's/ */ /g' file.txt


# 将文本中的所有小写字母转换为大写字母，这个命令将会在文件file.txt中将所有小写字母转换为大写字母。
sed 'y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/' file.txt

#在匹配行前后加内容
在包含www.baidu.com的行前面或后面添加多一行内容www.qq.com
#匹配行前加
sed -i '/www.baidu.com/i www.qq.com' domain.file
#匹配行后加
sed -i '/www.baidu.com/a www.qq.com' domain.file

#选择包含的文本内容，并在后面追加空行（i表示忽略大小写，g表示全文替换）
root@logstash:/opt# sed -r 's/(.*JAMes.*)/\1\n/ig' passwd
root:x:0:0:rootJAMES:/root:/bin/bash 

daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/JAMESusr/sbin/nologin 

sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin

#过滤url
[root@centos ~]# cat 1.txt
http://www.baidu.com/more/
http://www.baidu.com/guding/more.html
http://www.baidu.com/events/20060105/photomore.html
http://hi.baidu.com/browse/
http://www.sina.com.cn/head/www20021123am.shtml
http://www.sina.com.cn/head/www20041223am.shtml
[root@centos ~]# sed -e 's/http:\/\///' -e 's/\/.*//' 1.txt
www.baidu.com
www.baidu.com
www.baidu.com
hi.baidu.com
www.sina.com.cn
www.sina.com.cn

"s/^AA.*/&XX" : 把所有以AA开头的行，在行尾假设XX，其中的字符(&)表示所有以AA开头的字符串。

满足匹配的字符串文本内容
$ echo "AABB" | sed "s/AA/AAXX/g" 
AAXXBB
$ echo "AABB" | sed "s/AA/&XX/g"
AAXXBB

例子3. 给所有的连续字符A加后缀XX
这个怎么写呢，如果不用字符(&)好像不方便，因为不确定有多少个A字符。
$ echo "AAABB" | sed "s/A\+/XX/g"
XXBB  这样是不正确的

使用字符(&)
$ echo "AAABB" | sed "s/A\+/&XX/g"  
AAAXXBB

#df | sed -n '/^\/dev\/sd*/p'
/dev/sda2       31441920 1741192  29700728   6% /
/dev/sda1        1038336  172152    866184  17% /boot
/dev/sda3       52403200  398416  52004784   1% /data

df | sed -nE '/^\/dev\/sd/s#.* ([0-9]+)%.*$#\1#p'

df | sed -nE '/^\/dev\/sd/s#.* ([0-9]+)%.*$#\1#p'\| sort -n | tail -1

sed -n '/^[^#]/p' FILE

sed -n '/27\/Apr\/2020:20/,/27\/Apr\/2020:23:30/p' nginx.access.log-20200428

sed -ri.bak 's/^(SELINUX=).*/\1disabled/' /etc/selinux/config

sed -i.bak '$d' /etc/resolv.conf

-F # 指定字段分隔符。例如，-F:表示使用冒号作为字段分隔符。
-f # 指定awk程序文件的路径。
-v # 定义awk变量并赋值。例如，-v var=value表示定义变量var，并将其赋值为value。
-W # 指定awk程序使用的传统行为。例如，-W compat表示启用awk传统行为。
-w # 打开warning模式。例如，-w all表示打开所有警告模式。
-S # 启用缓存优化模式，提高awk程序的性能。
-M # 设置最大记录大小，以MB为单位。例如，-M 100表示设置最大记录大小为100MB。
-i # 在原始文件上直接修改。例如，-i inplace表示在原始文件上直接进行修改。
-F # 指定输入文件的编码方式。例如，-F UTF-8表示使用UTF-8编码方式。
-r # 启用动态加载功能，可加载动态链接库。
-L # 设置递归深度。例如，-L 20表示设置递归深度为20层。
-n # 禁用自动打印模式。默认情况下，awk会自动打印匹配到的行。使用-n选项可以禁用自动打印模式。
-N # 禁用null分隔符模式。默认情况下，awk使用null分隔符作为输入记录分隔符。使用-N选项可以禁用null分隔符模式。
-F # 指定输出字段分隔符。例如，-F,表示使用逗号作为字段分隔符。
-W # 启用gawk扩展功能。例如，-W gnu表示启用gawk扩展功能。

awk -F',' '{count[$2]++} END {for (word in count) print word, count[word]}' file.txt

awk '/keyword/ {print}' file.txt

awk '{printf("%-10s, %-10s, %-10s\n", $1, $2, $3)}' file.txt

awk '!/^ *$/ && !/^#/ {print}' file.txt

# grep password /data/mysql/mysql.log
2024-02-28T08:37:19.122875Z 1 [Note] A temporary password is generated for root@localhost: Z%fxftwZ6cDa

# awk '/temporary password/{print $NF}' /data/mysql/mysql.log
Z%fxftwZ6cDa

vim ~/.vimrc

set list #显示文本中的空格，等价于 cat -A 
set et #一个tab键等于八个空格(默认值，配合set ts=number可以实现自定义空格个数)
set ts=4 #一个tab键等于四个空格
set cul #设置光标所在行的标识线
set ai #启用自动缩进
set noai #禁用自动缩进
set ic #忽略大小写

#命令模式下执行 set paste 保留文件原有格式


----
set nu #查看文件的行

#扩展命令模式下执行
set list

ctrl-f	#上翻一页
ctrl-b	#下翻一页
ctrl-u	#上翻半页
ctrl-d	#下翻半页

echo 'export EDITOR=vim' >> /etc/profile.d/env.sh

#EDITOR就是系统自带的变量，他影响大部分配置文件的文字颜色

#在扩展命令模式下执行（:进入扩展命令模式）
r! command

echo 'export EDITOR=vim' >> /etc/profile.d/env.sh

cat > ~/.vimrc <<EOF
set fileencodings=utf-8,gb2312,gbk,gb18030  
set termencoding=utf-8  
set fileformats=unix  
set encoding=prc
EOF

#执行
:set ff=unix

#保存退出

# cat test.txt 
abc

# rev test.txt 
cba

#文件内容转大写
tr 'a-z' 'A-Z' < filename > 1

sed -i 's/[a-z]/\u&/g' filename

#cut命令主要是接受三个定位方法：
-b #字节
-c #字符
-f #域，配合-d指定分隔符

#截取test.txt的前10列
cut -c 1-10 test.txt

#截取该文件中的第二，第五和第七列
cut -d: -f 2,5,7 /etc/passwd

#截取前三个字节
[root@aliyun ~]# date
Sun Sep 13 04:50:10 CST 2020
[root@aliyun ~]# date | cut -b 1-3
Sun

#原文
ls 2
echo 2
cat 2
rm 1
ll 1
history 1
date 1
cut 1
cd 1

#column -t
ls       2
history  2
echo     2
cat      2
rm       1
ll       1
date     1
cut      1
cd       1

#切割
#分割大的 tar 文件为多份小文件
split -b Size –d tar-file-name prefix-name
split -b 1M mybackup.tgz mybackup-parts

#切换成的多个小分文件使用数字后缀
split -b 1M –d mybackup.tgz mybackup-parts

#合并
#将多个切割的小文件合并成一个大文件
cat mybackup-parts* > mybackup.tar.gz

# 实现前 
# kubectl get pod -n nginx -o wide |awk '{print $1,$3,$7}'
NAME STATUS NODE
nginx-deployment-5559575875-2qlds Running k8s-work-2
nginx-deployment-5559575875-4r6dp Running k8s-work-2
nginx-deployment-5559575875-8pv6b Running k8s-work-2
nginx-deployment-5559575875-ff8t5 Running k8s-work-1
nginx-deployment-5559575875-q5d6z Running k8s-work-1


# 实现后
# kubectl get pod -n nginx -o wide |awk '{print $1,$3,$7}'|column  -t
NAME                               STATUS   NODE
nginx-deployment-5559575875-2qlds  Running  k8s-work-2
nginx-deployment-5559575875-4r6dp  Running  k8s-work-2
nginx-deployment-5559575875-8pv6b  Running  k8s-work-2
nginx-deployment-5559575875-ff8t5  Running  k8s-work-1
nginx-deployment-5559575875-q5d6z  Running  k8s-work-1

# 去除文件的第一行（从第二行开始显示）
tail -n +2


# 只跟踪新增加的文件
tail -f /data/ -n0

head -n -1  #去除文件的最后一行（除最后一行，其余全部显示）

[root@aliyun ~]# printf "%s\n" {1..6}
1
2
3
4
5
6

[root@aliyun ~]# printf "(%s)" {1..3}
(1)(2)(3)[root@aliyun ~]#

[root@aliyun ~]# printf "(%s)" {1..3};echo
(1)(2)(3)

[root@aliyun ~]# printf "(%s)\n" {1..3}
(1)
(2)
(3)

-b、 --一字节八进制一字节八进制显示

-c、 --一字节字符一字节字符显示

-C、 --标准十六进制+ASCII显示

-d、 --双字节十进制双字节十进制显示

-o、 --双字节八进制双字节八进制显示

-x、 --两字节十六进制两字节十六进制显示

-五十、 --颜色[=<mode>]解释颜色格式说明符默认情况下启用颜色

-e、 --用于显示数据的格式<格式>格式字符串

-f、 --格式化文件<文件>包含格式字符串的文件

-n、 --长度<长度>仅解释输入的长度字节

-s、 --跳过<offset>从头开始跳过偏移字节

-v、 --没有压缩输出相同的行


-h、 --帮助显示此帮助

-V、 --版本显示版本

#查看硬盘的第一个扇区内容，以十六进制显示
[root@58 ~]# hexdump -C -n 512 /dev/sda

# 显示当前时间
# date +%F
2021-11-25

# 显示3天前时间
# date +%F -d -3day
2021-11-22

# 显示3天后时间
date +%F -d 3day
2021-11-28

# 显示5年前时间
date +%F -d -5year
2016-11-25

-----------

#方法二
# date +%F
2021-11-26
# date +%F -d "2 day hour"
2021-11-28
# date +%F -d "1 day ago"
2021-11-25

timedatectl # 查看日期时间、时区及NTP状态

timedatectl list-timezones # 查看时区列表

timedatectl set-timezone Asia/Shanghai # 修改时区

timedatectl set-time "2017-01-23 10:30:00" # 修改日期时间

timedatectl set-ntp true/false # 开启NTP