Shell Programming Techs I
记录阅读 MAGMA 源码时，遇到的一些高级shell编程技巧
Set
设置环境变量
set -a # 激活 Shell 的 allexport 模式。当 allexport 模式启用时，所有定义的变量（包括后续加载的变量）都会自动导出为环境变量。
source "$1" # 加载配置文件，将其中定义的变量和命令导入当前 Shell 环境。
set +a # 关闭 allexport 模式。
设置shell变量
MAGMA=${MAGMA:-"$(cd "$(dirname "${BASH_SOURCE[0]}")/../../" >/dev/null 2>&1 && pwd)"}
${MAGMA:-value}: 表示如果环境变量 MAGMA 已经被定义，则保留其原值。如果 MAGMA 未被定义，则设置为后面指定的值。
$(...): 用于命令替换，表示运行括号中的命令并将其输出结果赋值给变量。
dirname "${BASH_SOURCE[0]}": 返回当前脚本文件所在的目录。${BASH_SOURCE[0]} 是当前脚本文件的路径。
>/dev/null 2>&1: 将标准输出重定向到 /dev/null，抑制命令的标准输出和错误输出。2>表示重定向标准错误。&1表示将标准错误的输出流合并到标准输出流中。避免命令的输出污染终端显示。仅判断命令是否执行成功（通过 $? 查看退出状态），不关心输出内容。
相应的有，&> /dev/null 抑制输出，避免干扰。
Operation
获取CPU列表
WORKERS_ALL=($(lscpu -b -p | sed '/^#/d' | sort -u -t, -k ${WORKER_MODE}g | cut -d, -f1))
lscpu -b -p: 列出 CPU 的简洁信息，以逗号分隔。
sed '/^#/d': 删除以 # 开头的注释行。
sort -u -t, -k ${WORKER_MODE}g: 按第 WORKER_MODE 列对数据进行排序并去重。
cut -d, -f1: 提取第一个字段（CPU 核心编号）。
(...): 将命令的输出分割为多个元素（基于空白符）。
确保绝对路径
WORKDIR="$(realpath "$WORKDIR")"
双引号用于避免路径中可能包含的空格或特殊字符导致问题。
$() 用于捕获子命令的输出。
安全删除文件
shopt -s nullglob # shopt 是 Bash 的一个内建命令，用于启用或禁用 shell 选项。nullglob 是一个特定的 shell 选项，其作用是控制文件名通配符（如 *）在没有匹配文件时的行为。启用时，文件名通配符在没有匹配文件时返回空字符串。启用 nullglob 确保目录 $LOCKDIR 中没有匹配文件时，通配符 * 不会被当作字符串 *，而是返回空。
rm -f "$LOCKDIR"/* # 如果 $LOCKDIR 是空目录，启用了 nullglob 的情况下，* 返回空，rm 不会执行删除操作，也不会报错。
shopt -u nullglob # 关闭 nullglob 后恢复 Bash 的默认行为，即文件名通配符在没有匹配文件时不返回空，而是原样保留。
排序操作
cids=($(sort -n < <(basename -a "${campaigns[@]}")))
sort -n: 按数字排序这些基名。
< <(...): 将子命令的输出重定向为标准输入流。
导出函数
export -f get_next_cid # 将函数导出为当前 shell 的子进程可用（例如在 bash 脚本或其他子 shell 中调用）。
清理临时文件
trap 'rm -f "$LOCKDIR/$mux"' EXIT
trap: 设置退出时的清理动作。捕获 EXIT 信号，当脚本或函数退出时（无论正常还是异常退出），都会执行指定命令。
移除参数
shift # 使用 shift 移除第一个参数，将后续参数（命令及其参数）从 $2..N 调整为 $1..N。
创建子shell
(
flock -xF 200 &> /dev/null
"${@}"
) 200>"$LOCKDIR/$mux"
使用 () 启动一个子 shell，确保锁的范围仅限于当前子 shell。
flock 是一个用于管理文件锁的工具。-x: 获取排他锁（独占锁），确保同一时间只有一个进程持有该锁。-F: 强制刷新文件，如果文件描述符无法获取锁时立即返回（不会阻塞）。
200>"$LOCKDIR/$mux" 将文件描述符 200 定向到 $LOCKDIR/$mux，该文件用于作为锁标识。
"${@}" 运行给定命令，@ 是传递给 mutex 函数的命令及其参数。
失败处理
|| if [ $? -eq $errno_lock ]; then
continue
fi
$? 表示前一个命令的退出状态码。
文件操作：防止覆盖已有文件
set -o noclobber # 确保文件创建是原子的（即如果文件已存在则创建失败）。
cut: 一个用于从文本中按字段或字符位置提取数据的工具
cut -d',' -f2- <<< $WORKERSET
# example
cut -d',' -f2- <<< "a,b,c"
echo "a,b,c" | cut -d',' -f2- # equivalent command
# output: a b c
-d',': 指定逗号 , 为字段分隔符。
-f2-: 提取从第 2 个字段开始的所有字段。
后台任务处理
for job in `jobs -p`; do
if ! wait $job; then
continue
fi
done
jobs -p 列出当前 Shell 中的所有后台任务的进程 ID（PID）。
wait $job 等待后台任务完成。如果任务成功完成，wait 返回 0；否则返回非零状态码。
遍历目录下所有文件
find "$LOCKDIR" -type f | while read lock; do
if inotifywait -qq -e delete_self "$lock" &> /dev/null; then
continue
fi
done
find "$LOCKDIR" -type f 找出 $LOCKDIR 所有文件
while read lock 逐个遍历文件设为 lock
变量获取
set -- "DEFAULT" "${@:2}"
set -- "${@:2}" # 删除第一个参数（包括 DEFAULT），使用剩余参数。
"DEFAULT" 替换第一个参数，生成新的参数列表。"${@:2}" 代表原参数的第 2 个及之后的部分。
Array
数组切片
WORKER_POOL="${WORKERS_ALL[@]:0:WORKERS}"
[@] 表示操作数组的所有元素。如果只用 ${#WORKERS_ALL}，则表示字符串长度，而不是数组元素数量。${#array[@]} 语法只能用于明确声明为数组的变量。
[@]:start:length 是 Bash 中的数组切片语法，用于提取数组的一部分。start 表示起始索引（从 0 开始），length 表示要提取的元素个数。
"${...}" 将数组切片的结果（即前 WORKERS 个元素）合并成一个字符串，元素之间用空格分隔。
使用 read 将字符串解析为数组
IFS=',' # 设置字段分隔符
read -a workers <<< "$AFFINITY"
read -a: 读取输入并将其存储为一个数组。
<<< 是 Here String 的语法，用于将一个字符串作为命令的标准输入。
数组定义与解引用
name="${name}[@]" # 将变量名作为数组处理
value="${!name}" # 间接引用变量 name 的值
Functions
将传入的参数用指定分隔符连接成一个字符串
function join_by { local IFS="$1"; shift; echo "$*"; } # 定义分隔符为"$1"，移除第一个参数，打印每个参数
pattern=$(join_by _ "${@}") # ${@} 包含传入的所有参数