212 lines
8.6 KiB
Bash
212 lines
8.6 KiB
Bash
#!/usr/bin/env bash
|
||
# sync-prod-db-to-local.sh — 将线上(production)数据库同步到本地 Docker MySQL
|
||
#
|
||
# 原理：
|
||
# 1. 通过 SSH 隧道穿透到阿里云 RDS。生产 DB 主机通常只允许应用服务器访问，
|
||
# 本地开发机一般不在白名单，因此借道生产服务器 dukang-server 建立隧道。
|
||
# 2. 在本地 dukang-v1-mysql 容器内用 mysqldump 连接隧道端口，导出线上库。
|
||
# 3. 通过管道直接导入本地库（默认 dukang_haoke，即应用本地库名）。
|
||
# 4. 下列表不同步，保留本地数据（环境配置 / 密钥 / 大表日志等）：
|
||
# · 系统设置：system_config, common_wx_app_config
|
||
# · 企微机器人：wecom_bot, wecom_message_push, wecom_push_template,
|
||
# llm_api_config, knowledge_base, knowledge_document
|
||
# · OSS 资源库：common_resource
|
||
# · 日志：log_third_party, log_promo_event, log_user_analytics,
|
||
# log_store_analytics, log_partner_analytics, log_wecom_bot
|
||
# · 白名单：common_test_whitelist_phone, common_product_visibility_phone,
|
||
# store_visibility_phone
|
||
#
|
||
# 前置条件：
|
||
# - deploy.env 中 DEPLOY_HOST / DEPLOY_USER / DEPLOY_PORT 已配置且可无密码 SSH
|
||
# - 本地 docker compose 已启动（dukang-v1-mysql 容器监听 6016）
|
||
# - 远端 /opt/dukang/server/dukang-api/.env.production 含 DATABASE_URL
|
||
# - 本地已安装 docker（Windows 用 Docker Desktop，容器内自带 mysql 客户端）
|
||
#
|
||
# 用法：
|
||
# bash deploy/sync-prod-db-to-local.sh # 交互确认 + 先备份本地
|
||
# bash deploy/sync-prod-db-to-local.sh --yes # 跳过确认（仍先备份本地）
|
||
# bash deploy/sync-prod-db-to-local.sh --no-backup --yes
|
||
# bash deploy/sync-prod-db-to-local.sh --dry-run # 仅打印计划，不落库、不开隧道
|
||
# bash deploy/sync-prod-db-to-local.sh --help
|
||
#
|
||
set -euo pipefail
|
||
SCRIPT_DIR="$(cd "$(dirname "$0")" && pwd)"
|
||
cd "$SCRIPT_DIR"
|
||
|
||
# ---------------- 默认参数 ----------------
|
||
LOCAL_CONTAINER="dukang-v1-mysql"
|
||
LOCAL_DB="dukang_haoke"
|
||
LOCAL_ROOT_PASSWORD="root"
|
||
TUNNEL_PORT=6018
|
||
REMOTE_ENV_FILE="/opt/dukang/server/dukang-api/.env.production"
|
||
HOST_ALIAS="host.docker.internal" # 容器内访问宿主机（Docker Desktop 默认支持）
|
||
DO_BACKUP=1
|
||
ASSUME_YES=0
|
||
DRY_RUN=0
|
||
|
||
# 同步时保留本地数据的表（见文件头说明）
|
||
SYNC_EXCLUDE_TABLES=(
|
||
system_config
|
||
common_wx_app_config
|
||
wecom_bot
|
||
wecom_message_push
|
||
wecom_push_template
|
||
llm_api_config
|
||
knowledge_base
|
||
knowledge_document
|
||
common_resource
|
||
log_third_party
|
||
log_promo_event
|
||
log_user_analytics
|
||
log_store_analytics
|
||
log_partner_analytics
|
||
log_wecom_bot
|
||
common_test_whitelist_phone
|
||
common_product_visibility_phone
|
||
store_visibility_phone
|
||
)
|
||
|
||
# ---------------- 解析参数 ----------------
|
||
for arg in "$@"; do
|
||
case "$arg" in
|
||
--yes|-y) ASSUME_YES=1 ;;
|
||
--no-backup) DO_BACKUP=0 ;;
|
||
--dry-run) DRY_RUN=1 ;;
|
||
--help|-h) sed -n '3,39p' "$0"; exit 0 ;;
|
||
--tunnel-port=*) TUNNEL_PORT="${arg#*=}" ;;
|
||
--local-db=*) LOCAL_DB="${arg#*=}" ;;
|
||
--container=*) LOCAL_CONTAINER="${arg#*=}" ;;
|
||
--host-alias=*) HOST_ALIAS="${arg#*=}" ;;
|
||
*) echo "未知参数: $arg" >&2; exit 2 ;;
|
||
esac
|
||
done
|
||
|
||
# ---------------- 加载 deploy.env ----------------
|
||
if [[ -f deploy.env ]]; then
|
||
# shellcheck disable=SC1091
|
||
source deploy.env
|
||
fi
|
||
DEPLOY_HOST="${DEPLOY_HOST:?请在 deploy.env 配置 DEPLOY_HOST}"
|
||
DEPLOY_USER="${DEPLOY_USER:-root}"
|
||
DEPLOY_PORT="${DEPLOY_PORT:-22}"
|
||
SSH=(ssh -o StrictHostKeyChecking=accept-new -p "$DEPLOY_PORT")
|
||
if [[ -n "${DEPLOY_SSH_KEY:-}" ]]; then SSH+=(-i "$DEPLOY_SSH_KEY"); fi
|
||
TARGET="$DEPLOY_USER@$DEPLOY_HOST"
|
||
|
||
# ---------------- 读取并解析远端 DATABASE_URL ----------------
|
||
echo "==> 读取线上数据库配置 ($TARGET:$REMOTE_ENV_FILE)"
|
||
# 用服务端 new URL 解析（密码可能含 @ / : 等特殊字符），base64 回传避免 shell 转义问题
|
||
PARSED="$("${SSH[@]}" "$TARGET" bash -s <<'NODEEOF'
|
||
cat > /tmp/_parse_db.js <<'JSEOF'
|
||
const fs=require("fs");
|
||
const l=fs.readFileSync("/opt/dukang/server/dukang-api/.env.production","utf8").match(/^DATABASE_URL=(.*)$/m)[1].trim();
|
||
let u=l;
|
||
if((u[0]==='"'&&u[u.length-1]==='"')||(u[0]==="'"&&u[u.length-1]==="'"))u=u.slice(1,-1);
|
||
const U=new URL(u);
|
||
const b=s=>Buffer.from(s).toString("base64");
|
||
const path=U.pathname.replace(/^\//,"").split("?")[0];
|
||
process.stdout.write([b(decodeURIComponent(U.username)),b(U.hostname),U.port||"3306",b(path),b(decodeURIComponent(U.password))].join("|")+"\n");
|
||
JSEOF
|
||
node /tmp/_parse_db.js; rm -f /tmp/_parse_db.js
|
||
NODEEOF
|
||
)"
|
||
if [[ -z "$PARSED" ]]; then
|
||
echo "无法读取远端 DATABASE_URL，中止。" >&2; exit 1
|
||
fi
|
||
IFS='|' read -r _U _H _P _DB _PASS <<< "$PARSED"
|
||
REMOTE_USER="$(echo "$_U" | base64 -d)"
|
||
REMOTE_HOST="$(echo "$_H" | base64 -d)"
|
||
REMOTE_PORT="$_P"
|
||
REMOTE_DB="$(echo "$_DB" | base64 -d)"
|
||
REMOTE_PASS="$(echo "$_PASS" | base64 -d)"
|
||
echo " 线上库: $REMOTE_USER@$REMOTE_HOST:$REMOTE_PORT/$REMOTE_DB"
|
||
|
||
# ---------------- 检查本地容器 ----------------
|
||
if ! docker ps --format '{{.Names}}' | grep -qx "$LOCAL_CONTAINER"; then
|
||
echo "本地容器 $LOCAL_CONTAINER 未运行。请先执行: cd deploy && docker compose up -d" >&2
|
||
exit 1
|
||
fi
|
||
|
||
# ---------------- 打印计划 ----------------
|
||
echo
|
||
echo "同步计划:"
|
||
echo " 源(线上): $REMOTE_USER@$REMOTE_HOST:$REMOTE_PORT/$REMOTE_DB"
|
||
echo " 目标(本地): root@$LOCAL_CONTAINER:$LOCAL_DB (对外端口 6016)"
|
||
echo " 隧道: $TARGET -L $TUNNEL_PORT:$REMOTE_HOST:$REMOTE_PORT"
|
||
echo " 本地备份: $([[ $DO_BACKUP -eq 1 ]] && echo 是 || echo 否)"
|
||
echo " 保留本地（不同步）: ${#SYNC_EXCLUDE_TABLES[@]} 张表"
|
||
printf ' - %s\n' "${SYNC_EXCLUDE_TABLES[@]}"
|
||
if [[ $DRY_RUN -eq 1 ]]; then
|
||
echo "(dry-run) 已结束，未做任何修改。"
|
||
exit 0
|
||
fi
|
||
|
||
# ---------------- 确认 ----------------
|
||
if [[ $ASSUME_YES -ne 1 ]]; then
|
||
read -r -p "确认将【线上 $REMOTE_DB】覆盖同步到【本地 $LOCAL_DB】? [y/N] " ans
|
||
[[ "$ans" == "y" || "$ans" == "Y" ]] || { echo "已取消。"; exit 0; }
|
||
fi
|
||
|
||
# ---------------- 备份本地 ----------------
|
||
if [[ $DO_BACKUP -eq 1 ]]; then
|
||
mkdir -p backups
|
||
BK="backups/local-${LOCAL_DB}-$(date +%Y%m%d-%H%M%S).sql"
|
||
echo "==> 备份本地库到 $BK"
|
||
docker exec "$LOCAL_CONTAINER" mysqldump -uroot -p"$LOCAL_ROOT_PASSWORD" --single-transaction "$LOCAL_DB" > "$BK"
|
||
echo " 备份完成 ($(wc -c < "$BK") bytes)"
|
||
fi
|
||
|
||
# ---------------- 确保本地目标库存在 ----------------
|
||
docker exec "$LOCAL_CONTAINER" mysql -uroot -p"$LOCAL_ROOT_PASSWORD" \
|
||
-e "CREATE DATABASE IF NOT EXISTS \`$LOCAL_DB\` CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;"
|
||
|
||
# ---------------- 建立 SSH 隧道 ----------------
|
||
CTL="/tmp/sync-prod-db-$$.sock"
|
||
echo "==> 建立 SSH 隧道 $TARGET -L $TUNNEL_PORT:$REMOTE_HOST:$REMOTE_PORT"
|
||
"${SSH[@]}" -M -S "$CTL" -f -N -L "$TUNNEL_PORT:$REMOTE_HOST:$REMOTE_PORT" "$TARGET"
|
||
|
||
# 等待隧道就绪
|
||
ready=0
|
||
for i in 1 2 3 4 5 6 7 8 9 10; do
|
||
if docker exec -e "MYSQL_PWD=$REMOTE_PASS" "$LOCAL_CONTAINER" \
|
||
mysqladmin -h "$HOST_ALIAS" -P "$TUNNEL_PORT" -u "$REMOTE_USER" ping >/dev/null 2>&1; then
|
||
ready=1; break
|
||
fi
|
||
sleep 1
|
||
done
|
||
if [[ $ready -ne 1 ]]; then
|
||
echo "隧道未就绪，中止。" >&2
|
||
"${SSH[@]}" -S "$CTL" -O exit "$TARGET" 2>/dev/null || true
|
||
exit 1
|
||
fi
|
||
|
||
# ---------------- 同步（线上 -> 本地，管道直导） ----------------
|
||
IGNORE_TABLE_ARGS=()
|
||
for tbl in "${SYNC_EXCLUDE_TABLES[@]}"; do
|
||
IGNORE_TABLE_ARGS+=(--ignore-table="${REMOTE_DB}.${tbl}")
|
||
done
|
||
|
||
echo "==> 开始同步（管道直导，不落临时文件）"
|
||
echo " 提示：同步前建议本地 Prisma 已追平线上 schema（pnpm db:push 或迁移），否则可能因表结构差异报错。"
|
||
echo " 提示：${#SYNC_EXCLUDE_TABLES[@]} 张环境/配置表保留本地数据，不会被线上覆盖。"
|
||
set +e
|
||
docker exec -i -e "MYSQL_PWD=$REMOTE_PASS" "$LOCAL_CONTAINER" \
|
||
mysqldump -h "$HOST_ALIAS" -P "$TUNNEL_PORT" -u "$REMOTE_USER" \
|
||
--lock-tables=0 --add-drop-table --skip-triggers --no-create-db \
|
||
--skip-routines --skip-events --column-statistics=0 --no-tablespaces --set-gtid-purged=OFF \
|
||
"${IGNORE_TABLE_ARGS[@]}" \
|
||
"$REMOTE_DB" \
|
||
| docker exec -i "$LOCAL_CONTAINER" mysql -uroot -p"$LOCAL_ROOT_PASSWORD" "$LOCAL_DB"
|
||
RC=${PIPESTATUS[0]}
|
||
set -e
|
||
|
||
# ---------------- 关闭隧道 ----------------
|
||
"${SSH[@]}" -S "$CTL" -O exit "$TARGET" 2>/dev/null || true
|
||
|
||
if [[ $RC -ne 0 ]]; then
|
||
echo "同步失败 (mysqldump 退出码 $RC)。本地库可能处于不一致状态。" >&2
|
||
[[ $DO_BACKUP -eq 1 ]] && echo "请用备份恢复: $BK" >&2
|
||
exit 1
|
||
fi
|
||
echo "==> 同步完成 ✅ 本地 $LOCAL_DB 已同步线上业务数据（${#SYNC_EXCLUDE_TABLES[@]} 张配置/日志表保留本地）。"
|