postgres中统计多个数据库中指定表总行数shell脚本

postgres数据库中如统计N个数据库中users表数据总量

#!/bin/bash
#===============================================================================
# 脚本名称: count_db_users.sh
# 功能描述: 统计多个PostgreSQL数据库中用户表的用户总数
# 版本: 2.0
# 更新: 修复登录notice信息导致的解析错误
#===============================================================================

# 默认参数配置
DB_HOST="localhost"
DB_PORT="5432"
DB_USER="postgres"
DB_PASSWORD="xxx"
DATABASES=(test )
TABLE_NAME="users"
VERBOSE=0
OUTPUT_FILE=""
CONNECTION_TIMEOUT=10

# 颜色定义
RED='\033[0;31m'
GREEN='\033[0;32m'
YELLOW='\033[1;33m'
BLUE='\033[0;34m'
NC='\033[0m'

#===============================================================================
# 函数: 显示帮助信息
#===============================================================================
show_help() {
    cat << EOF
${BLUE}PostgreSQL 多数据库用户统计工具 v2.0${NC}

用法: $0 [选项]

选项:
    -h HOST        PostgreSQL主机地址 (默认: localhost)
    -p PORT        PostgreSQL端口 (默认: 5432)
    -U USER        数据库用户名 (默认: postgres)
    -d "DB1 DB2"   要统计的数据库列表 (空格分隔，必需)
    -t TABLE       表名 (默认: users)
    -P PASSWORD    数据库密码 (不推荐，建议使用.pgpass)
    -v             详细模式
    -o FILE        输出结果到文件
    -T TIMEOUT     连接超时时间(秒) (默认: 10)
    --help         显示此帮助信息

示例:
    $0 -h localhost -p 5432 -U postgres -d "db1 db2 db3"
    $0 -d "prod_db test_db" -t user_accounts -v
    $0 -d "db1 db2" -o result.txt

EOF
}

#===============================================================================
# 函数: 打印消息
#===============================================================================
print_info() {
    echo -e "${GREEN}[INFO]${NC} $1"
}

print_warn() {
    echo -e "${YELLOW}[WARN]${NC} $1"
}

print_error() {
    echo -e "${RED}[ERROR]${NC} $1"
    if [[ -n "$2" ]]; then
        echo -e "${RED}详情: $2${NC}"
    fi
}

#===============================================================================
# 函数: 构建psql命令
#===============================================================================
build_psql_command() {
    local db="$1"
    local query="$2"
    local options="-h $DB_HOST -p $DB_PORT -U $DB_USER -d $db"
    
    # 添加静默选项，抑制通知和警告信息
    options="$options -q --no-psqlrc -v ON_ERROR_STOP=1"
    
    # 设置客户端消息级别（不显示NOTICE信息）
    options="$options -c 'SET client_min_messages = warning;'"
    
    # 超时设置
    options="$options -c statement_timeout = ${CONNECTION_TIMEOUT}s"
    
    # 添加查询
    options="$options -t -A -c \"$query\""
    
    echo "$options"
}

#===============================================================================
# 函数: 执行psql查询并返回纯数据
#===============================================================================
execute_query() {
    local db="$1"
    local query="$2"
    local result
    local exit_code
    
    # 使用临时文件避免子shell问题
    local tmp_file=$(mktemp 2>/dev/null || mktemp -t tmp 2>/dev/null)
    local tmp_error=$(mktemp 2>/dev/null || mktemp -t tmp 2>/dev/null)
    
    # 构建命令 - 重定向stderr到临时文件
    if [[ -z "$DB_PASSWORD" ]]; then
        psql -h "$DB_HOST" -p "$DB_PORT" -U "$DB_USER" -d "$db" \
            -q --no-psqlrc \
            -v ON_ERROR_STOP=1 \
            -c "SET client_min_messages = warning;" \
            -c "SET statement_timeout = '${CONNECTION_TIMEOUT}s';" \
            -t -A -c "$query" \
            2>"$tmp_error" >"$tmp_file"
    else
        PGPASSWORD="$DB_PASSWORD" psql -h "$DB_HOST" -p "$DB_PORT" -U "$DB_USER" -d "$db" \
            -q --no-psqlrc \
            -v ON_ERROR_STOP=1 \
            -c "SET client_min_messages = warning;" \
            -c "SET statement_timeout = '${CONNECTION_TIMEOUT}s';" \
            -t -A -c "$query" \
            2>"$tmp_error" >"$tmp_file"
    fi
    
    exit_code=$?
    
    # 读取输出
    result=$(cat "$tmp_file" 2>/dev/null | tr -d '\r' | sed '/^$/d')
    local error_msg=$(cat "$tmp_error" 2>/dev/null)
    
    # 清理临时文件
    rm -f "$tmp_file" "$tmp_error" 2>/dev/null
    
    # 检查是否执行成功
    if [[ $exit_code -ne 0 ]]; then
        # 过滤掉NOTICE信息（这些是警告，不是致命错误）
        if [[ -n "$error_msg" ]] && [[ ! "$error_msg" =~ ^NOTICE: ]]; then
            echo "ERROR|$error_msg"
            return 1
        fi
    fi
    
    # 如果没有结果，返回空值
    if [[ -z "$result" ]] || [[ "$result" =~ ^[[:space:]]*$ ]]; then
        echo "0"
        return 0
    fi
    
    echo "$result"
    return 0
}

#===============================================================================
# 函数: 检查数据库连接
#===============================================================================
check_connection() {
    local db="$1"
    local result
    result=$(execute_query "$db" "SELECT 1" 2>/dev/null)
    
    if [[ $? -eq 0 ]] && [[ "$result" == "1" ]]; then
        return 0
    else
        return 1
    fi
}

#===============================================================================
# 函数: 检查表是否存在
#===============================================================================
check_table_exists() {
    local db="$1"
    local table="$2"
    local result
    
    # 转义表名中的特殊字符
    local safe_table=$(echo "$table" | sed "s/'/''/g")
    
    result=$(execute_query "$db" \
        "SELECT COUNT(*) FROM information_schema.tables \
         WHERE table_schema NOT IN ('information_schema', 'pg_catalog') \
         AND table_name = '$safe_table';" 2>/dev/null)
    
    # 检查结果是否为数字且大于0
    if [[ "$result" =~ ^[0-9]+$ ]] && [[ "$result" -gt 0 ]]; then
        return 0
    else
        return 1
    fi
}

#===============================================================================
# 函数: 统计单个数据库的用户数
#===============================================================================
count_users_in_db() {
    local db="$1"
    local table="$2"
    local count=0
    local status="成功"
    local error_msg=""
    
    # 转义表名
    local safe_table=$(echo "$table" | sed 's/"/""/g')
    
    # 检查连接
    if ! check_connection "$db"; then
        status="失败"
        error_msg="无法连接到数据库"
        echo "0|$status|$error_msg"
        return 1
    fi
    
    # 检查表是否存在
    if ! check_table_exists "$db" "$table"; then
        status="失败"
        error_msg="表 '$table' 不存在"
        echo "0|$status|$error_msg"
        return 1
    fi
    
    # 统计用户数 - 使用双引号包裹表名以支持大小写敏感
    local query="SELECT COUNT(*) FROM \"$safe_table\";"
    local result
    result=$(execute_query "$db" "$query")
    
    # 检查是否返回错误
    if [[ "$result" =~ ^ERROR\| ]]; then
        status="失败"
        error_msg="${result#ERROR|}"
        echo "0|$status|$error_msg"
        return 1
    fi
    
    # 提取数字
    if [[ "$result" =~ ^[0-9]+$ ]]; then
        count="$result"
    else
        status="失败"
        error_msg="返回非数字结果: $result"
        echo "0|$status|$error_msg"
        return 1
    fi
    
    echo "$count|$status|"
    return 0
}

#===============================================================================
# 函数: 解析命令行参数
#===============================================================================
parse_arguments() {
    while [[ $# -gt 0 ]]; do
        case $1 in
            -h)
                DB_HOST="$2"
                shift 2
                ;;
            -p)
                DB_PORT="$2"
                shift 2
                ;;
            -U)
                DB_USER="$2"
                shift 2
                ;;
            -d)
                shift
                while [[ $# -gt 0 && ! "$1" =~ ^- ]]; do
                    DATABASES+=("$1")
                    shift
                done
                ;;
            -t)
                TABLE_NAME="$2"
                shift 2
                ;;
            -P)
                DB_PASSWORD="$2"
                shift 2
                ;;
            -T)
                CONNECTION_TIMEOUT="$2"
                shift 2
                ;;
            -v)
                VERBOSE=1
                shift
                ;;
            -o)
                OUTPUT_FILE="$2"
                shift 2
                ;;
            --help)
                show_help
                exit 0
                ;;
            *)
                print_error "未知参数: $1"
                show_help
                exit 1
                ;;
        esac
    done
    
    if [[ ${#DATABASES[@]} -eq 0 ]]; then
        print_error "未指定数据库列表！请使用 -d 参数指定至少一个数据库。"
        show_help
        exit 1
    fi
}

#===============================================================================
# 函数: 输出格式化结果
#===============================================================================
output_result() {
    local total=0
    local db_count=${#DATABASES[@]}
    local success_count=0
    local result_lines=()
    
    # 构建表头
    local header="| 序号 | 数据库名 | 用户数量 | 状态 | 备注 |"
    local separator="|------|----------|----------|------|------|"
    
    if [[ -n "$OUTPUT_FILE" ]]; then
        {
            echo "PostgreSQL 多数据库用户统计报告"
            echo "=================================="
            echo "统计时间: $(date '+%Y-%m-%d %H:%M:%S')"
            echo "主机: $DB_HOST:$DB_PORT"
            echo "数据库用户: $DB_USER"
            echo "表名: $TABLE_NAME"
            echo "数据库列表: ${DATABASES[*]}"
            echo ""
            echo "$header"
            echo "$separator"
        } >> "$OUTPUT_FILE"
    else
        print_info "开始统计 ${#DATABASES[@]} 个数据库..."
        echo ""
    fi
    
    # 遍历统计每个数据库
    local index=1
    for db in "${DATABASES[@]}"; do
        if [[ "$VERBOSE" -eq 1 ]]; then
            echo -ne "${BLUE}正在统计数据库 '$db'...${NC} "
        fi
        
        local result
        result=$(count_users_in_db "$db" "$TABLE_NAME")
        local count=$(echo "$result" | cut -d'|' -f1)
        local status=$(echo "$result" | cut -d'|' -f2)
        local error_msg=$(echo "$result" | cut -d'|' -f3-)
        
        # 清理可能的多余字符
        count=$(echo "$count" | tr -d '[:space:]')
        status=$(echo "$status" | tr -d '[:space:]')
        error_msg=$(echo "$error_msg" | head -c 50)  # 截断过长的错误信息
        
        # 构建输出行
        local line="| $index | $db | $count | $status | $error_msg |"
        result_lines+=("$line")
        
        # 累积总数
        if [[ "$status" == "成功" ]]; then
            total=$((total + count))
            success_count=$((success_count + 1))
            if [[ "$VERBOSE" -eq 1 ]]; then
                echo -e "${GREEN}✓ 用户数: $count${NC}"
            fi
        else
            if [[ "$VERBOSE" -eq 1 ]]; then
                echo -e "${RED}✗ 失败: $error_msg${NC}"
            fi
        fi
        
        if [[ -n "$OUTPUT_FILE" ]]; then
            echo "$line" >> "$OUTPUT_FILE"
        fi
        
        index=$((index + 1))
    done
    
    # 显示汇总结果
    echo ""
    if [[ -n "$OUTPUT_FILE" ]]; then
        {
            echo "$separator"
            echo ""
            echo "统计汇总"
            echo "--------"
            echo "总数据库数: $db_count"
            echo "成功统计: $success_count"
            echo "失败: $((db_count - success_count))"
            echo "用户总数: $total"
            echo ""
            echo "报告已保存至: $OUTPUT_FILE"
        } >> "$OUTPUT_FILE"
        print_info "报告已保存至: $OUTPUT_FILE"
    fi
    
    # 控制台输出
    echo "$header"
    echo "$separator"
    for line in "${result_lines[@]}"; do
        echo "$line"
    done
    echo "$separator"
    echo ""
    echo "${BLUE}统计汇总${NC}"
    echo "总数据库数: $db_count"
    echo "成功统计: $success_count"
    echo "失败: $((db_count - success_count))"
    echo -e "${GREEN}用户总数: $total${NC}"
}

#===============================================================================
# 主程序
#===============================================================================
main() {
    # 解析参数
    parse_arguments "$@"
    
    # 显示配置信息
    if [[ "$VERBOSE" -eq 1 ]]; then
        print_info "配置信息"
        echo "  主机: $DB_HOST"
        echo "  端口: $DB_PORT"
        echo "  用户: $DB_USER"
        echo "  超时: ${CONNECTION_TIMEOUT}s"
        echo "  数据库: ${DATABASES[*]}"
        echo "  表名: $TABLE_NAME"
        echo ""
    fi
    
    # 执行统计
    output_result
}

# 调用主程序
main "$@"