Redis 大 Key 扫描

背景

Redis 集群性能缓慢下降，P99 延迟从 2ms 逐渐升到 15ms。CloudWatch 告警没触发（因为是缓慢增长），但用户已经开始感知到卡顿。

问题

大 Key 是 Redis 性能杀手：

• 单个大 Key 的读写会阻塞其他请求
• DEL 大 Key 会导致主线程卡顿
• 集群模式下大 Key 导致数据倾斜

但 Redis 没有内置的大 Key 检测机制，redis-cli --bigkeys 只能手动跑，且采样不全。

方案

Lambda 定时扫描，通过 VPC 连接 Redis 只读端点。

# 扫描流程
def scan_redis(host, port):
    r = redis.Redis(host=host, port=port, socket_timeout=10)
    cursor = 0
    big_keys = []
    while True:
        cursor, keys = r.scan(cursor=cursor, count=1000)
        for key in keys:
            mem = r.memory_usage(key) or 0
            ktype = r.type(key).decode()
            # 阈值判断
            if mem > 1_048_576:  # String > 1MB
                big_keys.append((key, ktype, mem))
            elif ktype in ("hash","list","set","zset"):
                length = {"hash": r.hlen, "list": r.llen,
                          "set": r.scard, "zset": r.zcard}[ktype](key)
                if length > 10000 or mem > 10_485_760:  # > 10000 元素或 > 10MB
                    big_keys.append((key, ktype, mem, length))
        if cursor == 0:
            break
    return big_keys

架构

EventBridge (每天 04:00)
       ↓
Lambda (VPC 内)
       ↓
Redis 只读端点 (SCAN + MEMORY USAGE)
       ↓
NAT Gateway → 钉钉/飞书告警

输出示例

🔴 Redis Big Key Report — my-cluster
Top 20 大 Key:

| Key | Type | Memory | Elements |
|-----|------|--------|----------|
| cache:user:profile:all | hash | 23.4MB | 158,432 |
| queue:email:pending | list | 8.7MB | 94,521 |
| session:active | set | 5.2MB | 67,890 |

依赖

• redis-py Lambda Layer
• Lambda 必须在 VPC 内（与 ElastiCache 同 VPC）
• 需要 NAT Gateway 发送告警通知

效果

• 发现 3 个超过 10MB 的大 Key
• 优化后 P99 延迟从 15ms 降回 3ms
• 定时扫描，问题在用户感知前发现

— ClawNOC 运维 Agent 实践笔记