*Redis 性能优化:慢查询、大 Key、内存与延迟排查
Redis 性能问题通常来自网络往返、慢命令、大键、内存不足、持久化 fork、复制或操作系统,而不是某一个通用配置参数。优化前应先记录延迟和指标,确认瓶颈,再一次只调整一个变量并复测。
*先建立性能基线
在业务低峰期记录以下信息,作为后续对比依据:
redis-cli INFO server
redis-cli INFO clients
redis-cli INFO memory
redis-cli INFO stats
redis-cli INFO persistence
redis-cli INFO replication
重点观察:
instantaneous_ops_per_sec:每秒处理的命令数。rejected_connections:因连接数限制而被拒绝的连接。evicted_keys:因内存上限被淘汰的键数量。keyspace_hits与keyspace_misses:用于计算缓存命中情况,但不同业务的正常命中率不同。used_memory、used_memory_rss:Redis 使用量和操作系统实际驻留内存。latest_fork_usec:最近一次持久化或复制相关fork的耗时。master_repl_offset与副本偏移:用于判断复制进度。
从客户端所在主机测量网络和服务延迟:
redis-cli --latency -h 127.0.0.1 -p 6379
redis-cli --latency-history -h 127.0.0.1 -p 6379
不要只看服务器本机结果;本机低延迟而远程高延迟时,应继续检查网络、连接池和客户端处理逻辑。
*定位慢命令
*使用慢查询日志
下面的配置将执行时间超过 10 毫秒的命令写入慢查询日志,最多保留 256 条。阈值只是示例,应按业务延迟目标调整:
slowlog-log-slower-than 10000
slowlog-max-len 256
查看记录:
redis-cli SLOWLOG GET 20
慢查询记录的是命令在服务器端的执行时间,不包含完整的网络传输和客户端排队时间。客户端感觉慢但慢查询没有记录时,应检查网络和连接等待。
*避免全量遍历和大结果集
KEYS * 会遍历整个键空间,SMEMBERS、HGETALL 等命令在大键上也会返回大量数据。生产环境应使用游标分批处理:
redis-cli SCAN 0 MATCH "user:*" COUNT 200
redis-cli HSCAN user:1000 0 COUNT 100
redis-cli SSCAN tags:post:1000 0 COUNT 100
COUNT 只是每次迭代的工作量提示,不保证返回固定数量。应用程序必须继续处理返回的新游标,直到游标为 0,并处理遍历期间数据变化带来的重复或遗漏。
*用 Pipeline 减少网络往返
import redis
r = redis.Redis(host="127.0.0.1", port=6379)
pipe = r.pipeline(transaction=False)
for i in range(1000):
pipe.set(f"key:{i}", f"value:{i}")
pipe.execute()
Pipeline 适合批量独立命令,但默认不提供事务隔离,也不应一次发送无限大的批次。应根据响应大小、内存和超时控制批量规模。需要事务语义时,应另外评估 MULTI/EXEC 或 Lua 脚本。
*处理大键与内存问题
*先确认键的实际开销
redis-cli MEMORY USAGE cache:product:1001
redis-cli --bigkeys
MEMORY USAGE 给出单个键及其值的内存估算;--bigkeys 通过采样帮助发现大键,不等于完整的全量审计。对于关键业务,可在可控扫描任务中按数据类型统计长度和内存。
删除大键时可评估 UNLINK,让实际释放工作异步执行:
redis-cli UNLINK cache:large-object
UNLINK 仍需计算删除操作并传递对象,不能消除所有开销。更根本的办法是拆分过大的集合、缩短历史数据生命周期或减少单次结果集。
*设置容量和淘汰策略
maxmemory 4gb
maxmemory-policy allkeys-lru
maxmemory 应为持久化、复制缓冲区、客户端输出缓冲区和进程碎片预留空间,不能简单设置为机器全部内存。allkeys-lru、volatile-lru、allkeys-lfu 等策略会影响哪些键可以被淘汰;需要长期保存的数据不应依赖会驱逐它的缓存策略。
小对象是否适合使用哈希,取决于字段数量、字段长度和内部编码阈值,不能笼统认为哈希一定更省内存。应使用目标数据样本测试 MEMORY USAGE 和总驻留内存。
*谨慎启用主动碎片整理
在支持的版本和内存分配器下,可以评估:
activedefrag yes
active-defrag-cycle-min 5
active-defrag-cycle-max 75
主动碎片整理会消耗 CPU 并访问内存。应根据 mem_fragmentation_ratio、实际 RSS、版本说明和压测结果决定是否开启,而不是把示例阈值直接复制到所有实例。
*评估持久化开销
RDB 和 AOF 重写都会涉及 fork 和写时复制。数据集较大、写入密集或系统内存紧张时,可能造成延迟尖峰和额外内存占用。
常见 AOF 配置:
appendonly yes
appendfsync everysec
everysec 通常在性能和持久性之间取得平衡,但主机故障时仍可能丢失约一秒的数据。不要把它描述为零数据丢失方案。应同时监控:
aof_rewrite_in_progress、aof_rewrite_scheduledaof_last_bgrewrite_statusrdb_bgsave_in_progress、rdb_last_bgsave_statuslatest_fork_usec- 磁盘写入延迟和可用空间
生产环境应保留备份并定期做恢复演练。性能优化不能替代恢复能力验证。
*复制、集群与连接
*读写分离要考虑旧数据
副本可用于只读查询,但复制默认是异步的,故障转移或复制延迟期间可能读到旧值。对实时一致性有要求的读取仍应访问主节点,或由业务明确接受延迟。
*控制连接和重试
客户端应复用连接或合理使用连接池,并为连接、命令和池等待分别设置超时。重试需要限制次数并加入随机退避,否则故障期间的大量同步重试可能进一步压垮服务。
不要盲目缩短 tcp-keepalive 或设置 timeout。空闲连接检测和主动断开策略应与客户端重连行为一起评估。
*分片不能消除单键热点
Redis Cluster 可以分散不同键的负载,但同一个热点键仍由单个槽和节点负责。热点问题需要从键拆分、本地缓存或请求合并等方面处理。
*操作系统检查
Linux 上常见的检查项包括:
- 透明大页(THP)是否导致 Redis 延迟或内存问题。
vm.overcommit_memory是否适合 Redis 的fork行为。- 文件描述符、连接跟踪和网络队列是否达到上限。
- 磁盘是否因 RDB/AOF 写入出现排队。
- 是否与其他高内存或高 CPU 服务争抢资源。
修改内核参数前应记录原值,并在相同版本和负载下压测。不同宿主机、容器和虚拟化环境的结论不能直接照搬。
*按症状排查
| 症状 | 优先检查 |
|---|---|
| 所有请求都变慢 | 网络、CPU、连接池等待、实例是否发生故障切换 |
| 周期性延迟尖峰 | RDB/AOF、fork、磁盘写入、定时任务和备份 |
| 某些命令特别慢 | SLOWLOG、命令复杂度、大键和返回数据量 |
| 内存持续增长 | 键数量与过期策略、大键、复制/客户端缓冲区、碎片 |
| 副本读取结果过旧 | 复制延迟、网络、副本负载和异步复制语义 |
| 故障时请求突然放大 | 重试风暴、缓存雪崩、连接重建和超时设置 |