*Redis 性能优化:慢查询、大 Key、内存与延迟排查

Redis 性能问题通常来自网络往返、慢命令、大键、内存不足、持久化 fork、复制或操作系统,而不是某一个通用配置参数。优化前应先记录延迟和指标,确认瓶颈,再一次只调整一个变量并复测。

*先建立性能基线

在业务低峰期记录以下信息,作为后续对比依据:

redis-cli INFO server
redis-cli INFO clients
redis-cli INFO memory
redis-cli INFO stats
redis-cli INFO persistence
redis-cli INFO replication

重点观察:

  • instantaneous_ops_per_sec:每秒处理的命令数。
  • rejected_connections:因连接数限制而被拒绝的连接。
  • evicted_keys:因内存上限被淘汰的键数量。
  • keyspace_hits 与 keyspace_misses:用于计算缓存命中情况,但不同业务的正常命中率不同。
  • used_memory、used_memory_rss:Redis 使用量和操作系统实际驻留内存。
  • latest_fork_usec:最近一次持久化或复制相关 fork 的耗时。
  • master_repl_offset 与副本偏移:用于判断复制进度。

从客户端所在主机测量网络和服务延迟:

redis-cli --latency -h 127.0.0.1 -p 6379
redis-cli --latency-history -h 127.0.0.1 -p 6379

不要只看服务器本机结果;本机低延迟而远程高延迟时,应继续检查网络、连接池和客户端处理逻辑。

*定位慢命令

*使用慢查询日志

下面的配置将执行时间超过 10 毫秒的命令写入慢查询日志,最多保留 256 条。阈值只是示例,应按业务延迟目标调整:

slowlog-log-slower-than 10000
slowlog-max-len 256

查看记录:

redis-cli SLOWLOG GET 20

慢查询记录的是命令在服务器端的执行时间,不包含完整的网络传输和客户端排队时间。客户端感觉慢但慢查询没有记录时,应检查网络和连接等待。

*避免全量遍历和大结果集

KEYS * 会遍历整个键空间,SMEMBERS、HGETALL 等命令在大键上也会返回大量数据。生产环境应使用游标分批处理:

redis-cli SCAN 0 MATCH "user:*" COUNT 200
redis-cli HSCAN user:1000 0 COUNT 100
redis-cli SSCAN tags:post:1000 0 COUNT 100

COUNT 只是每次迭代的工作量提示,不保证返回固定数量。应用程序必须继续处理返回的新游标,直到游标为 0,并处理遍历期间数据变化带来的重复或遗漏。

*用 Pipeline 减少网络往返

import redis

r = redis.Redis(host="127.0.0.1", port=6379)
pipe = r.pipeline(transaction=False)
for i in range(1000):
    pipe.set(f"key:{i}", f"value:{i}")
pipe.execute()

Pipeline 适合批量独立命令,但默认不提供事务隔离,也不应一次发送无限大的批次。应根据响应大小、内存和超时控制批量规模。需要事务语义时,应另外评估 MULTI/EXEC 或 Lua 脚本。

*处理大键与内存问题

*先确认键的实际开销

redis-cli MEMORY USAGE cache:product:1001
redis-cli --bigkeys

MEMORY USAGE 给出单个键及其值的内存估算;--bigkeys 通过采样帮助发现大键,不等于完整的全量审计。对于关键业务,可在可控扫描任务中按数据类型统计长度和内存。

删除大键时可评估 UNLINK,让实际释放工作异步执行:

redis-cli UNLINK cache:large-object

UNLINK 仍需计算删除操作并传递对象,不能消除所有开销。更根本的办法是拆分过大的集合、缩短历史数据生命周期或减少单次结果集。

*设置容量和淘汰策略

maxmemory 4gb
maxmemory-policy allkeys-lru

maxmemory 应为持久化、复制缓冲区、客户端输出缓冲区和进程碎片预留空间,不能简单设置为机器全部内存。allkeys-lru、volatile-lru、allkeys-lfu 等策略会影响哪些键可以被淘汰;需要长期保存的数据不应依赖会驱逐它的缓存策略。

小对象是否适合使用哈希,取决于字段数量、字段长度和内部编码阈值,不能笼统认为哈希一定更省内存。应使用目标数据样本测试 MEMORY USAGE 和总驻留内存。

*谨慎启用主动碎片整理

在支持的版本和内存分配器下,可以评估:

activedefrag yes
active-defrag-cycle-min 5
active-defrag-cycle-max 75

主动碎片整理会消耗 CPU 并访问内存。应根据 mem_fragmentation_ratio、实际 RSS、版本说明和压测结果决定是否开启,而不是把示例阈值直接复制到所有实例。

*评估持久化开销

RDB 和 AOF 重写都会涉及 fork 和写时复制。数据集较大、写入密集或系统内存紧张时,可能造成延迟尖峰和额外内存占用。

常见 AOF 配置:

appendonly yes
appendfsync everysec

everysec 通常在性能和持久性之间取得平衡,但主机故障时仍可能丢失约一秒的数据。不要把它描述为零数据丢失方案。应同时监控:

  • aof_rewrite_in_progress、aof_rewrite_scheduled
  • aof_last_bgrewrite_status
  • rdb_bgsave_in_progress、rdb_last_bgsave_status
  • latest_fork_usec
  • 磁盘写入延迟和可用空间

生产环境应保留备份并定期做恢复演练。性能优化不能替代恢复能力验证。

*复制、集群与连接

*读写分离要考虑旧数据

副本可用于只读查询,但复制默认是异步的,故障转移或复制延迟期间可能读到旧值。对实时一致性有要求的读取仍应访问主节点,或由业务明确接受延迟。

*控制连接和重试

客户端应复用连接或合理使用连接池,并为连接、命令和池等待分别设置超时。重试需要限制次数并加入随机退避,否则故障期间的大量同步重试可能进一步压垮服务。

不要盲目缩短 tcp-keepalive 或设置 timeout。空闲连接检测和主动断开策略应与客户端重连行为一起评估。

*分片不能消除单键热点

Redis Cluster 可以分散不同键的负载,但同一个热点键仍由单个槽和节点负责。热点问题需要从键拆分、本地缓存或请求合并等方面处理。

*操作系统检查

Linux 上常见的检查项包括:

  • 透明大页(THP)是否导致 Redis 延迟或内存问题。
  • vm.overcommit_memory 是否适合 Redis 的 fork 行为。
  • 文件描述符、连接跟踪和网络队列是否达到上限。
  • 磁盘是否因 RDB/AOF 写入出现排队。
  • 是否与其他高内存或高 CPU 服务争抢资源。

修改内核参数前应记录原值,并在相同版本和负载下压测。不同宿主机、容器和虚拟化环境的结论不能直接照搬。

*按症状排查

症状 优先检查
所有请求都变慢 网络、CPU、连接池等待、实例是否发生故障切换
周期性延迟尖峰 RDB/AOF、fork、磁盘写入、定时任务和备份
某些命令特别慢 SLOWLOG、命令复杂度、大键和返回数据量
内存持续增长 键数量与过期策略、大键、复制/客户端缓冲区、碎片
副本读取结果过旧 复制延迟、网络、副本负载和异步复制语义
故障时请求突然放大 重试风暴、缓存雪崩、连接重建和超时设置

相关文档:内存优化、延迟监控、持久化、性能测试。