Nginx通过共享内存+原子操作实现Worker间计数器与缓存元数据一致性:master分配匿名共享内存,worker用偏移量访问;计数器用ngx_atomic_t类型及CPU原子指令;缓存仅存元数据,响应体另存;需规范配置zone、合理估算容量。

Nginx 多进程架构下,计数器与缓存的跨 Worker 一致性不靠进程通信,而是靠共享内存(shared memory)+ 原子操作实现。本质是让所有 Worker 映射同一块物理内存,再用轻量级同步机制保障安全读写。
共享内存是基础载体,不是自动同步的魔法
Nginx 的 master 进程在启动时调用 mmap(MAP_SHARED | MAP_ANONYMOUS) 分配一块匿名共享内存,fork 出的每个 worker 进程都会继承该映射。虽然各 worker 的虚拟地址可能不同,但 Nginx 内部统一用偏移量(offset)定位字段,避免指针失效。这块内存生命周期由 master 管理,worker 退出不会释放,reload 时默认清空(除非 zone 定义未变)。
计数器依赖原子操作,避免锁竞争
高频更新的整数型状态(如请求数、失败次数、连接数)必须用 ngx_atomic_t 类型变量,底层调用 CPU 原语(如 x86 的 LOCK XADD),全程用户态完成,无上下文切换开销。
- 限流模块
limit_req_zone中的令牌桶计数器就是典型例子:每个$binary_remote_addr对应一个节点,计数字段为ngx_atomic_uint_t,Worker 直接原子增减; - stub_status 指标(如
nginx_stub_status_active)也用原子累加,各 worker 并发更新不丢值; - 切忌直接用 C 语言
counter++或 Lua 中多次incr()同一 key——前者非原子,后者若在单次请求中反复调用会因精度截断导致统计偏低。
缓存元数据放共享内存,响应体另存
Nginx 不把完整响应体放进共享内存,而是将缓存的“控制信息”放入:
-
proxy_cache或fastcgi_cache的 key 索引、过期时间、状态标记(valid/expired)等元数据存在共享内存中,减少磁盘或文件系统查找; - SSL session 缓存(
ssl_session_cache shared:SSL:50m)存储会话 ID 与加密参数,复用时只需查共享区,无需重建握手; - 所有缓存条目通过 slab 分配器管理,插入/删除需短暂加
ngx_shmtx_t自旋锁,临界区极短(仅操作红黑树节点或哈希桶)。
配置必须规范,否则形同虚设
- 共享内存 zone 必须在
http块顶层唯一声明,例如limit_req_zone $binary_remote_addr zone=perip:10m rate=1r/s;,重复定义或分散在多个 server 块里会导致行为不可控; - 禁用
none或off类选项,否则退化为各 worker 私有副本; - 容量要按实际压力估算:QPS × 平均存活秒数 × 0.5KB,比如 2000 QPS、session timeout 600 秒,至少需要 600MB,10m 默认值远远不够;
- Lua 场景下用
lua_shared_dict counter_dict 5m;配合dict:incr("key", 1),底层已封装原子逻辑,无需手动加锁。
不复杂但容易忽略









