redis sentinel 高可用（HA）方案部署，及python应用示例

󰃭 2017-06-17

简介

介绍 redis sentinel（哨兵）集群的部署，配置一主两从的redis集群，并通过 python 程序实例讲解通过 redis sentinel 访问集群

什么是哨兵（Sentinel）模式

Redis sentinel 为 Redis 集群提供了高可用解决方案，在集群出现故障的时候自动故障转移，保证集群的可用性

功能

  • 监控：检查主从实例否是正常工作
  • 通知：当 redis 实例出现错误的时候，可以使用程序（用 api 接口）通知管理员
  • 自动故障转移：在主服务器发生故障时，哨兵开启故障转移处理，提升一台从服务器成为主服务器，其他的从服务器被重新配置使用新的主服务器，当应用程序连接时使用新的地址配置
  • 配置信息：哨兵提供了认证和服务发现，客户端连接到哨兵去获取当前redis 主服务器地址，如果发生故障转移，哨兵将会汇报新的服务器地址

分布式系统

哨兵是一套分布式系统，它被设计成多个哨兵进程合作运行

  • 当多个哨兵认为 master 故障的时候，集群就会认定主服务器故障
  • 即使只有一个哨兵，它也能工作，系统具有较高的健壮性

哨兵，redis 实例，客户端在一起构成了一个大的分布式系统

配置方法

安装 3 台 redis 服务器，一主两从

  • 下载 redis 3.2 版本
  • 第1台修改 port: 10001
  • 第2台修改 port: 10002
  • 第3台修改 port: 10003

运行 redis 服务

# 首先设定第一个服务器为 master
redis-server /path/to/server1.conf

# 第二个为 slave
redis-server /path/to/server2.conf

# 第三个为 slave
redis-server /path/to/server3.conf

创建三份配置文件

创建三份哨兵的配置文件

# 第1个哨兵配置，端口为 10011
port 10011
sentinel monitor mymaster 127.0.0.1 10001 2
sentinel down-after-milliseconds mymaster 60000
sentinel auth-pass mymaster 1
sentinel failover-timeout mymaster 180000
sentinel parallel-syncs mymaster 1

# 第2个哨兵配置，端口为 10012
port 10012
sentinel monitor mymaster 127.0.0.1 10001 2
sentinel down-after-milliseconds mymaster 60000
sentinel auth-pass mymaster 1
sentinel failover-timeout mymaster 180000
sentinel parallel-syncs mymaster 1

# 第3个哨兵配置，端口为 10013
port 10013
sentinel monitor mymaster 127.0.0.1 10001 2
sentinel down-after-milliseconds mymaster 60000
sentinel auth-pass mymaster 1
sentinel failover-timeout mymaster 180000
sentinel parallel-syncs mymaster 1

哨兵配置说明

  1. 需要制定要监控的主服务器，给每一个要监控的主服务器一个不同的名字
  2. 从服务器可以自动发现，不需要指定
  3. 哨兵可以自动更新从服务器的配置
  4. 发生故障转移，从服务器被提升为主服务器的时候，或者新的哨兵被发现的时候，配置会被自动重写

哨兵配置格式与参数含义

配置格式：sentinel <选项的名字> <主服务器的名字> <选项的值>

  1. down-after-milliseconds: sentinel 任务服务器已经下线的毫秒数，redis 服务器没有在给定的毫秒数之内返回sentinel的Ping命令回复， 哨兵主观认为服务器已经下线（SDOWN），此时并不会进行故障转移，当足够数量的哨兵将服务器标志为主观下线时， 服务器被标记为客观下线（ODOWN)，执行故障转移
  2. parallel-syncs: 在执行故障转移时，最多可以有多少个从服务器同时从新的主服务器进行同步，数字越小，完成故障转移需要的时间越长

运行哨兵

redis-server /path/to/sentinel1.conf --sentinel

redis-server /path/to/sentinel2.conf --sentinel

redis-server /path/to/sentinel2.conf --sentinel

python 访问通过哨兵访问 redis 集群

安装 python redis 客户端

pip install redis

示例程序

#!/usr/bin/env python
from redis.sentinel import Sentinel

# 连接哨兵服务器
sentinel = Sentinel([('127.0.0.1', 10011),
                     ('127.0.0.1', 10012),
                     ('127.0.0.1', 10013)],
                    socket_timeout=0.1)

# 获取主服务器地址
sentinel.discover_master('mymaster')
# 输出：('127.0.0.1', 10001)

# 获取从服务器地址
sentinel.discover_slaves('mymaster')
# 输出：[('127.0.0.1', 10001), ('127.0.0.1', 10002), ('127.0.0.1', 10003)]

# 获取带密码的主服务器进行访问
master_pass = sentinel.master_for('mymaster', password=1, socket_timeout=0.1)

# 获取不带密码的主服务器进行写入
master = sentinel.master_for('mymaster', socket_timeout=0.1)

master.set('foo', 'bar')

# 获取从服务器进行读取（默认是round-roubin）
slave = sentinel.slave_for('mymaster', socket_timeout=0.1)
slave.get('foo')
# 输出：bar