Redis集群模式（主从复制、哨兵模式、集群）概述及部署

news/2024/7/7 20:29:46

文章目录

  • Redis 集群模式
    • Redis群集的介绍
  • Redis主从复制
    • Redis主从复制的概念
    • Redis主从复制的作用
    • Redis主从复制的流程
    • Redis主从复制的搭建
      • 环境配置/安装包
      • 安装Redis（所有主机）
      • 修改master的配置文件（192.168.80.10）
      • 修改slave节点配置文件（192.168.80.20、192.168.80.30）
      • 验证主从效果
  • Redis哨兵模式
    • 哨兵模式的原理
    • 哨兵模式主要功能
    • 哨兵模式下的故障迁移
    • 哨兵模式的搭建
      • 环境配置
      • 修改Redis配置文件（所有节点操作）
      • 启动哨兵模式
      • 故障模拟
      • 验证结果
  • Redis 群集模式
    • 集群的作用
    • 搭建Redis群集模式
    • 环境搭建
      • 所有节点都要配置
      • Master节点上的配置（192.168.80.10）
      • 其他节点（出了master1节点）
      • 所有节点的配置

Redis 集群模式

redis群集有三种模式，分别是主从同步/复制、哨兵模式、Cluster

在Redis中，实现高可用的技术主要包括持久化、主从复制、哨兵和集群

持久化
持久化是最简单的高可用方法（有时甚至被归为高可用的手段），主要作用是数据备份，即将数据存储在硬盘，保证数据不会因进程退出而丢失

主从复制
主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。

缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力收到单机的限制

哨兵
在主从复制的基础上，哨兵实现了自动化的故障恢复

缺陷：写操作无法负载均衡；存储能力受到单机的限制

集群
通过集群，Redis解决了写操作无法负载均衡，以及存储能力受到单机限制的问题，实现了较为完善的高可用方案

Redis群集的介绍

1、redis是一个开源的key
value存储系统，受到了广大互联网公司的青睐。redis3.0版本之前只支持单例模式，在3.0版本及以后才支持集群
redis集群采用p2p模式，是完全去中心化的，不存在中心节点或者代理节点
==2、为了实现集群的高可用，即判断节点是否健康（能否正常使用），redis-cluster有一个投票容错机制：判断集群是否正常

如果集群中任意一个节点挂掉，而且节点没有从节点（备份节点），那么这个集群就挂了。这是判断集群是否挂了的方法

那么为什么任意一个节点挂了（没有从节点）这个集群就挂了

因为集群内置了16384个slot（哈希槽），并且把所有的物理节点映射到了这16384[0-16383]个slot上，或者说把这些slot均等的分配给了各个节点。当需要在Redis集群存放一个数据（key-value）时，redis会先对这个key进行crc16算法，然后得到一个结果。再把这个结果对16384进行求余，这个余数会对应[0-16383]其中一个槽，进而决定key-value存储到哪个节点中。所以一旦某个节点挂了，该节点对应的slot就无法使用，那么就会导致集群无法正常工作

示例（三个节点）
节点A覆盖0-5460
节点B覆盖5461-10922
节点C覆盖10923-16383
即每个节点有5460个哈希槽

新增一个节点：
节点A覆盖1365-5460
节点B覆盖6827-10922
节点C覆盖12288-16383
节点D覆盖0-1364，5461-6826，10923-12287
即，每个节点有4095个哈希槽

Redis主从复制

Redis主从复制的概念

通过持久化功能，redis保证了即使在服务器重启的情况下也不会丢失（或少量丢失）数据，因为持久化会把内存中的数据保存到硬盘上，重启会从硬盘上加载数据，但是由于数据是存储在一台服务器上的，如果这台服务器出现硬盘故障等问题，也会导致数据丢失。为了避免单点故障，通常的做法是将数据库复制多个副本以部署在不同的服务器上，这样即使有一台服务器出现故障，其他服务器依然可以继续提供服务，为此，redis提供了复制(replication)功能，可以实现当一台数据库中的数据更新后，自动将更新的数据同步到其他数据库上。

在复制的概念中，数据库分为两类，一类是主数据库(master)，另一类是从数据（slave)。主数据可以进行读写操作，当写操作导致数据变化时会自动将数据同步给从数据库，而从数据库一般是只读的，并接受主数据同步过来的数据。一个主数据库可以拥有多个从数据库，而一个从数据库只能拥有一个主数据库

Redis主从复制的作用

●数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。

●故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余。

●负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。

●高可用基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。

Redis主从复制的流程

●【1】若启动一个Slave机器进程，则它会向Master机器发送一个“sync command”命令，请求同步连接。

●【2】无论是第一次连接还是重新连接，Master机器都会启动一个后台进程，将数据快照保存到数据文件中（执行rdb操作），同时Master还会记录修改数据的所有命令并缓存在数据文件中。

●【3】后台进程完成缓存操作之后，Maste机器就会向Slave机器发送数据文件，Slave端机器将数据文件保存到硬盘上，然后将其加载到内存中，接着Master机器就会将修改数据的所有操作一并发送给Slave端机器。若Slave出现故障导致宕机，则恢复正常后会自动重新连接。

●【4】Master机器收到Slave端机器的连接后，将其完整的数据文件发送给Slave端机器，如果Mater同时收到多个Slave发来的同步请求，则Master会在后台启动一个进程以保存数据文件，然后将其发送给所有的Slave端机器，确保所有的Slave端机器都正常。

Redis主从复制的搭建

环境配置/安装包

安装包连接redis-5.0.7.tar.gz

主机操作系统IP地址软件 / 安装包 / 工具
MasterCentOS7192.168.80.10redis-5.0.7.tar.gz
Slave1CentOS7192.168.80.20redis-5.0.7.tar.gz
Slave2CentOS7192.168.80.30redis-5.0.7.tar.gz

安装Redis（所有主机）

systemctl stop firewalld
setenforce 0

yum install -y gcc gcc-c++ make

tar zxvf redis-5.0.7.tar.gz -C /opt/

cd /opt/redis-5.0.7/
make && make PREFIX=/usr/local/redis install

cd /opt/redis-5.0.7/utils
./install_server.sh

回车四次，下一步需要手动输入

Please select the redis executable path [] /usr/local/redis/bin/redis-server  	

ln -s /usr/local/redis/bin/* /usr/local/bin/

三台服务器都是一样安装

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意：一定要将redis/bin目录下的命令，让系统识别

修改master的配置文件（192.168.80.10）

vim /etc/redis/6379.conf
bind 0.0.0.0						#70行，修改bind 项，0.0.0.0监听所有网段
daemonize yes						#137行，开启守护进程
logfile /var/log/redis_6379.log		#172行，指定日志文件目录
dir /var/lib/redis/6379				#264行，指定工作目录
appendonly yes						#700行，开启AOF持久化功能

/etc/init.d/redis_6379 restart

只需修改70行和700行就可以了
在这里插入图片描述
在这里插入图片描述

重启服务在这里插入图片描述

修改slave节点配置文件（192.168.80.20、192.168.80.30）

vim /etc/redis/6379.conf
bind 0.0.0.0						#70行，修改bind 项，0.0.0.0监听所有网卡
daemonize yes						#137行，开启守护进程
logfile /var/log/redis_6379.log		#172行，指定日志文件目录
dir /var/lib/redis/6379				#264行，指定工作目录
replicaof 192.168.80.10 6379		#288行，指定要同步的Master节点IP和端口
appendonly yes						#700行，开启AOF持久化功能

/etc/init.d/redis_6379 restart

只需修改70行和700行，再288行添加master的IP地址
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
重启服务
在这里插入图片描述

验证主从效果

在master上查看日志

tail -f /var/log/redis_6379.log

在这里插入图片描述

在master上验证从节点

[root@localhost ~]# redis-cli info replication
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.80.20,port=6379,state=online,offset=700,lag=1
slave1:ip=192.168.80.30,port=6379,state=online,offset=700,lag=1
master_replid:ca4375ffdc50107581e76fe46bae38a278786c05
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:700
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:700

在这里插入图片描述

Redis哨兵模式

哨兵的核心功能：在主从复制的基础上，哨兵引入了主节点的自动故障转移

哨兵模式的原理

哨兵：是一个分布式系统，用于对主从结构中的每台服务器进行监控，当出现故障时通过投票机制选择新的Master 并将所有slave 连接到新的Master。所以整个运行哨兵的集群的数量不得少于3个节点。

哨兵模式主要功能

① 集群监控：负责监控Redis master和slave进程是否正常工作
② 消息通知：如果某个Redis示例有故障，那么哨兵负载发送消息作为报警通知给管理员
③ 故障转移：如果master node 挂掉了，会自动转移到slave node上
④ 配置中心：如果故障转移发生了，通知client客户端新的master地址

使用一个或者多个哨兵实例组成的系统，对redis节点进行监控，在主节点出现故障的情况下，能将从节点中的一个升级为主节点，进行故障转移，保证系统的可用性

哨兵模式下的故障迁移

主观下线
哨兵(Sentinel)节点会每秒一次的频率向建立了命令连接的实例发送PING命令，如果在down-after-milliseconds毫秒内没有做出有效响应包括(PONG/LOADING/NASTERDONN)以外的响应，哨兵就会将该实例在本结构体中的状态标记为sRI s DONN主观下线

客观下线
当一个哨兵节点发现主节点处于主观下线状态时，会向其他的哨兵节点发出询问，该节点是不是已经主观下线了。如果超过配置参数quorum个节点认为是主观下线时，该哨兵节点就会将自己维护的结构体中该主节点标记为SRI_o DON客观下线
询问命令SENTINEL is-master-down-by-addr

master选举
在认为主节点客观下线的情况下,哨兵节点节点间会发起一次选举，命令为:SENTINEL is-master-down-by-addr
，只是run id这次会将自己的run_id带进去，希望接受者将自己设置为主节点。如果超过半数以上的节点返回将该节点标记为leader的情况下，会有该leader对故障进行迁移

哨兵模式的搭建

环境配置

基于主从复制已经搭建完成

主机操作系统IP地址软件 / 安装包 / 工具
MasterCentOS7192.168.80.10redis-5.0.7.tar.gz
Slave1CentOS7192.168.80.20redis-5.0.7.tar.gz
Slave2CentOS7192.168.80.30redis-5.0.7.tar.gz

修改Redis配置文件（所有节点操作）

systemctl stop firewalld
setenforce 0

vim /opt/redis-5.0.7/sentinel.conf
protected-mode no								#17行，关闭保护模式
port 26379										#21行，Redis哨兵默认的监听端口
daemonize yes									#26行，指定sentinel为后台启动
logfile "/var/log/sentinel.log"					#36行，指定日志存放路径
dir "/var/lib/redis/6379"						#65行，指定数据库存放路径
sentinel monitor mymaster 192.168.80.10 6379 2	#84行，修改 指定该哨兵节点监控192.168.80.10:6379这个主节点，该主节点的名称是mymaster，最后的2的含义与主节点的故障判定有关：至少需要2个哨兵节点同意，才能判定主节点故障并进行故障转移
sentinel down-after-milliseconds mymaster 30000	#113行，判定服务器down掉的时间周期，默认30000毫秒（30秒）
sentinel failover-timeout mymaster 180000		#146行，故障节点的最大超时时间为180000（180秒）

在这里插入图片描述
在这里插入图片描述

启动哨兵模式

先启动master，在启动slave

cd /opt/redis-5.0.7/
redis-sentinel sentinel.conf &
注意！先启动主服务器，再启动从服务器

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

故障模拟

查看redis-server进程号

ps aux | grep redis
root      47308  0.0  0.4 156404  7748 ?        Ssl  10:15   0:16 /usr/local/redis/bin/redis-server 0.0.0.0:6379
root      49945  0.1  0.4 153844  7532 ?        Ssl  14:45   0:00 redis-sentinel *:26379 [sentinel]
root      49991  0.0  0.0 112676   980 pts/1    R+   14:49   0:00 grep --color=auto redis

在这里插入图片描述
杀死Master节点上redis-server的进程号

kill -9 47308

在这里插入图片描述

验证结果

tail -f /var/log/sentinel.log

在这里插入图片描述

redis-cli -p 26379 INFO Sentinel

在这里插入图片描述

Redis 群集模式

集群，即Redis Cluster，是Redis 3.0开始引入的分布式存储方案。

集群由多个节点(Node)组成，Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点：只有主节点负责读写请求和集群信息的维护；从节点只进行主节点数据和状态信息的复制。

集群的作用

（1）数据分区：数据分区(或称数据分片)是集群最核心的功能。
集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；另一方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。
Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及；例如，如果单机内存太大，bgsave和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换时可能导致从节点长时间无法提供服务，全量复制阶段主节点的复制缓冲区可能溢出。

（2）高可用：集群支持主从复制和主节点的自动故障转移（与哨兵类似）；当任一节点发生故障时，集群仍然可以对外提供服务。

搭建Redis群集模式

环境搭建

redis的集群一般需要6个节点，3主3从。方便起见，这里所有节点在6台服务器上模拟：
以IP及端口号进行区分：3个主节点端口号：7001、7003、7005，对应的从节点端口号：7002、7004、7006。

主机操作系统IP：端口软件/安装包/工具
Master1CentOS7192.168.184.10:7001redis-5.0.7.tar.gz
Slave1CentOS7192.168.184.20:7002redis-5.0.7.tar.gz
Master2CentOS7192.168.184.30:7003redis-5.0.7.tar.gz
Slave2CentOS7192.168.184.40:7004redis-5.0.7.tar.gz
Master3CentOS7192.168.184.50:7005redis-5.0.7.tar.gz
Slave3CentOS7192.168.184.60:7006redis-5.0.7.tar.gz

所有节点都要配置

cd /etc/redis/
mkdir -p redis-cluster/redis6379
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis6379/
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis6379/

在这里插入图片描述

Master节点上的配置（192.168.80.10）

#其他5个文件夹的配置文件以此类推修改，注意6个端口都要不一样。
cd /etc/redis/redis-cluster/redis6379
vim redis.conf

bind 192.168.80.10						#69行，修改bind项，监听自己的IP
protected-mode no						#88行，修改，关闭保护模式
port 7001								#92行，修改，redis监听端口，
daemonize yes							#136行，以独立进程启动
cluster-enabled yes						#832行，取消注释，开启群集功能
cluster-config-file nodes-6379.conf		#840行，取消注释，群集名称文件设置，无需修改
cluster-node-timeout 15000				#846行，取消注释群集超时时间设置
appendonly yes							#699行，修改，开启AOF持久化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在Master1节点上使用scp上传到其他节点服务器并覆盖其他服务器的配置文件

scp /etc/redis/redis-cluster/redis6379/redis.conf root@192.168.80.20:/etc/redis/redis-cluster/redis6379/redis.conf
scp /etc/redis/redis-cluster/redis6379/redis.conf root@192.168.80.30:/etc/redis/redis-cluster/redis6379/redis.conf
scp /etc/redis/redis-cluster/redis6379/redis.conf root@192.168.80.40:/etc/redis/redis-cluster/redis6379/redis.conf
scp /etc/redis/redis-cluster/redis6379/redis.conf root@192.168.80.50:/etc/redis/redis-cluster/redis6379/redis.conf
scp /etc/redis/redis-cluster/redis6379/redis.conf root@192.168.80.60:/etc/redis/redis-cluster/redis6379/redis.conf

在这里插入图片描述

其他节点（出了master1节点）

vim /etc/redis/redis-cluster/redis6379/redis.conf

在这里插入图片描述

所有节点的配置

启动redis节点

cd /etc/redis/redis-cluster/redis6379/
redis-server redis.conf

在这里插入图片描述
启动集群（192.168.80.10）

redis-cli --cluster create 192.168.80.10:7001 192.168.80.30:7003 192.168.80.50:7005 192.168.80.60:7006 192.168.80.40:7004 192.168.80.20:7002 --cluster-replicas 1

在这里插入图片描述

redis-cli -h 192.168.80.10 -p 7001 -c        #加-c参数，节点之间就可以互相跳转	
cluster slots			#查看节点的哈希槽编号范围
set sky blue
cluster keyslot sky	#查看name键的槽编号

在这里插入图片描述
在192.168.80.50上验证
在这里插入图片描述


http://www.niftyadmin.cn/n/3652497.html

相关文章

使用css+js构造的无限级菜单（寻梦的稻草人）

使用css+js构造的无限级菜单（寻梦的稻草人）

先看看效果&#xff1a;html代码&#xff1a;<html><head><style>ul#menu, ul#menu ul{list-style:none;margin:0;border-bottom:1px solid #DDD;border-right:1px solid #DDD;border-left:1px solid #DDD;width:150px;padding:0;font-size:14px;}ul#menu li…
阅读更多...
Rsync下行同步+inotify实时同步

Rsync下行同步+inotify实时同步

文章目录关于rsyncrsync同步源配置rsync源rsync命令的用法inotify简介配置rsync同步环境配置Master配置&#xff08;192.168.80.10&#xff09;slave&#xff08;192.168.80.20&#xff09;rsyncinotify实时同步Master&#xff08;192.168.80.10&#xff09;Slave&#xff08;1…
阅读更多...
rsync error: error starting client-server protocol (code 5) at main.c(1516) [sender=3.0.9]

rsync error: error starting client-server protocol (code 5) at main.c(1516) [sender=3.0.9]

slave上 master上 实现同步
阅读更多...
[转]安装 mogilefs 测试系统，在一台机器上，用于测试环境

[转]安装 mogilefs 测试系统，在一台机器上，用于测试环境

安装 mogilefs 测试系统&#xff0c;在一台机器上&#xff0c;用于测试环境一 下载wget http://www.danga.com/dist/Sys-Syscall/Sys-Syscall-0.20.tar.gzwget http://www.danga.com/dist/Perlbal/Perlbal-1.41.tar.gzwget http://www.danga.com/dist/Danga-Socket/Danga-Socke…
阅读更多...
[转]Google Linux Cluster的系统结构分析(余一娇)

[转]Google Linux Cluster的系统结构分析(余一娇)

原PDF下载&#xff1a;http://hums.ccnu.edu.cn/teachers/yyjcai/TR/TR-2005-04.pdf余一娇1,2 1430079&#xff09; 2 430074&#xff09; E-mail: yjyumail.ccnu.edu.cn 摘 要&#xff1a;Google是当前最有影响的Web搜索引擎&#xff0c;它利用一万多台廉价PC机构造了一个高性…
阅读更多...
[转]Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目（关于GFS、MogileFS分布式文件系统邮件列表）

[转]Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目（关于GFS、MogileFS分布式文件系统邮件列表）

Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目&#xff1a;Google是当前最有影响的Web搜索引擎&#xff0c;它利用一万多台廉价PC机构造了一个高性能、超大存储容量、稳定、实用的巨型Linux集群。 http://bbs.chinaunix.net/forum/viewtopic.php?t390949&s…
阅读更多...
openstack与KVM的关系

openstack与KVM的关系

openstack 我理解是一个云管理平台&#xff0c;KVM是虚拟化技术&#xff0c;openstack可以管理KVM虚拟化环境 openstack是云管理平台&#xff0c;其本身并不提供虚拟化功能&#xff0c;真正的虚拟化能力是由底层的hypervisor&#xff08;如KVM、Qemu、Xen等&#xff09;提供。…
阅读更多...
[转] 面向方面的编程：它的好处是什么？

[转] 面向方面的编程：它的好处是什么？

面向方面的编程&#xff1a;它的好处是什么&#xff1f;Gary Pollice, Professor of Practice, 伍斯特工学院来自于 Rational Edge&#xff1a;关于面向方面的编程的大多数介绍&#xff0c;都是建立在技术可行的有限环境的基础之上&#xff0c;而忽略了AOP的实际价值。这篇文章…
阅读更多...
最新文章

Copyright @ 2022~2023