配置高可用RabbitMQ集群

RabbitMQ是目前非常热门的一款消息中间件,不管是互联网大厂还是中小企业都在大量使用。作为一名合格的开发者,有必要对RabbitMQ有所了解,本篇文章重点为大家讲解一下配置高可用RabbitMQ集群具体方法。

概述

运行模式大概有3种:

单一模式:非集群模式,单台。

普通模式:RabbitMQ默认的集群模式。

对于Queue来说,消息实体只存在于其中一个节点,A、B两个节点仅有相同的元数据,即队列结构。当消息进入A节点的Queue中后,consumer从B节点拉取时,RabbitMQ会临时在A、B间进行消息传输,把A中的消息实体取出并经过B发送给consumer。

所以consumer应尽量连接每一个节点,从中取消息。即对于同一个逻辑队列,要在多个节点建立物理Queue。否则无论consumer连A或B,出口总在A,会产生瓶颈。

该模式存在一个问题就是当A节点故障后,B节点无法取到A节点中还未消费的消息实体。

如果做了消息持久化,那么得等A节点恢复,然后才可被消费;如果没有持久化会丢失消息。

镜像模式:Queue同时存在多个节点,可通过改模式实现HA高可用 该模式解决了上述问题,其实质和普通模式不同之处在于,消息实体会主动在镜像节点间同步,而不是在consumer取数据时临时拉取。

该模式带来的副作用也很明显,除了降低系统性能外,如果镜像队列数量过多,加之大量的消息进入,集群内部的网络带宽将会被这种同步通讯大大消耗掉。

下面来通过配置RabbitMQ镜像模式来熟悉这3种运行模式

1. 环境说明

RabbitMQ集群安装在3个节点上:10.0.0.1、10.0.0.2、10.0.0.3

HAProxy安装在10.0.0.4上,用于对外提供RabbitMQ均衡

3个节点在/etc/hosts文件中分别添加如下内容:

10.0.0.1 rabbit1
10.0.0.2 rabbit2
10.0.0.3 rabbit3

2. 安装erlang、rabbitmq

cd oneinstack/src
wget http://erlang.org/download/otp_src_18.3.tar.gz
tar xzf otp_src_18.3.tar.gz
cd otp_src_18.3
./configure --prefix=/usr/local/erlang --enable-shared-zlib --with-ssl --enable-threads --enable-smp-support --enable-kernel-poll --enable-hipe --without-javac
make && make install

cd ..
wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.5.7/rabbitmq-server-generic-unix-3.5.7.tar.gz
tar xzf rabbitmq-server-generic-unix-3.5.4.tar.gz
mv rabbitmq_server-3.5.4 rabbitmq
sed -i 's@^ERL_DIR=.*@ERL_DIR=/usr/local/erlang/bin/@' /usr/local/rabbitmq/sbin/rabbitmq-defaults
sed -i 's@^LOG_BASE=.*@LOG_BASE=/usr/local/rabbitmq/var/log/rabbitmq@' /usr/local/rabbitmq/sbin/rabbitmq-defaults  #日志目录
mkdir -p /usr/local/rabbitmq/var/{lib,log}/rabbitmq

3. 一般用户(rabbitmq)运行RabbitMQ

useradd rabbitmq
wget http://pkgs.fedoraproject.org/cgit/rpms/rabbitmq-server.git/plain/rabbitmq-script-wrapper
sed -i 's@cd /var/lib/rabbitmq@cd /usr/local/rabbitmq/var/lib/rabbitmq@g' rabbitmq-script-wrapper  #更改rabbitmq数据存储目录
sed -i 's@/usr/lib/rabbitmq/bin/@/usr/local/rabbitmq/sbin/@g' rabbitmq-script-wrapper
chmod +x rabbitmq-script-wrapper
cp rabbitmq-script-wrapper /usr/sbin/rabbitmqctl
cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-server
cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-plugins
chown -R rabbitmq.rabbitmq /usr/local/rabbitmq/var

4. 日志割接

cat >> /etc/logrotate.d/rabbitmq-server local/rabbitmq/var/log/rabbitmq/*.log {
 weekly
 missingok
 rotate 20
 compress
 delaycompress
 notifempty
 sharedscripts
 postrotate
   /sbin/service rabbitmq-server rotate-logs > /dev/null
 endscript
}
EOF

5. 启动脚本

参考: 《RabbitMQ启动脚本》

6. 设置Erlang Cookie

Erlang Cookie文件:/home/rabbitmq/.erlang.cookie。这里将rabbit1的该文件复制到rabbit2、rabbit3,并设置400权限

chmod 400 /home/rabbitmq/.erlang.cookie
chown rabbitmq.rabbitmq /home/rabbitmq/.erlang.cookie

7. 修改配置文件

密码和集群配置:

cat > /usr/local/rabbitmq/etc/rabbitmq/rabbitmq.config 'rabbit@rabbit1','rabbit@rabbit2''rabbit@rabbit3'], disc}},
   {tcp_listeners,[{"0.0.0.0",5672}]},
   {default_vhost,       "/">>},
   {default_user,        "linuxeye">>},
   {default_pass,        "linuxeye@123">>},
   {loopback_users, ["linuxeye"]},
   {default_permissions, [".*">>, ".*">>, ".*">>]}
 ]}
].
EOF

启用rabbitmq_management

cat > /usr/local/rabbitmq/etc/rabbitmq/enabled_plugins 

8. 分别启动3个节点rabbitmq

使用rabbitmqctl cluster_status命令表示集群搭建成功

[root@rabbit2 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@rabbit2 ...
[{nodes,[{disc,[rabbit@rabbit1,rabbit@rabbit2,rabbit@rabbit3]}]},
{running_nodes,[rabbit@rabbit3,rabbit@rabbit1,rabbit@rabbit2]},
{cluster_name,"rabbit@rabbit2">>},
{partitions,[]}]

9. 设置镜像队列策略

在任意一个节点上执行:

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

10. 配置HAProxy

配置好HAProxy后,浏览器访问http://10.0.0.4:15672, 看到如下证明rabbitmq镜像模式搭建成功

RabbitMQ集群和高可用配置的技巧RabbitMQ集群和高可用配置的技巧

原创文章,作者:晴川运维,如若转载,请注明出处:https://baike.qcidc.com/10218.html

(0)
晴川运维晴川运维
上一篇 2025年6月23日
下一篇 2025年6月23日

相关推荐

  • 如何备份一个磁盘分区

    通常你可能会把数据放在一个分区上,有时候可能需要对该设备或者上面的一个分区进行备份。树莓派用户为了可引导 SD 卡当然有这个需求。其它小体积计算机的用户也会发现这非常有用。有时候设…

    Linux系统 2025年6月8日
  • APF防火墙的安装和使用

    APF(Advanced Policy Firewall)是 Rf-x Networks 出品的Linux环境下的软件防火墙,被大部分Linux服务器管理员所采用,使用iptabl…

    Linux系统 2025年6月10日
  • 简单介绍一下graphql

    graphql 是一种用于 API 的查询语言,对你的 API 中的数据提供了一套易于理解的完整描述,使得客户端能够准确地获得它需要的数据,减少数据的冗余。 对比 Rest API…

    Linux系统 2025年6月8日
  • 使用ACL工具备份和恢复Linux的文件权限

    作为一个系统管理 ,我们的首要任务将是保护和未经授权的访问安全的数据。 我们都知道我们设置使用一些像CHMOD,CHOWN,chgrp命令 ……等有用的Linux命令然而,这些缺省…

    Linux系统 2025年6月13日
  • 详解日志收集处理工具ELK

    ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处…

    Linux系统 2025年7月7日
  • Linux下安装并使用jod

    Jed是一个基于终端的编辑器,它的特点是有一个方便的下拉菜单,这让那些刚刚接触终端编辑器的用户,以及那些不喜欢记住每个功能的组合键的用户而言变得特别容易,下面为大家分享一下jod的…

    Linux系统 2025年6月17日
  • Linux下常用的剪贴板

    Linux下有哪些常用的剪贴板?本篇文章将为大家分享一下Linux下常用的剪贴板,有需要的小伙伴可以参考一下。 1.CopyQ 这种高级的剪贴板管理器适用于大多数平台上。它有编辑和…

    Linux系统 2025年6月10日
  • 详解Linux内存、Swap、Cache、Buffer

    在Linux系统中 buffer和cache是内存上分出来的空间,swap分的是磁盘上的空间,下面重点为大家讲解一下Linux内存、Swap、Cache、Buffer。 1. 通过…

    Linux系统 2025年6月15日
  • zabbix监控redis内存具体方法

    本篇提到的监控环境是有条件的,即默认单机只运行一个redis实例,且默认运行的端口是6379(也可以是其他端口,需要通过sed -i ‘s/6379/你修改的端口/g’ xml模板…

    Linux系统 2025年6月29日
  • Linux运维面试集锦

    本篇文章重点为大家分享一下Linux运维人员面试常见的问题及答案,准备参加Linux运维面试的小伙伴们是否做好了面试准备,今天在这里小编继续为大家分享一些Linux运维人员面试中的…

    Linux系统 2025年6月8日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注