RabbitMQ

RabbitMQ是一个开源的消息代理和队列服务器,用来通过普通协议在完全不同的应用之间共享数据,RabbitMQ是使用Erlang语言来编写的,并且RabbitMQ是基于AMQP协议的。

1 AMQP协议

AMQP协议是具有现代特征的二进制协议,是一个提供统一消息服务的应用层标准高级消息队列协议,是应用成协议的一个开放标准,为面向消息值得中间件设计。

1.1 AMQP架构图

AMQP架构图 Publisher生产者,将消息投递到RabbitMQ的Exchange交换机,Exchange与MessageQueue相关联,然后Consumer消费者从Message队列中获取响应的消息。

1.2 AMQP核心概念

Server:又称Broker,接受客户端的连接,实现AMQP实体服务 Connection:连接,应用程序与Broker的网络连接 Channel:网络信道,几乎所有的操作都在Channel中进行,Channel是进行消息读写的通道。客户端可建立多个CHannel,每个Channel代表一个会话任务 Message:消息,服务器和应用程序之间传送的数据,由Properties和Body组成。Properties可以对消息进行修饰,比如消息的优先级、延迟等高级特性;Body则就是消息体内容 Virtual Host:虚拟地址,用于进行逻辑隔离,最上层的消息路由。一个Virtual Host里面可以有若干个Exchange和Queue,同一个Virtual Host里面不能有相同名称的Exchange或Queue Exchange:交换机,接受消息,根据路由键转发消息到绑定的队列 Binding:Exchange和Queue之间的虚拟连接,binding中可以包含routing key Routing key: 一个路由规则,虚拟机可用它来确定如何路由一个特定消息 Queue:也称为Message Queue,消息队列,保存消息并将它们转发给消费者

2 如何保障消息100%投递成功

2.1 生产端的可靠性投递

  • 保障消息的成功发出
  • 保障MQ节点的成功接收
  • 发送端收到MQ节点(Broker)确认应答
  • 完善的消息进行补偿机制

2.2 解决方案

  • 消息落库,对消息状态进行打标(适合流量小的系统 )
  • 消息的延迟投递,做二次确认,回调检查

3 消费端幂等性保障

  • 唯一ID + 指纹码机制
    • 唯一ID + 指纹码机制,利用数据库主键去重
    • select count(1) from table where id=唯一ID+指纹码
    • 好处:实现简单
    • 坏处:高并发下有数据库写入的性能瓶颈
  • 利用Redis原子特性实现
    • 考虑数据是否需要落库,如果落库,怎么保证Redis和db的数据原子性
    • 如果不落库,怎样设置定时同步策略