snapper-core

2.9.2 • Public • Published

Snapper:Teambition 分布式消息推送系统

Teambition push messaging service, based on redis.

NPM version Build Status js-standard-style

Snapper 是 Teambition 开源的一个运行于 Node.js 环境的分布式消息推送系统。不同于 kafkaRabbitMQActiveMQ,Snapper 主要用于向浏览器端、移动端推送实时消息,目前正用于 Teambition Web 端消息推送,可以通过 https://push.teambition.com/ 查看当前运行的版本。

客户端

  1. node.js 或浏览器端 snapper-consumer
  2. iOS 端 snapper-swift
  3. Android 端 snapper-android

Snapper 主要特点

  1. 使用 JavaScript 开发,运行于 Node.js 环境;
  2. 消息队列池、状态数据池基于 Redis,并使用 lua 脚本进行核心操作,特别高效;同时支持 Redis cluster,可以随着用户负载量横向扩展;
  3. 分布式部署,利用 nginx ip_hash 可在同一台机器中运行多个进程,利用 LVS 等负载均衡可以运行于多台机器,可以随着用户负载量横向扩展;
  4. 消息消费者 Consumer 客户端链接基于 Engine.IO 开发,使用 websocket 协议,自动重连,自动读取消息,另可支持 Android、iOS 客户端,;
  5. 消息生产者 Producer 客户端基于 TCP 开发,内置消息队列,自动重连,确保消息发送到 Broker 服务器;
  6. 基于 JSON-RPC 2.0 协议,确保消息按序推送,推送成功且仅推送一次;
  7. 消息缓存机制,消费者断线重连后消息会自动送达(不会丢失),缓存时间可自定义,默认为 24 小时;
  8. 基于 Room 广播消息,即同一个消息可以分发给在同一个 Room 中的多个消费者;
  9. 同样基于 Room,对于同一个目标用户,支持建立多个消费链接,同一个消息可以同时推送到同一个用户的多个浏览器窗口,或各个移动端;
  10. 实时统计用户在线状态:即时查询同一用户当前建立了多少个消费链接;
  11. 客户端身份验证机制,Consumer 和 Producer 发起连接时都需要通过 token 验证身份。

相关特征细节见下文。

系统构成

Snapper 由四部分组成:

  1. snapper-core 消息 broker,服务器端,消息系统的核心,与 producer 端建立 TCP 长连接接收 API 服务生产的消息,它与 consumer 端建立 websocket 长连接分发推送消息。
  2. snapper-producer 消息 producer,API 客户端,API 服务通过 producer 往 Brokers 推送消息。并为 consumer 端提供身份验证服务和 room 订阅服务。
  3. snapper-consumer 消息 consumer,用户客户端,consumer 从 producer 获取 token,然后与 broker 建立长连接,并通过 producer 订阅相关 room,就能接收 producer 发送到 room 的消息。
  4. Redis 服务,用于保存 rooms 和 consumers 的关系状态信息,也为每一个 consumer 建立消息缓存队列。

服务流程

Snapper 服务的基本流程如下:

  1. 启动 snapper-core 服务;
  2. API 服务通过 snapper-producer 对 snapper-core 发起 TCP 长连接,并进行身份验证;
  3. 用户客户端向 API 请求 token,snapper-producer 生成 token 给用户,用户用 token 对 snapper-core 发起 websocket 长连接;
  4. 用户客户端向 API 请求订阅相关 room,API 验证用户权限后通过 snapper-producer 转发请求给 snapper-core,从而用户与 room 建立关系;
  5. API 通过 snapper-producer 往 snapper-core 的各个 room 推送消息,snapper-core 从 redis 读取 room 与用户的关系,从而把发给该 room 的消息分发给 room 内用户。

更多文档

Docker

build:

docker build -t teambition/snapper .

test:

docker run --rm -ti teambition/snapper bash -c 'node app.js & node rpc.js'

Versions

Current Tags

VersionDownloads (Last 7 Days)Tag
2.9.21latest

Version History

VersionDownloads (Last 7 Days)Published
2.9.21
2.9.11
2.8.40
2.8.30
2.8.20
2.8.10
2.7.90
2.7.80
2.7.60
2.7.50
2.7.40
2.7.10
2.7.00
2.6.20
2.6.10
2.5.10
2.5.00
2.4.40
2.4.30
2.4.20
2.4.10
2.4.00
2.3.30
2.3.20
2.3.10
2.3.00
2.2.00
2.1.00
2.0.30
2.0.20
2.0.10
2.0.00
1.2.00
1.1.50
1.1.40
1.1.20
1.0.20
1.0.10
1.0.00
0.16.00

Package Sidebar

Install

npm i snapper-core

Weekly Downloads

2

Version

2.9.2

License

none

Last publish

Collaborators

  • zensh