写在前面

系统开发的过程中，我们经常需要实现消息推送的需求。单端单实例的情况下很好处理（网上有许多教程这里不做展开），但在分布式系统及多端需要推送的情况下该如何处理呢？

在分布式系统中，消息推送服务端是多实例的。某系统中一个服务生成一条消息，这条消息需要实时推送到多个终端，此时该如何进行有效的 WebSocket 推送呢？首先一起看看如下场景：

假设推送消息由消息实例 2 产生，但是终端真正连接的消息实例是实例 1 和实例 3，并没有连接到生产消息的实例 2，系统是如何将实例 2 的消息同步推送到终端 1 和终端 2 的呢？下文将详细描述。

基本原理

为了满足需求，我们采用 Redis 做协同中间件，用于存储用户信息、生成用户连接的唯一性标识以及 pod address，消息的生产者实例通过订阅 Redis 获取终端连接的唯一性标识和 pod address，并通知到对应的消息实例，最终由相应连接终端的消息实例通过 WebSocket 将消息发推送到用户终端。具体流程如下图：

为了实现构想，我们构造了两个组件：Client、ClientManager，实现逻辑如下。

服务端实现

Client

Client 组件的作用，是当用户与消息服务中某个实例建立连接后，管理这个连接的信息，这里通过一个 Golang 结构体来定义：

	type Client struct {
			UUID   string 
			UserID string
			Socket *websocket.Conn
			Send   chan []byte
	}

结构体中的数据类型说明如下：

• UUID：对连接进行唯一性的标识，通过此标识可以查找到连接信息。

• UserID：用户 ID。

• Socket：连接对象。

• Send：消息数据 channel。

我们为 Client 结构体实现了两个方法：Read、Write 来处理消息的接受和发送。

Read 方法

Read 方法比较简单，从终端接收请求消息后，消息实例通过 WebSocket 回应接收消息状态，并不返回请求结果。结果通过 Write 方法返回。

	func (c *Client) Read(close, renewal chan *Client) {
			defer func() {
					close <- c
			}()
	for {
			_, message, err := c.Socket.ReadMessage()
			if err != nil {
					break
			}
		// ...
			 // message logic
	}
	}

Write 方法

Write 方法将请求结果返回给终端。Client 会监听 send channel，当 channel 有数据时，通过 socket 连接将消息发送给终端。

	func (c *Client) Write(close chan *Client) {
			for {
					select {
					case message, ok := <-c.Send:
							if !ok {
									return
							}
							c.Socket.WriteMessage(websocket.TextMessage, message)
					case <-c.Ctx.Done():
				return
					}
			}
	}

ClientManger

ClientManager 组件相当于连接池，可以管理所有的终端连接，并提供注册、注销、续期功能。

	type ClientManager struct {
			sync.RWMutex
			Clients    map[string]*Client 
			Register   chan *Client
			Unregister chan *Client
			Renewal    chan *Client
	}

结构体的数据类型说明如下：

• Clients：是一个集合，用于存储创建的 Client 对象。

• Register：注册的 channel。

  • 把连接注册到 Clients 中，并通过 key-value 加入 Client 集合中，key 是连接的唯一性标识 ，value 是连接本身。

  • 把连接的唯一性标识和用户的 ID 以及建立连接的 pod address 信息，存储到 Redis 中。

• Unregister：注销的 channel。

  • 从 ClientManager 组件的 Clients 集合中移除连接对象。

  • 删除 Redis 对应的缓存信息。

• Renewal：续期的 channel，用于对 Redis 的键续期。

ClientManager 提供了一个 Start 方法，Start 方法提供监听注册、注销以及续期的 channel，通过监听这些 channel 来管理创建的连接对象。当这些 channel 有数据时，执行对应的操作。

	func (manager *ClientManager) Start(ctx context.Context) {
			for {
					select {
					case conn := <-manager.Register:
							manager.Lock()
							manager.Clients[conn.UUID] = conn
							manager.Unlock()
							_, err := manager.affair.Register(ctx, &RegisterReq{
									UserID: conn.UserID,
									UUID:   conn.UUID,
									IP:     manager.IP,
							})
					case conn := <-manager.Unregister:
							_, err := manager.affair.Unregister(ctx, &UnregisterReq{
									UserID: conn.UserID,
									UUID:   conn.UUID,
							})
							conn.Socket.Close()
							close(conn.Send)
							delete(manager.Clients, conn.UUID)
					case conn := <-manager.Renewal:
											//...
							// Key renewal to Redis
					}
			}
	}

消息推送

当一个消息服务实例生产用户的消息，需要推送消息给终端时，推送步骤如下：

1. 根据 UserID 从 Redis 读取数据，得到连接唯一性标识和 pod address 地址，这些信息是在终端第一次与消息实例建立连接的时候写入 Redis 的。

2. 此时根据 pod address，向对应的消息服务实例发送请求。

3. 相应的消息服务实例接收到请求。

服务端接收请求的处理逻辑如下：

1. 根据传递过来连接唯一性标识的参数，找到标识对应的连接。我们为 ClientManager 提供了一个 Write 方法。

此方法用到 ClientManager 组件的 Clients 集合，根据唯一性标识找到对应的 Client。再利用 Client 的 SendOut 方法，写出数据到终端。

	func (manager *ClientManager) Write(message *Message) error {
		manager.RLock()
		client, ok := manager.Clients[message.Recipient]
		manager.RUnlock()
		if !ok {
			 return errors.New("client miss [" + message.Recipient + "]")
		}
		return client.SendOut(message)
	}

2. 定义 Client 的 SendOut 方法。

此方法只负责：把接收到的消息转换为字节数组后，发送 Client 的 Send Channel 中。

	func (c *Client) SendOut(message *Message) error {
			content, err := json.Marshal(message.Content)
			if err != nil {
					return err
			}
			c.Send <- content
			return nil
	}

3. 发送数据到终端。

前文 Client 组件的 Write 方法中，已说明 send channel 中有数据时，便会读取channel 产生的数据，并通过连接对象返回数据给对应的终端。

总结

以上是 Web Socket 推送消息给终端的主要思路：通过 Redis 把用户的信息以及连接的标识和 pod address 存储起来，当某个消息服务实例产生消息，从 Redis 读取信息，通知连接着终端的消息服务实例，再由这些服务实例通过 WebSocket 对象给终端发送消息。全象云低代码平台也集成了消息的实时推送，用户使用平台时能及时获取最新消息状态。
下期我们将为大家带来 Knative Serving 自定义弹性伸缩，请大家持续关注。

作者

周慧婷