计算机教程

当前位置:3522.com > 计算机教程 > golang 解决 TCP 粘包问题

golang 解决 TCP 粘包问题

来源:http://www.4sports-uk.com 作者:3522.com 时间:2019-06-08 11:36

前言

图片 1

什么是TCP粘包问题以及为什么会产生TCP粘包,本文不加讨论。本文使用golang的bufio.Scanner来实现自定义协议解包。

什么是 TCP 粘包问题以及为什么会产生 TCP 粘包,本文不加讨论。本文使用 golang 的 bufio.Scanner 来实现自定义协议解包。

下面话不多说了,来一起看看详细的介绍吧。

协议数据包定义

协议数据包定义

本文模拟一个日志服务器,该服务器接收客户端传到的数据包并显示出来

本文模拟一个日志服务器,该服务器接收客户端传到的数据包并显示出来

type Package struct { Version        [2]byte // 协议版本,暂定V1 Length         int16   // 数据部分长度 Timestamp      int64   // 时间戳 HostnameLength int16   // 主机名长度 Hostname       []byte  // 主机名 TagLength      int16   // 标签长度 Tag            []byte  // 标签 Msg            []byte  // 日志数据}
type Package struct {
 Version  [2]byte // 协议版本,暂定V1
 Length   int16 // 数据部分长度
 Timestamp  int64 // 时间戳
 HostnameLength int16 // 主机名长度
 Hostname  []byte // 主机名
 TagLength  int16 // 标签长度
 Tag   []byte // 标签
 Msg   []byte // 日志数据
}

协议定义部分没有什么好讲的,根据具体的业务逻辑定义即可。

协议定义部分没有什么好讲的,根据具体的业务逻辑定义即可。

数据打包

数据打包

由于 TCP 协议是语言无关的协议,所以直接把协议数据包结构体发送到 TCP 连接中也是不可能的,只能发送字节流数据,所以需要自己实现数据编码。所幸 golang 提供了 binary来帮助我们实现网络字节编码。

由于TCP协议是语言无关的协议,所以直接把协议数据包结构体发送到TCP连接中也是不可能的,只能发送字节流数据,所以需要自己实现数据编码。所幸golang提供了binary来帮助我们实现网络字节编码。

func (p *Package) Pack(writer io.Writer) error { var err error err = binary.Write(writer, binary.BigEndian, &p.Version) err = binary.Write(writer, binary.BigEndian, &p.Length) err = binary.Write(writer, binary.BigEndian, &p.Timestamp) err = binary.Write(writer, binary.BigEndian, &p.HostnameLength) err = binary.Write(writer, binary.BigEndian, &p.Hostname) err = binary.Write(writer, binary.BigEndian, &p.TagLength) err = binary.Write(writer, binary.BigEndian, &p.Tag) err = binary.Write(writer, binary.BigEndian, &p.Msg) return err}
func (p *Package) Pack(writer io.Writer) error {
 var err error
 err = binary.Write(writer, binary.BigEndian, &p.Version)
 err = binary.Write(writer, binary.BigEndian, &p.Length)
 err = binary.Write(writer, binary.BigEndian, &p.Timestamp)
 err = binary.Write(writer, binary.BigEndian, &p.HostnameLength)
 err = binary.Write(writer, binary.BigEndian, &p.Hostname)
 err = binary.Write(writer, binary.BigEndian, &p.TagLength)
 err = binary.Write(writer, binary.BigEndian, &p.Tag)
 err = binary.Write(writer, binary.BigEndian, &p.Msg)
 return err
}

Pack 方法的输出目标为 io.Writer,有利于接口扩展,只要实现了该接口即可编码数据写入。binary.BigEndian 是字节序,本文暂时不讨论,有需要的读者可以自行查找资料研究。

Pack方法的输出目标为io.Writer,有利于接口扩展,只要实现了该接口即可编码数据写入。binary.BigEndian是字节序,本文暂时不讨论,有需要的读者可以自行查找资料研究。

数据解包

数据解包

解包需要将 TCP 数据包解析到结构体中,接下来会讲为什么需要添加几个数据无关的长度字段。

解包需要将TCP数据包解析到结构体中,接下来会讲为什么需要添加几个数据无关的长度字段。

func (p *Package) Unpack(reader io.Reader) error { var err error err = binary.Read(reader, binary.BigEndian, &p.Version) err = binary.Read(reader, binary.BigEndian, &p.Length) err = binary.Read(reader, binary.BigEndian, &p.Timestamp) err = binary.Read(reader, binary.BigEndian, &p.HostnameLength) p.Hostname = make([]byte, p.HostnameLength) err = binary.Read(reader, binary.BigEndian, &p.Hostname) err = binary.Read(reader, binary.BigEndian, &p.TagLength) p.Tag = make([]byte, p.TagLength) err = binary.Read(reader, binary.BigEndian, &p.Tag) p.Msg = make([]byte, p.Length-8-2-p.HostnameLength-2-p.TagLength) err = binary.Read(reader, binary.BigEndian, &p.Msg) return err}
func (p *Package) Unpack(reader io.Reader) error {
 var err error
 err = binary.Read(reader, binary.BigEndian, &p.Version)
 err = binary.Read(reader, binary.BigEndian, &p.Length)
 err = binary.Read(reader, binary.BigEndian, &p.Timestamp)
 err = binary.Read(reader, binary.BigEndian, &p.HostnameLength)
 p.Hostname = make([]byte, p.HostnameLength)
 err = binary.Read(reader, binary.BigEndian, &p.Hostname)
 err = binary.Read(reader, binary.BigEndian, &p.TagLength)
 p.Tag = make([]byte, p.TagLength)
 err = binary.Read(reader, binary.BigEndian, &p.Tag)
 p.Msg = make([]byte, p.Length-8-2-p.HostnameLength-2-p.TagLength)
 err = binary.Read(reader, binary.BigEndian, &p.Msg)
 return err
}

由于主机名、标签这种数据是不固定长度的,所以需要两个字节来标识数据长度,否则读取的时候只知道一个总的数据长度是无法区分主机名、标签名、日志数据的。

由于主机名、标签这种数据是不固定长度的,所以需要两个字节来标识数据长度,否则读取的时候只知道一个总的数据长度是无法区分主机名、标签名、日志数据的。

数据包的粘包问题解决

本文由3522.com发布于计算机教程,转载请注明出处:golang 解决 TCP 粘包问题

关键词: 3522.com