幸运蛋蛋pc开奖
这篇文章主要给大家介绍了Golang TCP粘包拆包问题的解决方法,文中通过示例代码介绍的非常详细,对大家学习或者使用Golang具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧

什么是粘包问题

最近在使用Golang编写Socket层,发现有时候接收端会一次读到多个数据包的问题。于是通过查阅资料,发现这个就是传说中的TCP粘包问题。下面通过编写代码来重现这个问题:

服务端代码 server/main.go

func main() {
	l, err := net.Listen("tcp", ":4044")
	if err != nil {
		panic(err)
	}
	fmt.Println("listen to 4044")
	for {
  // 监听到新的连接,创建新的 goroutine 交给 handleConn函数 处理
		conn, err := l.Accept()
		if err != nil {
			fmt.Println("conn err:", err)
		} else {
			go handleConn(conn)
		}
	}
}

func handleConn(conn net.Conn) {
	defer conn.Close()
	defer fmt.Println("关闭")
	fmt.Println("新连接:", conn.RemoteAddr())

	result := bytes.NewBuffer(nil)
	var buf [1024]byte
	for {
		n, err := conn.Read(buf[0:])
		result.Write(buf[0:n])
		if err != nil {
			if err == io.EOF {
				continue
			} else {
				fmt.Println("read err:", err)
				break
			}
		} else {
			fmt.Println("recv:", result.String())
		}
		result.Reset()
	}
}

客户端代码 client/main.go

func main() {
	data := []byte("[这里才是一个完整的数据包]")
	conn, err := net.DialTimeout("tcp", "localhost:4044", time.Second*30)
	if err != nil {
		fmt.Printf("connect failed, err : %v\n", err.Error())
  return
	}
	for i := 0; i <1000; i++ {
		_, err = conn.Write(data)
		if err != nil {
			fmt.Printf("write failed , err : %v\n", err)
			break
		}
	}
}

运行结果

listen to 4044
新连接: [::1]:53079
recv: [这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据�
recv: �][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包][这里才是一个完整的数据包][这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
...省略其它的...

从服务端的控制台输出可以看出,存在三种类型的输出:

    一种是正常的一个数据包输出。 一种是多个数据包“粘”在了一起,我们定义这种读到的包为粘包。 一种是一个数据包被“拆”开,形成一个破碎的包,我们定义这种包为半包。

为什么会出现半包和粘包?

    客户端一?#38382;?#38388;内发送包的速度太多,服务端没有全部处理完。于是数据就会积压起来,产生粘包。 定义的读的buffer不够大,而数据包太大或者由于粘包产生,服务端不能一次全部读完,产生半包。

什么时候需要考虑处理半包和粘包?

TCP连接是长连接,即一次连接多次发送数据。
每次发送的数据是结构的,比如 JSON格式的数据 或者 数据包的协议是由我们自己定义的(包头部包含?#23548;?#25968;据长度、协议魔数等)。

解决思路

    定长分隔(每个数据包最大为该长度,不足时使用特殊字符填充) ,但是数据不足时会浪费传输资源 使用特定字符来分割数据包,但是若数据中含有分割字符则会出现Bug 在数据包中添加长度字段,弥补了以上两种思路的不足,推荐使用

拆包演示

通过上述分析,我们最好通过第三种思路来解决拆包粘包问题。

Golang的bufio库中有为我们提供了Scanner,来解决这类分割数据的问题。

type Scanner
Scanner provides a convenient interface for reading data such as a file of newline-delimited lines of text. Successive calls to the Scan method will step through the 'tokens' of a file, skipping the bytes between the tokens. The specification of a token is defined by a split function of type SplitFunc; the default split function breaks the input into lines with line termination stripped. Split functions are defined in this package for scanning a file into lines, bytes, UTF-8-encoded runes, and space-delimited words. The client may instead provide a custom split function.

简单来讲即是:

Scanner为 读取数据 提供了方便的 接口。连续调用Scan方逐个得到文件的“tokens”,跳过 tokens 之间的字节。token 的规范由 SplitFunc 类型的函数定义。我们可以改为提供自定义拆分功能。

接下来看看 SplitFunc 类型的函数是什么样子的:

type SplitFunc func(data []byte, atEOF bool) (advance int, token []byte, err error)

Golang官网文档上提供的使用例子🌰:

func main() {
	// An artificial input source.
	const input = "1234 5678 1234567901234567890"
	scanner := bufio.NewScanner(strings.NewReader(input))
	// Create a custom split function by wrapping the existing ScanWords function.
	split := func(data []byte, atEOF bool) (advance int, token []byte, err error) {
		advance, token, err = bufio.ScanWords(data, atEOF)
		if err == nil && token != nil {
			_, err = strconv.ParseInt(string(token), 10, 32)
		}
		return
	}
	// Set the split function for the scanning operation.
	scanner.Split(split)
	// Validate the input
	for scanner.Scan() {
		fmt.Printf("%s\n", scanner.Text())
	}

	if err := scanner.Err(); err != nil {
		fmt.Printf("Invalid input: %s", err)
	}
}

于是,我们可以这样改写我们的程序:

服务端代码 server/main.go

func main() {
	l, err := net.Listen("tcp", ":4044")
	if err != nil {
		panic(err)
	}
	fmt.Println("listen to 4044")
	for {
		conn, err := l.Accept()
		if err != nil {
			fmt.Println("conn err:", err)
		} else {
			go handleConn2(conn)
		}
	}
}

func packetSlitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
  // 检查 atEOF ?#38382;?和 数据包头部的四个字节是否 为 0x123456(我们定义的协议的魔数)
	if !atEOF && len(data) > 6 && binary.BigEndian.Uint32(data[:4]) == 0x123456 {
		var l int16
    // 读出 数据包中 ?#23548;?#25968;据 的长度(大小为 0 ~ 2^16)
		binary.Read(bytes.NewReader(data[4:6]), binary.BigEndian, &l)
		pl := int(l) + 6
		if pl <= len(data) {
			return pl, data[:pl], nil
		}
	}
	return
}

func handleConn2(conn net.Conn) {
	defer conn.Close()
	defer fmt.Println("关闭")
	fmt.Println("新连接:", conn.RemoteAddr())
	result := bytes.NewBuffer(nil)
  var buf [65542]byte // 由于 标识数据包长度 的只有两个字节 故数据包最大为 2^16+4(魔数)+2(长度标识)
	for {
		n, err := conn.Read(buf[0:])
		result.Write(buf[0:n])
		if err != nil {
			if err == io.EOF {
				continue
			} else {
				fmt.Println("read err:", err)
				break
			}
		} else {
			scanner := bufio.NewScanner(result)
			scanner.Split(packetSlitFunc)
			for scanner.Scan() {
				fmt.Println("recv:", string(scanner.Bytes()[6:]))
			}
		}
		result.Reset()
	}
}

客户端代码 client/main.go

func main() {
	l, err := net.Listen("tcp", ":4044")
	if err != nil {
		panic(err)
	}
	fmt.Println("listen to 4044")
	for {
		conn, err := l.Accept()
		if err != nil {
			fmt.Println("conn err:", err)
		} else {
			go handleConn2(conn)
		}
	}
}

func packetSlitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
  // 检查 atEOF ?#38382;?和 数据包头部的四个字节是否 为 0x123456(我们定义的协议的魔数)
	if !atEOF && len(data) > 6 && binary.BigEndian.Uint32(data[:4]) == 0x123456 {
		var l int16
    // 读出 数据包中 ?#23548;?#25968;据 的长度(大小为 0 ~ 2^16)
		binary.Read(bytes.NewReader(data[4:6]), binary.BigEndian, &l)
		pl := int(l) + 6
		if pl <= len(data) {
			return pl, data[:pl], nil
		}
	}
	return
}

func handleConn2(conn net.Conn) {
	defer conn.Close()
	defer fmt.Println("关闭")
	fmt.Println("新连接:", conn.RemoteAddr())
	result := bytes.NewBuffer(nil)
  var buf [65542]byte // 由于 标识数据包长度 的只有两个字节 故数据包最大为 2^16+4(魔数)+2(长度标识)
	for {
		n, err := conn.Read(buf[0:])
		result.Write(buf[0:n])
		if err != nil {
			if err == io.EOF {
				continue
			} else {
				fmt.Println("read err:", err)
				break
			}
		} else {
			scanner := bufio.NewScanner(result)
			scanner.Split(packetSlitFunc)
			for scanner.Scan() {
				fmt.Println("recv:", string(scanner.Bytes()[6:]))
			}
		}
		result.Reset()
	}
}

运行结果

listen to 4044
新连接: [::1]:55738
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
recv: [这里才是一个完整的数据包]
...省略其它的...

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对爱安网的支持。

最新资讯
阿里张勇:是技术让商业上的一些不可能变成可能

阿里张勇:是技术让商业

张勇提到,“口红一哥”李佳琦代表的是一?#20013;?#30340;销售方式
张勇谈新型制造业转型:和合作伙伴一起找到门店价值

张勇谈新型制造业转型

张勇表示,新消费方面,绝大部分甚至100%的商家都有感知,因
微博巩固行业领先地位 利润超华尔街预期

微博巩固行业领先地位

截至2019年9月底,微博月活跃用户达到4.97亿,日活跃用户
阿里网络18.4亿元认?#22909;?#24180;健康股票 获4.06%股份

阿里网络18.4亿元认购

阿里网络以18.4亿元认?#22909;?#24180;健康非公开发行股票,获得4.
阿里张勇:双11一定不是一成不变的 创新是关键词

阿里张勇:双11一定不是

在张勇看来,从“一不小心?#22791;?#20102;双11后,没过?#25913;?#23601;看到一
迅雷Q3营收4380万美元 陈磊:云计算成收入增长驱动力

迅雷Q3营收4380万美元

迅雷第三季度营业收入为4380万美元。包括云计算在内的
最新文章
对Golang import 导入包语法详解

对Golang import 导入

今天小编就为大家分享一篇对Golang import 导入包语法
golang解析html网页的方法

golang解析html网页的

今天小编就为大家分享一篇golang解析html网页的方法,具
golang 检查网络状态是否正常的方法

golang 检查网络状态

今天小编就为大家分享一篇golang 检查网络状态是否正
Go 实现百万WebSocket连接的方法示例

Go 实现百万WebSocket

这篇文章主要介绍了Go 实现百万WebSocket连接的方法示
go语言中linkname的用法

go语言中linkname的用

这篇文章主要介绍了go语言中linkname的用法,本文给点俺
golang http 连接超时和传输超时的例子

golang http 连接超时

今天小编就为大家分享一篇golang http 连接超时和传输
幸运蛋蛋pc开奖 捕鱼欢乐季官网下载 超市理财能赚钱吗 甘肃快三今日推荐跟号 未来几年小本赚钱好项目 快三大小单双公式 在微信就可以赚钱软件是什么 新百威娱乐怎么注册 3元进的 2.5卖不差称怎么赚钱 万喜堂首页 重庆快乐十分玩法技巧和条件