人是一种高并发的物种,细品。
初识
对 Go 语言的第一印象就是其原生地支持并发编程,而且使用的是协程,比线程更加轻量。
关于进程、线程和协程的区别
- 进程是“程序执行的一个实例” ,担当分配系统资源的实体。进程创建必须分配一个完整的独立地址空间。进程切换只发生在内核态。
- 线程:线程是进程的一个执行流,独立执行它自己的程序代码,是程序执行流的最小单元,是处理器调度和分派的基本单位。一个进程可以有一个或多个线程。
- 协程:协程不是进程或线程,其执行过程更类似于子例程,或者说不带返回值的函数调用。在语言级别可以创建并发协程,然后编写代码去进行管理。Go 将这一步承包下来,使协程并发运行成本更低。
Go 实现最简单的并发
for i := 0; i < 10; i++ { | |
go func(n int) { | |
fmt.Println(n) | |
}(i) | |
} |
项目实践
最近有个项目需要同时调用多个 job,并要等待这些 job 完成之后才能往下执行。
串行执行 job
最开始,我们拥有一个执行 job 的方法,并且串行执行所有的 job:
func buildJob(name string) { | |
... | |
} | |
buildJob("A") | |
buildJob("B") | |
buildJob("C") |
并行执行 job
因为所有 job 是可以并发执行的,这样就不用必须等待上一个 job 执行完成后,才能继续执行其他 job。我们可以使用 Go 语言的关键字 go
来快速启用一个 goroutine
,下面我们将并发地执行三个 job:
go buildJob("A") | |
go buildJob("B") | |
go buildJob("C") |
等待所有 job 完成
怎样才能知道每个 job 是否已经完成,这里可以使用 channel
进行通信,并使用 select
检查执行结果:
func buildJob(ch chan error, name string) { | |
var err error | |
... // build job | |
ch <- err // finnaly, send the result into channel | |
} | |
func build() error { | |
jobCount := 3 | |
errCh := make(err chan error, jobCount) | |
defer close(errCh) // 关闭 channel | |
go buildJob(errCh, "A") | |
go buildJob(errCh, "B") | |
go buildJob(errCh, "C") | |
for { | |
select { | |
case err := <-ch: | |
if err != nil { | |
return err | |
} | |
} | |
jobCount-- | |
if jobCount <= 0 { | |
break | |
} | |
} | |
return nil | |
} |
发现问题
当 job A 执行失败时,build
方法会 return err
退出,并执行 close(errCh)
。可是此时另外两个 job B 和 C 可能还没执行完成,同时也会把结果发给 errCh
,但由于这个时候 errCh
已经被关闭了,会导致程序退出 panic: send on closed channel
。
优化代码
在给 channel 发送数据的时候,可以使用接收数据的第二个值判断 channel 是否关闭:
func buildJob(ch chan error, name string) { | |
var err error | |
... // build job | |
if _, ok := <-ch; !ok { | |
return | |
} | |
ch <- err // finnaly, send the result into channel | |
} | |
func build() error { | |
jobCount := 3 | |
errCh := make(err chan error, jobCount) | |
defer close(errCh) // 关闭 channel | |
go buildJob(errCh, "A") | |
go buildJob(errCh, "B") | |
go buildJob(errCh, "C") | |
for { | |
select { | |
case err := <-ch: | |
if err != nil { | |
return err | |
} | |
} | |
jobCount-- | |
if jobCount <= 0 { | |
break | |
} | |
} | |
return nil | |
} |
总结
Go 并发编程看似只需要一个关键字 go
就可以跑起来一个 goroutine
,但真正实践中,还是有需要问题需要去处理的。