• Golang GMP调度模型:实现高效协程调度和执行


    引言

    Go语言(Golang)是一种开源的高性能编程语言,它以其独特的并发模型而闻名。Golang引入了一种称为GMP的调度模型,用于实现协程的高效调度和执行。本文将深入探讨Golang GMP调度模型的概念、用法、适用场景,并通过案例分析来展示其在实际应用中的优势。通过阅读本文,读者将更好地理解Golang的协程调度机制,并能够编写高效的并发程序。

    概念

    GMP调度模型是Golang并发编程模型的核心之一,它由三个关键组件组成:Goroutine(G)、M(Machine)和P(Processor)。Goroutine是Golang中的轻量级线程,每个协程代表一个并发执行的任务。M代表操作系统线程,负责实际执行Goroutine。P代表处理器,维护一组协程的运行队列。

    用法

    Golang的调度器是由运行时系统自动管理的,开发者无需手动控制协程的调度和执行。通过关键字go,开发者可以创建协程,并编写相应的逻辑。调度器会根据运行时系统的策略来实现协程的调度和执行。当一个Goroutine被创建时,它会被放入全局运行队列中。当一个M变为可运行状态时,它会从全局运行队列中获取一个可运行的Goroutine,并将其绑定到自己的线程上执行。如此循环,实现了高效的协程调度和执行。

    package main
    
    import "fmt"
    
    func main() {
        go func() {
            fmt.Println("Hello, World!")
        }()
        
        // 等待协程执行完成
        // ...
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    场景

    Golang的GMP调度模型非常适用于高并发和高吞吐量的场景。它能够自动均衡地分配Goroutine的执行,使得多个线程和处理器能够充分利用资源,提高程序的并发性能。特别在I/O密集型和并行计算的应用中,GMP模型能够充分发挥其优势。

    案例

    假设我们有一个网络爬虫程序,需要并发地从多个网站上爬取数据。传统的实现方式是使用多线程,但是线程的创建和销毁开销较大,容易造成资源浪费。通过使用Golang的GMP调度模型,我们可以优雅地解决这个问题。

    首先,我们创建一个Goroutine来执行爬取网站的任务。这个Goroutine会将获取到的数据发送到一个通道中。我们同时创建多个Goroutine来处理这个通道中的数据。

    当一个Goroutine在爬取网站时,如果发生了阻塞(比如等待I/O),调度器会将其从当前线程解绑,并将其放入等待队列中。这时,该线程可以执行其他可运行的Goroutine,以充分利用计算资源。

    当一个阻塞的Goroutine变为可运行状态时(比如I/O操作完成),它会重新被放入全局运行队列中,等待被分配给某个可用的M执行。这样,我们可以实现高效的并发爬取,并充分利用系统的资源。

    package main
    
    import (
        "fmt"
        "net/http"
        "io/ioutil"
        "sync"
    )
    
    func main() {
        urls := []string{"http://example.com", "http://example.org", "http://example.net"}
        var wg sync.WaitGroup
        
        for _, url := range urls {
            wg.Add(1)
            go func(u string) {
                defer wg.Done()
                resp, err := http.Get(u)
                if err != nil {
                    fmt.Println("Error:", err)
                    return
                }
                defer resp.Body.Close()
                
                body, err := ioutil.ReadAll(resp.Body)
                if err != nil {
                    fmt.Println("Error:", err)
                    return
                }
                
                fmt.Printf("Response from %s: %s\n", u, body)
            }(url)
        }
        
        wg.Wait()
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36

    案例一:并发计算

    假设我们有一个需要计算大量数值的任务,我们可以使用Golang的GMP调度模型来实现并发计算,提高计算效率。

    package main
    
    import (
    	"fmt"
    	"sync"
    )
    
    func main() {
    	numbers := []int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10}
    	var wg sync.WaitGroup
    
    	for _, num := range numbers {
    		wg.Add(1)
    		go func(n int) {
    			defer wg.Done()
    			result := n * n
    			fmt.Printf("Square of %d is %d\n", n, result)
    		}(num)
    	}
    
    	wg.Wait()
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22

    在上述例子中,我们创建了一个包含10个数值的切片。然后,我们使用sync.WaitGroup来同步并发计算任务的完成。对于每个数值,我们创建一个Goroutine来执行计算操作。每个Goroutine计算完毕后,通过defer wg.Done()来通知sync.WaitGroup任务已完成。最后,通过wg.Wait()来等待所有任务完成。

    案例二:并发网络请求

    假设我们需要从多个URL中获取数据,我们可以使用Golang的GMP调度模型来实现并发网络请求,提高获取数据的效率。

    package main
    
    import (
    	"fmt"
    	"io/ioutil"
    	"net/http"
    	"sync"
    )
    
    func main() {
    	urls := []string{"http://example.com", "http://example.org", "http://example.net"}
    	var wg sync.WaitGroup
    
    	for _, url := range urls {
    		wg.Add(1)
    		go func(u string) {
    			defer wg.Done()
    			resp, err := http.Get(u)
    			if err != nil {
    				fmt.Printf("Error fetching %s: %v\n", u, err)
    				return
    			}
    			defer resp.Body.Close()
    
    			body, err := ioutil.ReadAll(resp.Body)
    			if err != nil {
    				fmt.Printf("Error reading response body from %s: %v\n", u, err)
    				return
    			}
    
    			fmt.Printf("Response from %s: %s\n", u, body)
    		}(url)
    	}
    
    	wg.Wait()
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36

    在上述例子中,我们创建了一个包含3个URL的切片。然后,我们使用sync.WaitGroup来同步并发网络请求任务的完成。对于每个URL,我们创建一个Goroutine来执行网络请求操作。每个Goroutine完成请求后,通过defer wg.Done()来通知sync.WaitGroup任务已完成。最后,通过wg.Wait()来等待所有任务完成。

    案例三:并发文件处理

    假设我们有一个包含多个文件名的切片,我们可以使用Golang的GMP调度模型来并发地处理这些文件,提高文件处理的效率。

    package main
    
    import (
    	"fmt"
    	"io/ioutil"
    	"sync"
    )
    
    func main() {
    	files := []string{"file1.txt", "file2.txt", "file3.txt"}
    	var wg sync.WaitGroup
    
    	for _, file := range files {
    		wg.Add(1)
    		go func(f string) {
    			defer wg.Done()
    			data, err := ioutil.ReadFile(f)
    			if err != nil {
    				fmt.Printf("Error reading file %s: %v\n", f, err)
    				return
    			}
    
    			fmt.Printf("Contents of %s:\n%s\n", f, data)
    		}(file)
    	}
    
    	wg.Wait()
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28

    在上述例子中,我们创建了一个包含3个文件名的切片。然后,我们使用sync.WaitGroup来同步并发文件处理任务的完成。对于每个文件名,我们创建一个Goroutine来执行文件处理操作。每个Goroutine完成处理后,通过defer wg.Done()来通知sync.WaitGroup任务已完成。最后,通过wg.Wait()来等待所有任务完成。

    通过以上三个案例,我们可以看到Golang的GMP调度模型在并发计算、并发网络请求和并发文件处理等场景下的优势。使用Golang的协程和调度器,我们可以编写高效的并发程序。

    总结

    Golang的GMP调度模型是实现高效协程调度和执行的核心机制。通过合理利用Goroutine、M和P的关系,调度器能够自动均衡地分配协程的执行,提高程序的并发性能。GMP模型适用于高并发和高吞吐量的场景,特别适合于I/O密集型和并行计算的应用。通过本文的介绍,读者可以更好地理解Golang的协程调度机制,并能够编写高效的并发程序。

  • 相关阅读:
    SNI代理与DNS解析相结合
    ElementUI动态树,数据表格以及分页的实现
    09-排序3 Insertion or Heap Sort(浙大数据结构)
    细说适配器模式
    指针和字符数组笔试题及其解析(第一组)
    page_to_phys()和virt_to_phys()
    【Python学习笔记】循环
    ClickHouse的Join算法
    jupyter notebook 运行没有反应
    java面试题2019_java面试题及答案_java面试题库
  • 原文地址:https://blog.csdn.net/hitpter/article/details/133934696