對(duì)GPU進(jìn)行性能優(yōu)化時(shí)，cudagraph是繞不開(kāi)的話題。

不僅是GPU，大部分的xpu都會(huì)提供類似graph mode的優(yōu)化，相比于每次分別由CPU進(jìn)行kernel launch的eager mode，graph mode通常都會(huì)有較大性能提升，然而也經(jīng)常容易出現(xiàn)各種各樣的奇怪問(wèn)題。

NVIDIA有一個(gè)簡(jiǎn)單的 博客 介紹，其中只使用了stream capture的形式來(lái)構(gòu)造cudagraph，而且本質(zhì)上就是多個(gè)kernel前后提交，根本無(wú)法展示cudagraph的復(fù)雜性。

本文嘗試從底層原理出發(fā)，根據(jù)文檔 和 …。