CUDA軟件架構(gòu)—網(wǎng)格（Grid）、線程塊（Block）和線程（Thread）的組織關(guān)系以及線程索引的計(jì)算公式

2019-11-14 09:49:49

字體：大中小

供稿：網(wǎng)友

網(wǎng)格（Grid）、線程塊（Block）和線程（Thread）的組織關(guān)系

CUDA的軟件架構(gòu)由網(wǎng)格（Grid）、線程塊（Block）和線程（Thread）組成，相當(dāng)于把GPU上的計(jì)算單元分為若干（2~3）個(gè)網(wǎng)格，每個(gè)網(wǎng)格內(nèi)包含若干（65535）個(gè)線程塊，每個(gè)線程塊包含若干（512）個(gè)線程，三者的關(guān)系如下圖：

Thread，block，grid是CUDA編程上的概念，為了方便程序員軟件設(shè)計(jì)，組織線程。

thread：一個(gè)CUDA的并行程序會(huì)被以許多個(gè)threads來執(zhí)行。block：數(shù)個(gè)threads會(huì)被群組成一個(gè)block，同一個(gè)block中的threads可以同步，也可以通過shared memory通信。grid：多個(gè)blocks則會(huì)再構(gòu)成grid。

網(wǎng)格（Grid）、線程塊（Block）和線程（Thread）的最大數(shù)量

CUDA中可以創(chuàng)建的網(wǎng)格數(shù)量跟GPU的計(jì)算能力有關(guān)，可創(chuàng)建的Grid、Block和Thread的最大數(shù)量參看以下表格：

在單一維度上，程序的執(zhí)行可以由多達(dá)3*65535*512=100661760（一億）個(gè)線程并行執(zhí)行，這對(duì)在CPU上創(chuàng)建并行線程來說是不可想象的。

線程索引的計(jì)算公式

一個(gè)Grid可以包含多個(gè)Blocks，Blocks的組織方式可以是一維的，二維或者三維的。block包含多個(gè)Threads，這些Threads的組織方式也可以是一維，二維或者三維的。CUDA中每一個(gè)線程都有一個(gè)唯一的標(biāo)識(shí)ID—ThreadIdx，這個(gè)ID隨著Grid和Block的劃分方式的不同而變化，這里給出Grid和Block不同劃分方式下線程索引ID的計(jì)算公式。1、 grid劃分成1維，block劃分為1維 int threadId = blockIdx.x *blockDim.x + threadIdx.x; 2、 grid劃分成1維，block劃分為2維 int threadId = blockIdx.x * blockDim.x * blockDim.y+ threadIdx.y * blockDim.x + threadIdx.x; 3、 grid劃分成1維，block劃分為3維 int threadId = blockIdx.x * blockDim.x * blockDim.y * blockDim.z + threadIdx.z * blockDim.y * blockDim.x + threadIdx.y * blockDim.x + threadIdx.x; 4、 grid劃分成2維，block劃分為1維 int blockId = blockIdx.y * gridDim.x + blockIdx.x; int threadId = blockId * blockDim.x + threadIdx.x; 5、 grid劃分成2維，block劃分為2維 int blockId = blockIdx.x + blockIdx.y * gridDim.x; int threadId = blockId * (blockDim.x * blockDim.y) + (threadIdx.y * blockDim.x) + threadIdx.x; 6、 grid劃分成2維，block劃分為3維 int blockId = blockIdx.x + blockIdx.y * gridDim.x; int threadId = blockId * (blockDim.x * blockDim.y * blockDim.z) + (threadIdx.z * (blockDim.x * blockDim.y)) + (threadIdx.y * blockDim.x) + threadIdx.x; 7、 grid劃分成3維，block劃分為1維 int blockId = blockIdx.x + blockIdx.y * gridDim.x + gridDim.x * gridDim.y * blockIdx.z; int threadId = blockId * blockDim.x + threadIdx.x; 8、 grid劃分成3維，block劃分為2維 int blockId = blockIdx.x + blockIdx.y * gridDim.x + gridDim.x * gridDim.y * blockIdx.z; int threadId = blockId * (blockDim.x * blockDim.y) + (threadIdx.y * blockDim.x) + threadIdx.x; 9、 grid劃分成3維，block劃分為3維 int blockId = blockIdx.x + blockIdx.y * gridDim.x + gridDim.x * gridDim.y * blockIdx.z; int threadId = blockId * (blockDim.x * blockDim.y * blockDim.z) + (threadIdx.z * (blockDim.x * blockDim.y)) + (threadIdx.y * blockDim.x) + threadIdx.x;

上一篇：快排算法

下一篇：IO流知識(shí)小結(jié)（一）