本文介紹如何使用C#實現(xiàn)并行執(zhí)行的流水線(生產(chǎn)者消費者):
上圖演示了流水線,action1接收input,然后產(chǎn)生結(jié)果保存在buffer1中,action2讀取buffer1中由action1產(chǎn)生的數(shù)據(jù),以此類推指導(dǎo)action4完成產(chǎn)生Output。
以上也是典型的生產(chǎn)者消費者模式。
上面的模式如果使用普通常規(guī)的串行執(zhí)行是很簡單的,按部就班按照流程圖一步一步執(zhí)行即可。如果為了提高效率,想使用并行執(zhí)行,也就是說生產(chǎn)者和消費者同時并行執(zhí)行,該怎么辦么?
class PiplelineDemo { PRivate int seed; public PiplelineDemo() { seed = 10; } public void Action1(BlockingCollection<string> output) { try { for (var i = 0; i < seed; i++) { output.Add(i.ToString());//initialize data to buffer1 } } finally { output.CompleteAdding(); } } public void Action2(BlockingCollection<string> input, BlockingCollection<string> output) { try { foreach (var item in input.GetConsumingEnumerable()) { var itemToInt = int.Parse(item); output.Add((itemToInt * itemToInt).ToString());// add new data to buffer2 } } finally { output.CompleteAdding(); } } public void Action3(BlockingCollection<string> input, BlockingCollection<string> output) { try { foreach (var item in input.GetConsumingEnumerable()) { output.Add(item);//set data into buffer3 } } finally { output.CompleteAdding(); } } public void Pipeline() { var buffer1 = new BlockingCollection<string>(seed); var buffer2 = new BlockingCollection<string>(seed); var buffer3 = new BlockingCollection<string>(seed); var taskFactory = new TaskFactory(TaskCreationOptions.LongRunning, TaskContinuationOptions.None); var stage1 = taskFactory.StartNew(() => Action1(buffer1)); var stage2 = taskFactory.StartNew(() => Action2(buffer1, buffer2)); var stage3 = taskFactory.StartNew(() => Action3(buffer2, buffer3)); Task.WaitAll(stage1, stage2, stage3); foreach(var item in buffer3.GetConsumingEnumerable())//print data in buffer3 { Console.WriteLine(item); } } } class Program { static void Main(string[] args) { new PiplelineDemo().Pipeline(); Console.Read(); } }
預(yù)期打印出了0-9自我相乘的結(jié)果。
代碼本身的邏輯和本文開始的流程圖是一一對應(yīng)的。
BlockingCollection<T>是.Net里面的一個線程安全集合。實現(xiàn)了IProducerConsumerCollection<T>.
GetConsumingEnumberable是一個非常強大的東東,專門寫一片文章介紹介紹。
新聞熱點
疑難解答