麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 編程 > JavaScript > 正文

深入探究node之Transform

2019-11-19 16:02:10
字體:
來源:轉載
供稿:網友

本文詳細的介紹了node Transform ,分享給大家,希望此文章對各位有所幫助。

Transform流特性

在開發中直接接觸Transform流的情況不是很多,往往是使用相對成熟的模塊或者封裝的API來完成流的處理,最為特殊的莫過于through2模塊和gulp流操作。那么,Transform流到底有什么特點呢?

從名稱上說,Transform意為處理,類似于生產流水線上的每一道工序,每道工序針對到來的產品作相應的處理;從結構上看,Transform是一個雙工流,通俗的解釋它既可以作為可讀流,也可作為可寫流。但是,node卻對Transform流針對其特性做了更為特殊的定制,使Transform不是單純的Duplex流。

Transform流由于包含了Readable和Writeable特性,因此Transform在實際使用中有著多種方式:它既可以只作為消費者消費數據,也可同時作為生產者和消費者完成數據中間處理。下面將逐漸深入內部闡述Transform的運行機理及使用技巧。

Transform內部架構

上圖表示一個Transform實例的組成部分:Readable部分緩沖(數組)、內部_read函數、Writeable部分緩沖(鏈表)、內部_write函數、Transform實例必須實現的內部_transform函數以及系統提供的回調函數afterTransform。由于Transform實例同時擁有兩部分緩沖,因此2個緩沖的存儲、消耗的順序也就需要了解,這對于后面使用原生Transform編寫代碼有很大的指導意義。

傳統意義的流(即Readable和Writeable)的實現者都需要實現對應的內部函數_read()和_write(),對于Readable實例而言,_read函數用于準備從源文件中獲取數據并添加到讀緩沖中;對于Writeable實例_write函數則從寫緩沖鏈表中一次刷入到磁盤中。它們分別對應了讀寫流程的首尾步驟,具體可以關注node中的Stream一文。

而Transform中的_read和_write函數的實現大有不同,由于需要兼顧流的處理,因此著重分析Transform的內部函數執行流程。

示例demo:

readable.pipe(transform);

以上段示例代碼為例,transform作為消費者消費readable。

Transform的實例transform擁有transormState和readableState屬性,保存了相關屬性,如tranform狀態信息、回調函數存儲和編碼等。transform作為消費者,會在其write函數中消費數據,在node中的Stream文中介紹了write函數的實現細節,通過內部調用_write函數實現數據的寫入。而在Transform中_write函數已經重寫:

1.保存transform收到的chunk數據、編碼和函數(執行刷新寫緩沖)

2.在一定條件下執行_read函數(當狀態為非轉換下,只要讀緩沖大小未超過設定的大小,則執行_read)

如果一切順利,readable的數據會順利執行transform的**write->_write->_read**,那么原本負責填充讀緩沖的_read在Transform中發生了哪些改變呢?

Transform.prototype._read = function(n) { var ts = this._transformState; if (ts.writechunk !== null && ts.writecb && !ts.transforming) {  ts.transforming = true;  this._transform(ts.writechunk, ts.writeencoding, ts.afterTransform); } else {  // mark that we need a transform, so that any data that comes in  // will get processed, now that we've asked for it.  ts.needTransform = true; }};

可見,_read的實現非常簡單,根據條件選擇執行_transform函數。需要注意的是_read的參數n并未有使用,因為是否插入數據至讀緩沖是由開發者在_transform中來決定。相信大家對_transform函數并不陌生,node規定Transform實例必須提供_transform函數,而該函數正是在_read中調用。

_transform有三個參數,第一個為待處理的chunk數據,第二個為編碼,第三個為回調函數。前兩個參數很好理解,我們可以在_transform中盡情的處理數據,最后調用回調函數完成處理。那么,這個回調函數究竟是什么? 它就是Transform架構圖中的afterTransform函數,它有幾個功能:

1.清空各種狀態信息,如transformState對象的一些屬性,用于下次處理數據使用

2.可選的保存處理結果至讀緩沖區

3.刷新寫緩沖區,執行下一階段的數據流處理

可見,在afterTransform函數執行后,才基本宣告transform第一階段的結束。為何是第一階段呢?因為transform才完成了作為消費者(即Writeable)的作用,如果用戶在_transform中傳入了數據到寫緩沖區,那么此時transform也同時是一個生產者,提供數據讓后面的消費者消費數據,這就涉及到了Transform使用上的問題。

Transform的生產消費實例

const stream = require('stream')var c = 0;const readable = stream.Readable({ highWaterMark: 2, read: function () {  var data = c < 26 ? String.fromCharCode(c++ + 97) : null;  console.log('push', data);  this.push(data);}})const transform = stream.Transform({ highWaterMark: 2, transform: function (buf, enc, next) {  console.log('transform', buf.toString());  next(null, buf); }})readable.pipe(transform);

示例代碼很簡單,創建了一個可讀流,向消費者提供a-z的小寫字母;創建了一個轉換流,在_transform函數中針對數據并不做處理僅作打點輸出,并向回調函數傳遞數據至讀緩沖區。我們的目的是通過transform輸出26個小寫字母,但是當前程序執行的結果并不讓人滿意:

執行結果:
push a
push b
transform a
push c
transform b
push d
push e
push f

tranform僅僅處理到字母b,readable也僅僅提供了a-f的數據便戛然而止,這是為何?

這一切都歸結于transform對象。認真讀過上文后我們知道,所有的Transform實例同時有兩個緩沖區,其中寫緩沖區用來接收生產者的數據進行轉換操作,讀緩沖區則緩存數據給消費者使用。而在當前的實現中,transform._transform函數輸出了待處理數據,同時執行next(null, buf);。該函數上文已有分析,即afterTransform函數,第一個參數為Error實例,第二個則為存入讀緩沖區的數據。在本例中,執行完_transform后將處理后的數據存入讀緩沖區,等待后面的消費者消費讀緩沖區的數據。可是,transform后面沒有消費者了,因此transform在處理完字母b存入讀緩沖區后,讀緩沖區已經滿了(設定highWaterMark為2,即讀寫緩沖區的最大值均為2字節)。當字母c、d也執行到tranform._write后,由于不滿足執行transform._read的條件無法執行transform._transform函數,更無法執行afterTransform函數,導致無法刷新寫緩沖區的數據,造成字母c、d貯存在寫緩沖區。而字母e、f則由于transform的寫緩沖區滿(transform.write()返回false),只有存儲在readable的讀緩沖區中,等待消費。這就造成了死循環,readable和transform所有的緩沖區都滿了,流也就停止了。

解決這個問題的方法很簡單,有兩種不同方案:

1.transform的讀緩沖區保持為空

2.增加消費者消費transform的讀緩沖區

其實本質上都是讓transform的讀緩沖區得到消耗。

第一種方案:

保證transform的讀緩沖區為空:

const transform = stream.Transform({ highWaterMark: 2, transform: function (buf, enc, next) {  console.log('transform', buf.toString())  next(null, null) }})

只需向next函數傳入null即可,這樣transform消費完數據后即宣告數據處理結束,讀緩沖區始終為空。

第二種方案:

添加消費者:

const transform = stream.Transform({ highWaterMark: 2, transform: function (buf, enc, next) {  console.log('transform', buf.toString())  next(null, buf) }})readable.pipe(transform).pipe(process.stdout);

transform實現不變,只是添加了消費者process.stdout。這樣也同時保證了transform的讀緩沖區處于可添加狀態,也給了afterTransform函數刷新寫緩沖區的機會,開啟新的數據處理流程。

through2的實現

through2的重頭戲在于Transform流,使用through2的API可方便的創建一個Transform實例,完成數據流的處理。

function through2 (construct) { return function (options, transform, flush) {  if (typeof options == 'function') {   flush   = transform   transform = options   options  = {}  }  if (typeof transform != 'function')   transform = noop  if (typeof flush != 'function')   flush = null  return construct(options, transform, flush) }}module.exports = through2(function (options, transform, flush) { var t2 = new DestroyableTransform(options) t2._transform = transform if (flush)  t2._flush = flush return t2})

可見,through2模塊僅僅是封裝了Transform的構造函數,并封裝了更為易用的objectMode模式。之所以建議使用through2創建Transform對象,不僅僅是因為其提供了方便的API,更主要的是為了兼容性。Transform對象是屬于Stream2.0的特性,早先版本的node并沒有實現,而通過through2創建的Transform實例在之前版本的node下仍可正常使用,這是由于through2并未引用node默認提供的stream模塊,而是使用社區中較為流行的“readable-stream”模塊。

總結

本文旨在深入through2中的使用的Transform流進行探究,并作為上一篇文章node中的stream的回顧和應用。通過文末簡單的示例了解Transform在開發中可能出現的問題,學會隨意切換Transform的生產者和消費者的身份,更好的指導實際開發。

以上所述是小編給大家介紹的node之Transform ,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對武林網網站的支持!

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 日本在线视频免费观看 | 一级做a爱片性色毛片高清 国产精品色在线网站 | 99最新网址 | 免费专区 - 91爱爱 | 久久色伦理资源站 | 免费黄色入口 | 911视频免费版 | 伊人午夜视频 | 成人影片在线免费观看 | 日本特级a一片免费观看 | 久久蜜桃香蕉精品一区二区三区 | 久久国产免费视频 | 亚洲精品久久久久久下一站 | 久久丝袜脚交足黄网站免费 | 中文区中文字幕免费看 | 国产乱淫av片免费网站 | 男女羞羞视频在线观看免费 | 视频一区二区三区在线播放 | 久久靖品 | 午夜视频在线看 | 91九色网址 | 亚洲小视频在线 | 最新中文字幕在线视频 | 91在线观看 | 国产毛片在线高清视频 | 深夜免费福利视频 | 91成人免费网站 | 香蕉国产在线视频 | 少妇色诱麻豆色哟哟 | 天堂亚洲一区 | 媚药按摩痉挛w中文字幕 | 一级毛片免费高清视频 | 欧美成人精品欧美一级 | 人禽l交免费视频观看 视频 | 精品不卡| 羞羞视频在线免费 | 色99久久| 销魂美女一区二区 | 91真视频| 欧美精品一区自拍a毛片在线视频 | 爱操影视 |