Google 發(fā)布了開源機器學習系統(tǒng)DistBelief

　Google于 2011 年推出了人工深度學習系統(tǒng)——DistBelief。通過 DistBelief，Google 能夠掃描數(shù)據(jù)中心數(shù)以千計的核心，并建立更大的神經(jīng)網(wǎng)絡。Google 的這個系統(tǒng)將 Google 應用中的語音識別率提高了 25%，以及在 Google Photos 中建立了圖片搜索，并驅(qū)動了 Google 的圖片字幕匹配實驗。

　　就第一代產(chǎn)品而言，DisBelief 應該說是十分成功的產(chǎn)品，但同時也因為是第一代產(chǎn)品，DisBelief 還存在不少不足和限制。它很難被設置，也和過于 Google 內(nèi)部的基礎設施聯(lián)系過于緊密，這導致這幾乎不可能分享研究代碼。

　　針對以上問題，今天，Google 在 Google Research Blog 宣布推出新一代人工智能學習系統(tǒng) TensorFlow。根據(jù) Google 的說法，TensorFlow 是綜合的、靈活的、可移植的、易用的更為關(guān)鍵的是，它是開源的。與此同時，TensorFlow 的速度相比前代的 DistBelief 有了不小提升，在一些跑分測試中，TensorFlow 的表現(xiàn)是之前第一代系統(tǒng)的兩倍。

　　TensorFlow 內(nèi)建有廣泛的深度學習支持，但卻更有普遍性，幾乎任何你可以用計算流程圖表表示的計算都能使用 TensorFlow 計算。

Google于 2011 年推出了人工深度學習系統(tǒng)——DistBelief

　　對于搜索來說，TensorFlow 自然是極好的，但它現(xiàn)在已經(jīng)準備好運用在真實的產(chǎn)品中了。你可以將你的創(chuàng)意從你的桌面 GPU 無縫運行到你的手機上。你也能迅速啟動有力的機器學習技術(shù)。

　　不過以上都不重要，最為關(guān)鍵的是，TensorFlow 是你的。這是一個開源軟件，就像一個獨立圖書館，工具、或者輔導課。你可以在任何你工作的地方使用 TensorFlow。

　　Google 的工程師們將以這些源于深度神經(jīng)網(wǎng)絡的信號用于 Google 搜索，并將 TensorFlow 服務于 Google 更多的產(chǎn)品。

==========================================================

http://blog.csdn.net/itplus/article/details/31831661

DistBelief 框架下的并行隨機梯度下降法 - Downpour SGD

機器學習（36） 

并行計算（2） 

深度學習（19） 

版權(quán)聲明：本文為博主原創(chuàng)文章，未經(jīng)博主允許不得轉(zhuǎn)載。

      
     本文是讀完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一則讀書筆記，重點介紹在 Google 的軟件框架 DistBelief 下設計的一種用來訓練大規(guī)模深度神經(jīng)網(wǎng)絡的隨機梯度下降法 — Downpour SGD，該方法通過分布式地部署多個模型副本和一個“參數(shù)服務器”，同時實現(xiàn)了模型并行和數(shù)據(jù)并行，且對機器失效問題具有很好的容錯性。結(jié)合 Adagrad 自適應學習率使用，對非凸優(yōu)化問題有很好的效果。
作者: peghoty 
出處: http://blog.csdn.net/itplus/article/details/31831661
歡迎轉(zhuǎn)載/分享, 但請務必聲明文章出處.