9月27日，在中關(guān)村論壇國(guó)際技術(shù)交易大會(huì)上，一流科技創(chuàng)始人&CEO袁進(jìn)輝宣布深度學(xué)習(xí)框架OneFlow v0.5.0正式上線GitHub，他重點(diǎn)介紹了OneFlow v0.5.0的四大特性。本次產(chǎn)品升級(jí)也是OneFlow自2020年7月31日開(kāi)源以來(lái)，功能發(fā)布最重磅的版本。

高效、易用、完備是任一深度學(xué)習(xí)框架在未來(lái)競(jìng)爭(zhēng)中勝出的必由之路。在用三年時(shí)間對(duì)最難的分布式計(jì)算和高效性問(wèn)題進(jìn)行攻關(guān)后，OneFlow開(kāi)源以來(lái)，已歷經(jīng)五次版本更迭，重點(diǎn)從優(yōu)化編譯、API接口等層面攻關(guān)易用性體驗(yàn)，同時(shí)持續(xù)優(yōu)化分布式性能，保持業(yè)界領(lǐng)先地位。

一方面，OneFlow框架一開(kāi)始就瞄準(zhǔn)最具挑戰(zhàn)的高效性，攻占技術(shù)制高點(diǎn)，并以此成為立足業(yè)界的安身之本。另一方面，隨著OneFlow v0.5.0的發(fā)布，OneFlow將帶給開(kāi)發(fā)者革命性的易用性體驗(yàn)，同時(shí)，也從全局視角打破了深度學(xué)習(xí)框架易用性和高效性不可兼得的桎梏，向著全球范圍內(nèi)最好用深度學(xué)習(xí)框架的目標(biāo)邁出了堅(jiān)實(shí)的一大步。

本次產(chǎn)品升級(jí)也入選了2021年度中關(guān)村論壇“百項(xiàng)新技術(shù)新產(chǎn)品榜單”。

四個(gè)“一”實(shí)現(xiàn)極致易用性體驗(yàn)

相比此前的版本，OneFlow v0.5.0在易用性上實(shí)現(xiàn)了四大技術(shù)特性。

一行代碼實(shí)現(xiàn)OneFlow與PyTorch切換

憑借易用性，PyTorch在深度學(xué)習(xí)框架市場(chǎng)異軍突起，其在單卡的eager mode，pythonic，面向?qū)ο缶幊痰仁褂迷O(shè)計(jì)上廣受認(rèn)可。新發(fā)布的OneFlow v0.5.0也接收了其設(shè)計(jì)想法，使其在編程API層面和PyTorch嚴(yán)格對(duì)齊，并對(duì)齊了相關(guān)模型的200多個(gè)算子。

對(duì)喜歡使用PyTorch的eager模式的開(kāi)發(fā)者來(lái)說(shuō)，只需更改一行代碼，就可以讓PyTorch上寫(xiě)的代碼在OneFlow中跑起來(lái)。

一段代碼實(shí)現(xiàn)動(dòng)態(tài)圖與靜態(tài)圖轉(zhuǎn)換

在編碼調(diào)試階段，動(dòng)態(tài)圖的編程模式的體驗(yàn)最好，但當(dāng)模型穩(wěn)定后，靜態(tài)圖模式在運(yùn)行效率方面更有優(yōu)勢(shì)。因此，最理想的框架是同時(shí)支持二者，使用戶在一個(gè)框架上享受到最佳的動(dòng)、靜態(tài)體驗(yàn)，并且最好動(dòng)、靜態(tài)圖可以自由轉(zhuǎn)換。

在OneFlow v0.5.0中，開(kāi)發(fā)者只需把使用動(dòng)態(tài)模式開(kāi)發(fā)的代碼用nn.Graph封裝起來(lái)，就可以享受靜態(tài)圖的好處。當(dāng)然，要想實(shí)現(xiàn)完全自動(dòng)的動(dòng)、靜態(tài)轉(zhuǎn)換，還需要進(jìn)一步攻關(guān)。

一致性視角實(shí)現(xiàn)單機(jī)和分布式無(wú)縫切換

隨著數(shù)據(jù)和模型的規(guī)模越來(lái)越大，單卡和單機(jī)已經(jīng)不能滿足開(kāi)發(fā)者的需求，很多工業(yè)級(jí)的深度學(xué)習(xí)模型必須在分布式集群上訓(xùn)練。

然而，由于分布式編程的門(mén)檻太高，且大部分算法科學(xué)家對(duì)分布式編程并不熟悉，這給分布式訓(xùn)練帶來(lái)一定挑戰(zhàn)。

為了讓開(kāi)發(fā)者無(wú)須關(guān)注復(fù)雜的分布式底層細(xì)節(jié)，只專注于邏輯層面的神經(jīng)網(wǎng)絡(luò)搭建，OneFlow創(chuàng)造性地發(fā)明了一致性視角（Consistent View）的概念，把分布式的多卡模擬成一塊超大的虛擬設(shè)備，統(tǒng)一了單機(jī)和分布式的編程接口，從而方便讓算法工程師低成本使用分布式計(jì)算來(lái)加速。

一套系統(tǒng)支持各種并行模式

不同神經(jīng)網(wǎng)絡(luò)的最優(yōu)并行方法并不相同，像CNN這類大數(shù)據(jù)、小模型的神經(jīng)網(wǎng)絡(luò)層次最好用數(shù)據(jù)并行，對(duì)超大的全連接層這種模型更大的層次最好用模型并行，對(duì)于feature map超大或者層次超深的神經(jīng)網(wǎng)絡(luò)更適合流水并行。

但很不幸，原有主流框架僅支持常用的數(shù)據(jù)并行，要想使用模型并行或者流水并行功能，就必須借助某種插件或者做深度定制，而且這種定制系統(tǒng)都只能用于HugeCTR，Megatron-LM等某一種類型的神經(jīng)網(wǎng)絡(luò)。

OneFlow在系統(tǒng)層面支持了數(shù)據(jù)并行、模型并行和流水并行，不需要額外的插件和定制開(kāi)發(fā)，就可以以最小代碼量高效支持任何神經(jīng)網(wǎng)絡(luò)。

“人有我優(yōu)，人無(wú)我有”的高效性

要知道，原有深度學(xué)習(xí)框架都聚焦于單卡的用戶體驗(yàn)，僅對(duì)適合數(shù)據(jù)并行的多機(jī)多卡場(chǎng)景處理的較好，但遇到Wide and Deep模型 、 GPT-3等超大模型，開(kāi)發(fā)者就會(huì)面臨多機(jī)多卡編程難、效率低下或無(wú)法實(shí)現(xiàn)等分布式深度學(xué)習(xí)的痛點(diǎn)。

盡管這些框架通過(guò)改進(jìn)框架設(shè)計(jì)或研發(fā)NCCL 、 Horovod 、 HugeCTR等第三方插件的方式取得了一些進(jìn)步，但受限于框架本身架構(gòu)設(shè)計(jì)的不足，仍不能滿足用戶對(duì)極致性能的需求 ，而OneFlow在這方面的優(yōu)勢(shì)可以概括為“人有我優(yōu)”和“人無(wú)我有”，是所有框架中的最優(yōu)解決方案。

支撐 OneFlow 高效性的背后有四大關(guān)鍵技術(shù)，其中靜態(tài)調(diào)度和流式執(zhí)行均為業(yè)界首創(chuàng)：

編譯器自動(dòng)編排并行模式和流水線：編譯器自動(dòng)解決從邏輯任務(wù)到硬件資源的映射，包括數(shù)據(jù)并行、模型并行、流水并行的設(shè)備分配以及數(shù)據(jù)路由方案，大大降低分布式編程的復(fù)雜度，用戶只須關(guān)心任務(wù)的邏輯結(jié)構(gòu)以及本次任務(wù)可使用的硬件資源，而不用去編程實(shí)現(xiàn)數(shù)據(jù)在硬件資源中的流動(dòng)機(jī)制。

靜態(tài)調(diào)度：把所有能在正式運(yùn)行之前得到的調(diào)度策略、資源管理策略等問(wèn)題都在編譯階段解決，運(yùn)行時(shí)不需要在線求解最優(yōu)的調(diào)度方案，從而大大降低運(yùn)行時(shí)開(kāi)銷(xiāo)。為了讓用戶在使用高度動(dòng)態(tài)模型時(shí)也有良好的體驗(yàn)，OneFlow內(nèi)部有動(dòng)靜兩套執(zhí)行機(jī)制。

去中心化協(xié)議：在運(yùn)行任務(wù)時(shí)，不再需要中心調(diào)度器，只需要支持上下游任務(wù)之間局部的握手信號(hào)即可，即生產(chǎn)者向消費(fèi)者發(fā)送的請(qǐng)求以及消費(fèi)者向生產(chǎn)者發(fā)送的確認(rèn)，整個(gè)系統(tǒng)以全鏈路異步的方式運(yùn)行。

流式執(zhí)行引擎：區(qū)別于其它深度學(xué)習(xí)框架把數(shù)據(jù)搬運(yùn)當(dāng)成二等公民，OneFlow將數(shù)據(jù)搬運(yùn)看作一等公民。在靜態(tài)分析階段，OneFlow就把磁盤(pán) IO、主存和設(shè)備之間數(shù)據(jù)搬運(yùn)，節(jié)點(diǎn)間數(shù)據(jù)搬運(yùn)看作和計(jì)算同等重要的任務(wù)，在代價(jià)分析和調(diào)度策略里作為一等公民進(jìn)行顯式建模，從而得到重疊傳輸和計(jì)算的最優(yōu)方案。

深度學(xué)習(xí)框架的演進(jìn)路線

作為新生代深度學(xué)習(xí)框架，盡管OneFlow在易用性和高效性上具有不俗實(shí)力，但它要想在未來(lái)進(jìn)一步擴(kuò)大在開(kāi)發(fā)者社區(qū)中的競(jìng)爭(zhēng)力，還需要在算子、模型庫(kù)等完備性上補(bǔ)足功課，而這需要更多社區(qū)開(kāi)發(fā)者參與其中。

未來(lái)，OneFlow深度學(xué)習(xí)框架將如何發(fā)展？一流科技創(chuàng)始人&袁進(jìn)輝給出了他的判斷：

框架平臺(tái)標(biāo)準(zhǔn)化：深度學(xué)習(xí)算法的標(biāo)準(zhǔn)化，帶來(lái)了軟件標(biāo)準(zhǔn)化的機(jī)會(huì)，深度學(xué)習(xí)框架正在走向標(biāo)準(zhǔn)化。

生態(tài)決定框架未來(lái)的競(jìng)爭(zhēng)力：之江實(shí)驗(yàn)室、北京智源人工智能研究院、粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院、之江實(shí)驗(yàn)室、中關(guān)村智用人工智能研究院等頂尖AI科研院所已使用OneFlow框架開(kāi)展研究工作。同時(shí)，聯(lián)合寒武紀(jì)、燧原科技、曙光DCU等芯片、云廠商上下游企業(yè)，推進(jìn)適配OneFlow框架的超大模型訓(xùn)練方案。下一步，一流科技將推動(dòng)與更多芯片廠商和廣大開(kāi)發(fā)者的合作，打造AI平臺(tái)的繁榮生態(tài)。

軟件2.0趨勢(shì)：前特斯拉AI 負(fù)責(zé)人Andrej Karpathy曾指出，軟件 1.0 的“經(jīng)典堆�！笔怯� Python、C++ 等語(yǔ)言編寫(xiě)的計(jì)算機(jī)顯式指令，與 軟件1.0 不同，軟件 2.0 用深度學(xué)習(xí)模型從數(shù)據(jù)中自動(dòng)推導(dǎo)生成軟件的編程范式，深度學(xué)習(xí)框架極有可能會(huì)朝這一方向邁進(jìn)。

像數(shù)據(jù)庫(kù)產(chǎn)品那樣提供標(biāo)準(zhǔn)化服務(wù)

面向社區(qū)開(kāi)發(fā)者，一流科技在不斷提升OneFlow框架用戶體驗(yàn)；與此同時(shí)，作為一個(gè)商業(yè)化公司，基于OneFlow框架，相應(yīng)推出了標(biāo)準(zhǔn)化解決方案，包括云邊端AI基礎(chǔ)設(shè)施OneBrain、OneAgent智能決策平臺(tái)和OneFlow智能云平臺(tái)。他們認(rèn)為，AI產(chǎn)業(yè)化機(jī)會(huì)在于標(biāo)準(zhǔn)化的基礎(chǔ)設(shè)施和云原生趨勢(shì)。

OneBrain開(kāi)發(fā)平臺(tái)具有豐富的開(kāi)發(fā)模式，支持高性能分布式訓(xùn)練、多租戶的資源調(diào)度和混合云的解決方案。

通過(guò)私有化部署，用戶可以在OneBrain上可以實(shí)現(xiàn)多租戶和多任務(wù)管理，支持可視化、日志分析等功能，根據(jù)用戶的集成規(guī)模、節(jié)點(diǎn)、使用時(shí)長(zhǎng)等計(jì)費(fèi)。

OneAgent智能決策平臺(tái)是一個(gè)基于深度強(qiáng)化學(xué)習(xí)的平臺(tái)，它創(chuàng)造性地使用了微服務(wù)架構(gòu)，主要面向無(wú)人對(duì)戰(zhàn)、路徑規(guī)劃、態(tài)勢(shì)感知與智能博弈、金融量化交易等深度強(qiáng)化學(xué)習(xí)的應(yīng)用場(chǎng)景。

此外，OneFlow智能云平臺(tái)作為面向廣大開(kāi)發(fā)者的AI實(shí)訓(xùn)與開(kāi)發(fā)平臺(tái)，提供精品算法講解、開(kāi)源算法實(shí)測(cè)、在線編程環(huán)境及算力。它能幫助開(kāi)發(fā)者快速掌握深度學(xué)習(xí)開(kāi)發(fā)的相關(guān)技能，邊學(xué)邊連。未來(lái)，OneFlow智能云平臺(tái)還將面向中小企業(yè)用戶提供PaaS和SaaS服務(wù)，幫助更多企業(yè)用AI賦能生產(chǎn)和管理。

目前，一流科技已服務(wù)十多家客戶，尤其是對(duì)性能、大規(guī)模分布式場(chǎng)景有迫切需求的頭部互聯(lián)網(wǎng)公司、安防公司、政務(wù)云、科研院所等機(jī)構(gòu)，涵蓋圖像、自然語(yǔ)言處理、金融、廣告/推薦等應(yīng)用場(chǎng)景。