第17期 2020/12/15
打通實驗室到現(xiàn)實生活的“最后一公里”，英特爾的獨家軟件策略
軟件在當下的重要性不言而喻，而軟件也是英特爾六大技術(shù)支柱之一，通過創(chuàng)建統(tǒng)一的軟件架構(gòu)，全面覆蓋從云到端的計算，為全新的硬件架構(gòu)帶來指數(shù)級的性能提升，發(fā)掘更多的潛力。
英特爾架構(gòu)、圖形和軟件集團副總裁兼中國區(qū)總經(jīng)理謝曉清告訴記者，從軟件生態(tài)來說，英特爾x86歷經(jīng)多年所打造的這樣一個生態(tài)系統(tǒng)是我們x86平臺最大的財富。
特別是英特爾推出的oneAPI能夠支持異構(gòu)計算的平臺軟件，釋放最大的硬件潛能。同時oneAPI也使得軟件生態(tài)中的開發(fā)者在軟件方面的投資可以得到最大程度的復用，不需要綁定在單一的硬件架構(gòu)上面，開發(fā)效率也可以得到最大化。
英特爾秉持的軟件策略
英特爾構(gòu)建了完整的系統(tǒng)軟件堆棧，并與主流的操作系統(tǒng)廠商保持了緊密的合作。尤其是在開源軟件方面，英特爾進行了很大的技術(shù)投入和技術(shù)儲備，在開源社區(qū)進行了非常多的貢獻。
而在虛擬化與云計算方面，英特爾積極參與OpenStack、Kubernetes等開源技術(shù)社區(qū)的建設，保證了這些應用可以充分利用英特爾硬件的功能。謝曉清說，英特爾的軟件策略可以概括為三點：軟件優(yōu)先、易于擴展、全新的計算負載和用戶場景。
具體來說，英特爾聚焦XPU異構(gòu)計算，并在近日推出了全新的GPU產(chǎn)品，而GPU在圖形、多媒體、計算方面都需要非常穩(wěn)定的生態(tài)。而在計算方面，過去幾十年英特爾在CPU的軟件生態(tài)是其最大的資本，可以將把它們從CPU領域擴展到GPU領域，乃至到其他的異構(gòu)計算領域。
英特爾在編程語言、系統(tǒng)庫以及工具鏈方面已經(jīng)有了非常強有力的生態(tài)支持。全新的GPU產(chǎn)品可以利用現(xiàn)有的軟件生態(tài)作為基礎實現(xiàn)快速發(fā)展。
在GPU市場，英特爾如果想最大限度得到GPU開發(fā)者的支持，就需要覆蓋不同的細分市場。為此，英特爾實現(xiàn)了獨立顯卡和集成顯卡的軟件兼容，特別是oneAPI的推出讓GPU的軟件開發(fā)更加便利。
英特爾的的目標是性能至上，旨在發(fā)揮所有產(chǎn)品最大的硬件性能優(yōu)勢。oneAPI產(chǎn)品可以支持多樣的異構(gòu)計算的硬件，包括CPU和GPU，以后會支持其他的AI硬件加速以及FPGA等，幫助開發(fā)者進行快速有效的軟件開發(fā)工作。
目前，oneAPI支持包括Hadoop、Spark、TensorFlow、PyTorch、PaddlePaddle、OpenVINO等AI工具包，方面AI應用開發(fā)商開發(fā)應用。
謝曉清表示，oneAPI提供給用戶一個非常友好的編程環(huán)境，使得開發(fā)者可以自由選擇硬件平臺，不必要用某一種語言就必須綁定在某一個硬件平臺上面。第二，oneAPI提供的編譯器、系統(tǒng)都是高度優(yōu)化，所以可以實現(xiàn)最大的硬件產(chǎn)能，并且最優(yōu)支持不同異構(gòu)計算的硬件加速。第三，oneAPI的開發(fā)模式非�？焖佟⒏咝�，并且源碼的維護成本可以達到最低。
另外，在場景擴展方面，隨著業(yè)務應用的多樣化，英特爾重點發(fā)展新的計算負載和用戶場景，更好地滿足客戶需求。
在不同的時代背景下，英特爾與不同的產(chǎn)業(yè)合作伙伴一起推動軟件生態(tài)發(fā)展，比如PC時代，英特爾與微軟等合作，軟件工具能夠覆蓋百萬級的軟件開發(fā)者；在移動互聯(lián)網(wǎng)和云計算時代，英特爾與谷歌的安卓、蘋果的iOS、Linux社區(qū)等合作，開發(fā)者達到了千萬級；進入人工智能時代，英特爾與Kubernetes、Kata Containers等開源社區(qū)以及云產(chǎn)品提供商、云服務提供商等合作。
例如在最新發(fā)布的英特爾Server GPU—SG1支持安卓云游戲的解決方案，依托強大的圖形渲染能力以及多媒體編解碼能力，利用獨立GPU把云游戲的圖形界面能夠在云端直接渲染，并且利用流媒體的方式，把它編碼之后直接發(fā)布到終端。這一方案目前有望在騰訊云上實現(xiàn)產(chǎn)品化。
此外，基于英特爾至強可擴展處理器和英特爾Server GPU服務器和虛擬化計算，英特爾中國團隊和阿里巴巴天貓精靈團隊緊密合作，短時間內(nèi)完成云應用平臺整體上線，實現(xiàn)云、邊、端一體化，打造全新的客戶體驗。
AI從實驗室進入現(xiàn)實生活
當前，AI已經(jīng)進入到我們現(xiàn)實生活的方方面面，而對于在現(xiàn)實場景當中需要把這些AI落地的開發(fā)人員來說，最大的一個挑戰(zhàn)是如何將AI算法應用到復雜的數(shù)據(jù)當中。去年6月，英特爾在中國成立大數(shù)據(jù)分析和人工智能創(chuàng)新院，加快統(tǒng)一的大數(shù)據(jù)分析和人工智能技術(shù)的創(chuàng)新和應用。
英特爾大數(shù)據(jù)技術(shù)全球CTO、大數(shù)據(jù)分析和人工智能創(chuàng)新院院長戴金權(quán)表示，數(shù)據(jù)洪流下，如何將AI可以直接應用到大數(shù)據(jù)的生產(chǎn)環(huán)境中，并且能夠無縫進行大規(guī)模擴展成為調(diào)整。為此，Analytics Zoo應運而生。
現(xiàn)實生產(chǎn)環(huán)境面對大量復雜的生產(chǎn)數(shù)據(jù)，企業(yè)需要構(gòu)建大數(shù)據(jù)平臺對數(shù)據(jù)進行管理，而將AI技術(shù)運用到這些場景中，他們的一大痛點就是如何高效、無縫、可擴展地將AI算法應用到現(xiàn)有大數(shù)據(jù)平臺，或者是現(xiàn)有的數(shù)據(jù)系統(tǒng)當中。
針對企業(yè)痛點，Analytics Zoo是英特爾開源的一個端到端的大數(shù)據(jù)＋AI的軟件平臺，能夠幫助用戶可以直接無縫地將AI模型運行在分布式大數(shù)據(jù)上面。
現(xiàn)實中構(gòu)建一個端到端的AI流水線并不容易，需要非常多的專業(yè)知識，比如機器學習、深度學習等。Analytics Zoo通過高級的機器學習的工作流可以將任務實現(xiàn)自動化。
Analytics Zoo面向非常多地應用場景，比如推薦系統(tǒng)、時間序列分析、計算機視覺以及自然語言處理等。戴金權(quán)還詳細介紹了用戶如何利用Analytics Zoo解決他們實際應用場景的問題。
在快餐推薦的場景下，用戶實時的點餐行為和各種情景特征（比如時間、天氣和位置等）都是能夠被用來做合適推薦的重要因素。
當顧客開始點單，收銀員把商品輸入到訂單當中時，希望能夠構(gòu)建一個模型，將這些點單的行為及相關信息收集起來，進行實時推薦。例如，當客戶點了一個漢堡或者甜品后，是否需要再點薯條之類的零食。
漢堡王便進行了這種嘗試，其利用Analytics Zoo提供的RayOnSpark功能，使用Ray、Apache Spark和Apache MXNet構(gòu)建了一個完整的端到端的推薦系統(tǒng)，讓顧客有更多地選擇，更符合顧客的偏好選擇。
推薦系統(tǒng)將數(shù)據(jù)處理（使用Spark）和分布式訓練（使用MXNet和Ray ）集成到一個統(tǒng)一的數(shù)據(jù)分析和AI流水線中，并直接運行在存儲數(shù)據(jù)的同一個大數(shù)據(jù)集群上面。
在運營商中，基站的健康運行對于網(wǎng)絡質(zhì)量有著重要影響。作為韓國最大的電信公司，SK電信希望利用利用大量基站收集的KPI信息，作為一個時間序列可以預測網(wǎng)絡質(zhì)量進行異常告警。
SK電信構(gòu)建了一個相對復雜的大數(shù)據(jù)平臺，該平臺分為兩個集群，一個大數(shù)據(jù)集群，一個是GPU集群。兩個不同的工作流對于開發(fā)部署非常不方便。
后來，SK電信與英特爾合作，將整個架構(gòu)遷移到Analytics Zoo平臺，直接在Spark集群上對數(shù)據(jù)進行處理，數(shù)據(jù)處理之后，可以直接利用Analytics Zoo將TensorFlow模型基于內(nèi)存的數(shù)據(jù)來進行訓練與推理，結(jié)果訓練最高可以達到4倍的提升，推理上有3-6倍的性能提升。
此外，對于風能發(fā)電行業(yè)來說，有一個很大的挑戰(zhàn)，有時候發(fā)電量很高，有時候發(fā)電量較低。當需要把風能發(fā)電接入到電網(wǎng)時會遇到阻礙，因為電網(wǎng)會要求非常穩(wěn)定，至少要能很好地預見能輸出多少電，或準確預測風電功率。
作為一個為風能發(fā)電廠提供智能運營的企業(yè)，金風慧能需要為行業(yè)用戶提供一個部署更為便捷、預測更為精確的新一代智能功率預測方案�；诖耍痫L慧能與英特爾開展緊密合作，基于英特爾統(tǒng)一的大數(shù)據(jù)分析和AI平臺——Analytics Zoo，金風慧能將方案中涉及的軟件與框架無縫集成到同一管道中。
這一方法有助于金風慧能將數(shù)據(jù)存儲、數(shù)據(jù)處理以及訓練推理的流水線整合到統(tǒng)一的基礎設施上，來大幅提升新方案的部署效率、資源利用率和可擴展性，并減少用于硬件管理及系統(tǒng)運維的成本。
同時，Analytics Zoo還提供了英特爾的眾多底層軟件加速庫，比如英特爾MKL和英特爾MKL-DNN應用到上層功率預測方案的優(yōu)化中去；并可將TensorFlow、Keras模型透明地擴展到大數(shù)據(jù)集群，使用戶能更方便地在訓練或推理方案中采用分布式架構(gòu)，最終風電功率的準確率可以相比以前從59%左右提升到79%左右，不僅提高了風電功率預測準確率，同時也大大提高端到端訓練的效率。
金風慧能與英特爾通過協(xié)作，不僅開發(fā)出了更為完善、高效和精確的全新智能功率預測方案，還已著手將它用于實踐。來自金風慧能的數(shù)據(jù)統(tǒng)計表明，在風電場中引入這種更為高效的AI預測方案，能夠幫助電力企業(yè)顯著提升發(fā)電效率，為踐行綠色環(huán)保的新能源理念提供強有力的支撐。
目前，英特爾的合作伙伴已經(jīng)將Analytics Zoo嵌入到他們的產(chǎn)品或者內(nèi)部應用當中，比如寶德利用Analytics Zoo的功能發(fā)布了AI推理一體機，像阿里云、騰訊云基于Analytics Zoo的技術(shù)或者開源平臺融入公有云服務。
戴金權(quán)指出，“在人工智能時代，AI和數(shù)據(jù)分析是我們將來非常重要的一個應用場景。特別是在把AI和數(shù)據(jù)分析應用到現(xiàn)實生產(chǎn)系統(tǒng)當中，Analytics Zoo通過集成大量的機器學習、深度學習和大數(shù)據(jù)分析技術(shù)，以及英特爾提供了大量的底層加速庫和優(yōu)化框架，借助英特爾硬件平臺，提高端到端的AI流水線運行效率和開發(fā)效率，讓我們的用戶和客戶可以構(gòu)建他們實際的應用場景。”
本文章選自《AI啟示錄》雜志，閱讀更多雜志內(nèi)容，請掃描下方二維碼
