四虎影视精品永久在线观看,中文字幕婷婷日韩欧美亚洲 ,婷婷成人综合激情在线视频播放,中文在线а√天堂,伊人久久大香线蕉成人

AI啟示錄 特刊 2022/01/06

有了Serverless 企業(yè)不用再為挖掘數(shù)據(jù)價值而煩惱

數(shù)據(jù)分析已經(jīng)紛紛遷移到云上,而且在融入Serverless的理念后,云上分析可以提供更為極致的用戶體驗。

上世紀(jì)八十年代以前,信用卡行業(yè)判斷消費者是否違約都是通過手工評估完成。八十年代以后,專業(yè)人員開始使用數(shù)據(jù)建立關(guān)于違約的概率模型,提高了評估的準(zhǔn)確性并擴大了評估的規(guī)模。到了九十年代,美國十大信用卡中心之一Capital One公司的創(chuàng)始人Richard Fairbank和Nigel Morris意識到利用信息技術(shù)可以處理更加復(fù)雜的預(yù)測模型,向客戶提供信用卡定制化服務(wù)。

現(xiàn)如今,數(shù)據(jù)的價值正在被各行各業(yè)所利用,例如電子商務(wù)企業(yè)可以提前預(yù)測客戶需求,更加精準(zhǔn)的進行備貨;制造企業(yè)可以完善自身產(chǎn)品,生產(chǎn)出更加符合用戶需求的產(chǎn)品。

這也要求IT運維需要滿足基于海量運維數(shù)據(jù)對未來負載進行預(yù)測,提前規(guī)劃資源,避免異常突發(fā)事件產(chǎn)生。所以企業(yè)也需要轉(zhuǎn)變思路,因為原有的本地數(shù)倉和大數(shù)據(jù)平臺,在數(shù)據(jù)匯聚與運算、特征工程與數(shù)據(jù)預(yù)處理、構(gòu)建人工智能模型開發(fā)與推理環(huán)境、模型訓(xùn)練算力調(diào)度等方面都存在不同的限制。

現(xiàn)在,數(shù)據(jù)分析已經(jīng)紛紛遷移到云上,而且在融入Serverless的理念后,云上分析可以提供更為極致的用戶體驗。

云上數(shù)據(jù)分析下一站Serverless

目前,將數(shù)據(jù)向云上遷移是企業(yè)持續(xù)在做的一件事,借助云上提供的數(shù)據(jù)存儲、調(diào)用、開發(fā)、分析等功能可以更好地滿足企業(yè)的數(shù)據(jù)分析、挖掘需求。

亞馬遜云科技則可以提供這一攬子的服務(wù),經(jīng)過多年的技術(shù)演進,現(xiàn)在亞馬遜云科技不但可以向企業(yè)提供數(shù)據(jù)分析的底層環(huán)境、算力調(diào)度、數(shù)據(jù)存儲、環(huán)境配置、開發(fā)工具等等一系列數(shù)據(jù)分析基礎(chǔ)設(shè)施,還基于自身技術(shù)實踐積累,提供了Amazon Redshift數(shù)據(jù)倉庫、Amazon EMR大數(shù)據(jù)分析服務(wù)、Amazon Kinesis流式數(shù)據(jù)處理框架,Amazon OpenSearch Service日志分析工具等。

與此同時亞馬遜還將Serverless的理念帶進了數(shù)據(jù)分析領(lǐng)域,用戶在安全便捷進行數(shù)據(jù)分析的同時,無需配置資源,可以自由調(diào)度功能模塊,讓云上數(shù)據(jù)分析變得更加容易。

例如在低配置的終端上進行代碼編寫,在編寫完數(shù)據(jù)處理與模型訓(xùn)練代碼后,可以直接調(diào)用一個分布式計算任務(wù),急速的完成數(shù)據(jù)處理與模型訓(xùn)練,任務(wù)結(jié)束后,資源就可以立刻釋放,不造成一點浪費。換一個玩游戲的比喻就是,想玩3A(高成本、高體量、高質(zhì)量的游戲)大作時,又不想買3080Ti顯卡,如果使用一張serverless的顯卡,只需要在游戲啟動時付一些費用,就能獲得游戲本身的計算量和靈活彈性的算力,關(guān)閉游戲時顯卡就可以自動收回。

隨著亞馬遜云科技的技術(shù)創(chuàng)新,云上的數(shù)據(jù)分析也已經(jīng)進入了Serverless階段。當(dāng)企業(yè)需要對海量數(shù)據(jù)進行深度挖掘、分析時,只需要三步,編寫數(shù)據(jù)分析代碼、提交任務(wù)(工作流)、debug任務(wù)(工作流),就可以啟動運算流程、獲得結(jié)果。

在這種“極簡風(fēng)”使用大數(shù)據(jù)的背后,是技術(shù)的成熟與強大的技術(shù)封裝能力。如今,亞馬遜云科技已經(jīng)擁有100多種服務(wù)來支持任何數(shù)據(jù)湖用例,而且更多的無服務(wù)器就地查詢與處理選項,可縮短獲得結(jié)果的時間并降低數(shù)據(jù)洞察的成本。

為現(xiàn)代化數(shù)據(jù)戰(zhàn)略鋪平道路的智能湖倉

為了易于分析,企業(yè)開始建設(shè)數(shù)據(jù)湖將所有數(shù)據(jù)放在單一的存儲庫中,這樣就可以基于標(biāo)準(zhǔn)的數(shù)據(jù)格式,以任何規(guī)模、低成本、安全地存儲數(shù)據(jù),便于在以后根據(jù)應(yīng)用程序和最終用戶的需求進行傳輸和轉(zhuǎn)換,現(xiàn)在云中的數(shù)據(jù)湖正在成為許多企業(yè)的主流策略。

為此,亞馬遜云科技制定了現(xiàn)代化數(shù)據(jù)戰(zhàn)略,并與Serverless理念結(jié)合越來越緊密,幫助企業(yè)更好地利用數(shù)據(jù),更敏捷的創(chuàng)新。亞馬遜云科技推出了智能湖倉新方法,"智能湖倉"架構(gòu)不僅打通湖與倉,還將湖、倉、專用數(shù)據(jù)存儲整合為一體。

其實早在 2017 年,“智能湖倉”架構(gòu)就已初具雛形。當(dāng)時,亞馬遜云科技發(fā)布了Amazon Redshift Spectrum,讓Amazon Redshift具備了打通數(shù)據(jù)倉庫和數(shù)據(jù)湖的能力,實現(xiàn)了跨數(shù)據(jù)湖、數(shù)據(jù)倉庫的數(shù)據(jù)查詢。如今“智能湖倉”基于Amazon S3構(gòu)建數(shù)據(jù)湖,結(jié)合多種數(shù)據(jù)服務(wù),形成了數(shù)據(jù)的“由內(nèi)向外”,“由外向內(nèi)”,“環(huán)湖運動”的數(shù)據(jù)移動方式,集成數(shù)據(jù)倉庫、大數(shù)據(jù)處理、日志分析、機器學(xué)習(xí)數(shù)據(jù)服務(wù)。

正是了解到亞馬遜云科技智能湖倉的技術(shù)優(yōu)勢,為加速創(chuàng)新并大規(guī)模實現(xiàn)數(shù)據(jù)使用,寶馬集團將其本地數(shù)據(jù)湖遷移到由Amazon S3提供支持的數(shù)據(jù)湖,現(xiàn)在寶馬集團可以每天處理來自上百萬輛汽車的TB級遙測數(shù)據(jù),并在問題影響到客戶之前解決問題。為了更好地管理這些數(shù)據(jù),寶馬集團引入了“數(shù)據(jù)提供者”和“數(shù)據(jù)使用者”概念,從而提高了其軟件工程團隊的自主性和敏捷性。

“數(shù)據(jù)提供者”利用亞馬遜云科技的數(shù)據(jù)分析服務(wù)(如 Amazon Kinesis Data Firehose、Amazon Lambda、Amazon Glue 和 Amazon EMR)來接收和轉(zhuǎn)換數(shù)據(jù)。然后,“數(shù)據(jù)使用者”可以利用諸如 Amazon Athena、Amazon SageMaker、Amazon Glue和Amazon EMR之類的Serverless服務(wù),運用這些數(shù)據(jù)。提供者和使用者均是在自己的賬戶中使用這些服務(wù),只共享可由中央 API 控制的明確定義的接口,這有助于防止出現(xiàn)瓶頸。各數(shù)據(jù)層均存儲在 Amazon S3 存儲桶中,其架構(gòu)已在 Amazon Glue 數(shù)據(jù)目錄中注冊。

現(xiàn)在亞馬遜云科技智能湖倉架構(gòu)中的服務(wù)基本上具備了Serverless特性,將Serverless能力擴展到分析引擎,實現(xiàn)自動添加或減少資源,提供恰到好處的容量,滿足企業(yè)對任何規(guī)模的數(shù)據(jù)分析需求。企業(yè)用戶再也不需要擔(dān)心因為調(diào)整集群大小或為滿足峰值容量而過度配置造成資源的浪費,進而節(jié)省時間并優(yōu)化成本。企業(yè)還可以快速、輕松地開始使用亞馬遜云科技數(shù)據(jù)分析服務(wù),享受Serverless的自動部署、按需擴展和按需付費,不僅降低成本,還可以將數(shù)據(jù)分析服務(wù)擴展到更多用戶,也降低了“門檻”。

Serverless改變數(shù)據(jù)分析規(guī)則的極簡方式

在2021亞馬遜云科技re:Invent上針對云原生數(shù)據(jù)分析服務(wù)重磅發(fā)布了云原生數(shù)據(jù)分析serverless選項和On-demand按需選項,分別是:

Amazon Redshift Serverless

Amazon Redshift Serverless ,讓數(shù)據(jù)倉庫更敏捷,支持在幾秒鐘內(nèi)自動設(shè)置和擴展資源,用戶無需管理數(shù)據(jù)倉庫集群,實現(xiàn) PB 級數(shù)據(jù)規(guī)模運行高性能分析工作負載。

Amazon MSK Serverless

Amazon Managed Streaming for Apache Kafka Serverless ,讓流式數(shù)據(jù)接入與處理,支持快速擴展資源,簡化實時數(shù)據(jù)攝取和流式傳輸,實現(xiàn)全面監(jiān)控、移動甚至跨集群加載分區(qū),自動調(diào)配和擴展計算和存儲資源,讓用戶可以按需使用 Kafka。

Amazon EMR Serverless

Amazon EMR Serverless 讓大數(shù)據(jù)處理更敏捷,用戶無需部署、管理和擴展底層基礎(chǔ)設(shè)施,使用開源大數(shù)據(jù)框架(如 Apache Spark、Hive 和 Presto)運行分析型應(yīng)用程序。

Amazon Kinesis Data Streams on Demand

Amazon Kinesis Data Streams是一項無服務(wù)器服務(wù),此次提供的on Demand版本可以讓流式數(shù)據(jù)分析與實時數(shù)據(jù)場景搭建更敏捷。每分鐘可以處理數(shù) GB 的寫入和讀取吞吐量,而不必預(yù)置與管理服務(wù)器、存儲,在成本和性能之間取得平衡且變得更加簡單。

正如全球最大的制藥公司之一羅氏制藥(Roche)首席云平臺和機器學(xué)習(xí)工程師 Yannick Misteli 博士所說:“Amazon Serverless可減輕運營負擔(dān),降低成本,并幫助羅氏制藥規(guī);瘜嵺` Go-to-Market 策略。這種極簡的方式改變了游戲規(guī)則,幫助我們快速上手并支持各種繁重的分析場景。”

有了Serverless,企業(yè)不用再為挖掘數(shù)據(jù)價值而煩惱。未來亞馬遜云科技所倡導(dǎo)的現(xiàn)代化數(shù)據(jù)戰(zhàn)略與適應(yīng)云計算未來發(fā)展的Serverless理念也將深度融合,幫助企業(yè)更好地利用數(shù)據(jù),更敏捷的進行創(chuàng)新。

本文章選自《AI啟示錄》雜志,閱讀更多雜志內(nèi)容,請掃描下方二維碼

《AI啟示錄》雜志