Snowflake推出客戶端連接器,支持在其云數(shù)據(jù)倉(cāng)庫(kù)中直接運(yùn)行Apache Spark代碼,無(wú)需集群設(shè)置。該方案基于Spark Connect的客戶端-服務(wù)器架構(gòu),讓用戶可以使用Spark客戶端連接Snowflake分析引擎。據(jù)稱,預(yù)覽用戶的代碼運(yùn)行性能平均提升5.6倍,成本降低約40%。此舉體現(xiàn)了數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)的融合趨勢(shì)。
Databricks 開源了其核心聲明式 ETL 框架——Apache Spark Declarative Pipelines(原 Delta Live Tables),簡(jiǎn)化了批量和流式數(shù)據(jù)處理,顯著縮短開發(fā)和維護(hù)時(shí)間,并將這一技術(shù)普惠于整個(gè) Apache Spark 社區(qū),同時(shí)向 Snowflake 發(fā)起挑戰(zhàn),提供從數(shù)據(jù)源到可用信息的全流程處理能力。