Azure Synapse Analytics 的新功能?

此頁面會持續更新,並檢閱 Azure Synapse Analytics新功能,以及目前處於預覽狀態的功能。 若要遵循 Azure Synapse 新聞和功能的最新內容,請參閱 YouTube 上的 Azure Synapse Analytics 部落格和隨附影片。

如需較舊的更新,請檢閱 Azure Synapse Analytics 部落格 文章或 Azure Synapse Analytics 中的先前更新。

重要

Microsoft Fabric 已宣佈!

目前處於預覽狀態的功能

下表列出目前處於預覽狀態的 Azure Synapse Analytics 功能。 預覽功能會依字母順序排序。

注意

有關目前處於預覽狀態的功能,請參閱增補使用規定,以了解適用於 Azure 功能 (搶鮮版 (Beta)、預覽版,或尚未正式發行的版本) 的法律條款。 Azure Synapse Analytics 提供預覽版,讓您有機會在正式推出功能之前,先評估並 分享產品群組 的意見反應。

功能 深入了解
無伺服器 SQL 集區中的 Apache Spark Delta Lake 數據表 讓無伺服器 SQL 集區能夠存取 Spark 資料庫中建立的 Delta Lake 數據表,目前為預覽狀態。 如需詳細資訊,請參閱 Azure Synapse Analytics 共用元數據數據表
Apache Spark 彈性集區記憶體 Azure Synapse Analytics Spark 集區現在支援預覽中的彈性集區記憶體。 彈性集區記憶體可讓Spark引擎監視背景工作節點暫存記憶體,並視需要連結更多磁碟。 不需要採取任何動作,因此您應該會看到較少的作業失敗。 如需詳細資訊,請參閱 Azure Synapse Analytics Spark 彈性集區記憶體
Apache Spark R 語言支援 Apache Spark 的內建 R 支援現已處於預覽狀態。
Azure Synapse 數據總管 Azure Synapse 數據總管提供互動式查詢體驗,從記錄和遙測數據中解除鎖定見解。 Azure 數據總管的 連線 器適用於 Synapse 數據總管。 如需詳細資訊,請參閱 Azure Synapse 數據總管(預覽版)。
在 Azure Synapse Analytics 工作區中流覽 ADLS Gen2 資料夾 您現在可以流覽 Synapse Studio 中 Azure Synapse Analytics 工作區中的 Azure Data Lake 儲存體 Gen2 (ADLS Gen2) 容器或資料夾。 若要深入瞭解,請參閱 在 Azure Synapse Analytics 中使用 ACL 流覽 ADLS Gen2 資料夾。
從 Cosmos DB 分析存放區擷取已變更的數據 Azure Cosmos DB 分析存放區現在支援適用於 NoSQL 的 Azure Cosmos DB API 和適用於 MongoDB 的 Azure Cosmos DB API 的異動數據擷取 (CDC)。 如需詳細資訊,請參閱 使用 Azure Cosmos DB 分析存放區 擷取變更的數據和 DevBlog:使用 Azure Cosmos DB 分析存放區擷取異動數據擷取 (CDC)。
Distribution Advisor 散發建議程式是 Azure Synapse 專用 SQL 集區 Gen2 中的新預覽功能,可分析查詢,並建議數據表的最佳散發策略,以改善查詢效能。 如需詳細資訊,請參閱 Azure Synapse SQL 中的散發建議程式
分散式深度類神經網路定型 在深度學習教學課程中深入瞭解新的分散式訓練連結庫,例如 Horovod、Petastorm、TensorFlow 和 PyTorch。
內嵌ADX儀錶板 Azure 資料總管儀錶板內 嵌在 IFrame 中,並裝載於第三方應用程式中
拒絕分隔文字文件的選項 分隔檔案 上 CREATE EXTERNAL TABLE 的拒絕選項處於預覽狀態。
適用於 Azure Synapse Notebook 的 Spark Advisor 適用於 Azure Synapse NotebookSpark Advisor 會分析 Spark 執行的程式碼,並顯示 Notebook 的實時建議。 Spark 建議程式根據內建的常見模式提供程式碼優化的建議、執行錯誤分析,並找出失敗的根本原因。
受控虛擬網路中的存留時間 (VNet) 在受控虛擬網路 TTL 期間保留存留時間 (TTL) 的計算,以節省時間並提高效率。 如需此預覽的詳細資訊,請參閱 在受控虛擬網路中宣佈存留時間 (TTL) 的公開預覽。
使用者指派的受控識別 現在,您可以在連結服務中使用使用者指派的受控識別,以在 Synapse Pipelines 和數據流中驗證。 若要深入瞭解,請參閱 Azure Data Factory 和 Azure Synapse 中的認證。

正式推出的功能

下表列出在過去 12 個月內從預覽版轉換為正式運作的 Azure Synapse Analytics 功能。

Month 功能 深入了解
2023 年 4 月 Apache Spark 優化寫入 優化寫入是 Azure Synapse 上的 Delta Lake 功能,可減少 Apache Spark 3 (3.1 和 3.2) 所寫入的檔案數目,並旨在增加寫入數據的個別檔案大小。
2023 年 3 月 適用於 Azure 數據總管 GA 的 Cosmos DB Synapse Link Azure 數據總管支援使用變更摘要從 Azure Cosmos DB 完全受控的數據擷取。 我們現在支援 受控私人端點或服務端點 後方的 Cosmos DB 帳戶。 如需詳細資訊,請參閱 將數據從 Azure Cosmos DB 內嵌至 Azure 數據總管
2023 年 3 月 專用 SQL 集區中的多數據行散發 您現在可以 在多個數據 行上哈希散發數據表,以便更平均地散發基表,減少一段時間的數據扭曲並改善查詢效能。 如需這項正式運作功能的詳細資訊,請參閱三個選項: CREATE MATERIALIZED VIEWCREATE TABLE 散發選項CREATE TABLE AS SELECT 散發選項
2023 年 3 月 使用 SSDT 部署 Synapse SQL 無伺服器 從 161.8089.0 SqlPackage 開始,現已提供 SqlPackage 對 Azure Synapse Analytics 無伺服器 SQL 集區的期待已久的支援。 無伺服器 SQL 集區同時 支援擷取和發佈動作
2023 年 2 月 ADX 儀錶板 GA 現在正式推出,使用 Azure 數據總管 Web UI 的 Azure 數據總管儀錶板可讓您從端對端探索數據,從數據擷取開始,執行查詢,最後建置儀錶板。
2023 年 2 月 專用 SQL 集區的 UTF-8 和日文定序支援 UTF-8 支援和日文定序現在已 正式提供給專用 SQL 集區
2023 年 2 月 適用於 Apache Spark 3.3 的 Azure Synapse 執行階段 Apache Spark 3.3 的 Azure Synapse Runtime 現已正式推出。 根據我們的測試使用 1TB TPC-H 產業基準,您可能會看到 高達 77% 的效能提升。
2022 年 12 月 SSIS IR Express 虛擬網路插入 標準與快速方法,將 SSIS Integration Runtime (IR) 插入 VNet 現已正式推出。 如需詳細資訊,請參閱 Azure Data Factory 中 SSIS 的 Express 虛擬網絡 插入正式運作。
2022 年 11 月 將數據從 Azure 串流分析擷取至 Synapse 數據總管 現在已正式推出使用串流分析作業從事件中樞收集數據並將其傳送至 Azure 數據總管叢集的能力。 如需詳細資訊,請參閱 從 Azure 串流分析擷取數據到 Azure 數據 總管和 Azure 串流分析的 ADX 輸出。
2022 年 11 月 適用於 SQL 的 Azure Synapse Link 適用於 SQL 的 Azure Synapse Link 現已正式推出,適用於 SQL Server 2022 和 Azure SQL 資料庫。 適用於 SQL 的 Azure Synapse Link 功能提供從 SQL 型作業存放區到 Azure Synapse Analytics 的低程式代碼和無程式代碼近乎即時數據復寫。 以近乎即時的方式提供作業數據的 BI 報告,對作業存放區的影響最小。 若要深入瞭解,請瀏覽 什麼是適用於 SQL 的 Azure Synapse Link?
2022 年 10 月 SAP CDC 連接器 GA SAP 異動數據擷取 (CDC) 的數據連接器現已正式推出。 如需詳細資訊,請參閱在 Azure Data Factory 中宣佈 SAP CDC 解決方案的公開預覽和 Azure Data Factory 中的 Azure Synapse Analytics 和 SAP CDC 解決方案。
2022 年 9 月 MERGE T-SQL 語法 MERGE T-SQL 語法 是 Synapse T-SQL 連結庫的高度要求。 如同 SQL Server,MERGE 語法會將 INSERTs/UPDATEEs/DELETE 封裝成單一高效能語句。 可在 10.0.17829 版和更新版本的專用 SQL 集區中使用。 如需詳細資訊,請參閱 MERGE T-SQL 公告部落格
2022 年 7 月 Apache Spark™ 3.2 for Synapse Analytics Apache Spark™ 3.2 for Synapse Analytics 現已正式推出。 檢閱 Spark 3.1 與 3.2 之間的正式版本資訊和移轉指導方針,以評估應用程式的潛在變更。 如需詳細資訊,請參閱 Apache Spark 版本支援和適用於 Apache Spark 3.2 的 Azure Synapse Runtime。 Azure Synapse Analytics 2022 年 7 月更新中 Spark 3.2 取得更好效果的亮點。
2022 年 7 月 Azure Synapse Intelligent Cache 中的 Apache Spark 功能 適用於 Spark 的智慧型手機快取會自動將每個讀取儲存在配置的快取儲存空間內,偵測基礎檔案變更,並重新整理檔案以提供最新的數據。 若要深入瞭解,請參閱如何 啟用/停用Apache Spark集區的快取。
2022 年 6 月 地圖資料工具 地圖數據工具是一個引導式程式,可協助您建立 ETL 對應,並將數據流從原始數據對應至 Synapse,而不需撰寫程式碼。 若要深入瞭解地圖數據工具,請參閱 Azure Synapse Analytics 中的地圖數據。
2022 年 6 月 使用者定義函式 使用者定義函數 (UDF) 現已正式推出。 若要深入瞭解,請參閱 對應數據流中的使用者定義函式。

社群

本節摘要說明新的 Azure Synapse Analytics 社群商機,以及 Microsoft 的 Azure Synapse 影響因素計劃

Month 功能 深入了解
2023 年 4 月 Azure Synapse MVP Corner Microsoft Azure Synapse MVP 部落格系列 Azure Synapse MVP Corner3 月亮點。
2023 年 3 月 Azure Synapse MVP Corner Microsoft Azure Synapse MVP 部落格系列 Azure Synapse MVP Corner2 月重點介紹。
2023 年 2 月 Azure Synapse MVP Corner Microsoft Azure Synapse MVP 部落格系列 Azure Synapse MVP Corner1 月重點介紹。
2023 年 1 月 Azure Synapse MVP Corner Microsoft Azure Synapse MVP 部落格系列 Azure Synapse MVP Corner12 月重點介紹。
2022 年 12 月 Azure Synapse MVP Corner 本月的 Azure Synapse MVP 角落中 Microsoft Azure Synapse MVP 部落格系列中的 11 月重點介紹。
2022 年 11 月 Azure Synapse 影響程序計劃 Azure Synapse 影響因素計畫提供專屬活動和問答研討會,例如向 Microsoft 產品小組詢問專家,讓成員可以透過詢問各種輪替主題的任何問題,直接與產品專家互動。 從 Azure Synapse Analytics 影響因素社群的成員取得意見反應。
2022 年 10 月 Azure Synapse MVP Corner 本月 Azure Synapse MVP 角落的 Microsoft Azure Synapse MVP 部落格系列重點介紹。
2022 年 9 月 Azure Synapse MVP Corner 本月 的 Azure Synapse MVP 角落中 Microsoft Azure Synapse MVP 部落格系列中的 9 月重點介紹。
2022 年 5 月 Azure Synapse 影響程序計劃 註冊我們的免費 Azure Synapse 影響程序計劃 ,並與 Synapse-users 社群連線,他們致力於協助其他人使用雲端分析來達成更多目標。 立即註冊我們的下一個 Synapse 影響因素詢問專家研討會。 您可以自由參加,每個人都歡迎參與並加入 Synapse 相關主題的討論。 您可以在 Azure Synapse YouTube 頻道上觀看已錄製的詢問專家活動。

適用於 Azure Synapse Analytics 的 Apache Spark

本節摘要說明 Apache Spark for Azure Synapse Analytics 的最新特色和功能

Month 功能 深入了解
2023 年 4 月 Delta Lake - 低隨機合併 差異數據表 的低隨機合併優化現在可在 Apache Spark 3.2 和 3.3 集區中使用。 您現在可以使用 Delta Lake MERGE 命令,以進階條件更新 Delta 數據表。
2023 年 3 月 連結庫管理新功能:內嵌安裝 %pip%conda 現在可在 Apache Spark for Synapse 中使用! %pip%conda 是可在 Notebooks 上使用以安裝 Python 套件的命令。 如需詳細資訊,請參閱 透過 %pip 和 %conda 命令管理會話範圍的 Python 套件。
2023 年 3 月 將 Azure Synapse Analytics Spark 效能提高到 77% 更多區域正在接收 Azure Synapse Spark 工作負載的效能提升,包括最近韓國中部、印度中部和澳大利亞東南部。
2023 年 3 月 Azure Synapse Spark Notebook – 單元測試 瞭解如何 針對使用 Synapse Notebook 開發的 Spark 作業測試及建立單元測試案例。
2023 年 3 月 Apache Spark 2.4 和 3.1 淘汰週期 Apache Spark 2.4 和 3.1 的 Azure Synapse 運行時間已進入 淘汰週期。 Apache Spark 2.4 將於 2023 年 9 月 29 日淘汰,Apache Spark 3.1 將於 2024 年 1 月 26 日淘汰。 您應該在此期間內將工作負載重新放置至較新的 Apache Spark 運行時間。 在 Azure Synapse 中的 Apache Spark 運行時間深入瞭解,並檢視 Spark 移轉指南
2023 年 2 月 適用於 Apache Spark 3.3 的 Azure Synapse 執行階段 Apache Spark 3.3 的 Azure Synapse Runtime 現已正式推出。 根據我們的測試使用 1TB TPC-H 產業基準,您可能會看到 高達 77% 的效能提升。
2023 年 1 月 適用於 Azure Synapse Notebook 的 Spark Advisor 適用於 Azure Synapse NotebookSpark Advisor 會分析 Spark 執行的程式碼,並顯示 Notebook 的實時建議。 Spark 建議程式根據內建的常見模式提供程式碼優化的建議、執行錯誤分析,並找出失敗的根本原因。 
2023 年 1 月 使用 Synapse Genie 改善 Spark 集區使用率 Synapse Genie Framework 藉由在同一個 Spark 集區實例上執行多個 Synapse 筆記本,以改善 Spark 集區使用率。 深入瞭解以 Python 撰寫的元數據驅動公用程式。
2022 年 11 月 適用於 Apache Spark 3.3 的 Azure Synapse 執行階段 適用於 Apache Spark 3.3 的 Azure Synapse Runtime 目前為預覽狀態。 如需詳細資訊,請參閱 Apache Spark 3.3 預覽部落格文章。 根據我們的測試使用 1TB TPC-H 產業基準,您可能會看到 高達 77% 的效能提升。
2022 年 9 月 新的資訊 Livy 錯誤碼 更精確的錯誤碼 描述失敗的原因,並取代先前的一般錯誤碼。 先前,失敗 Spark 作業中的所有錯誤都會呈現,並顯示泛型錯誤碼 LIVY_JOB_STATE_DEAD
2022 年 9 月 適用於 Azure Synapse Analytics 的 Apache Spark 中新的查詢優化技術 閱讀 Microsoft 工作的結果,以在參考 TPC-DS 工作負載上取得相當大的效能優勢,以及大幅減少查詢計劃產生時間。
2022 年 8 月 Apache Spark 彈性集區記憶體 Azure Synapse Analytics Spark 集區現在支援預覽中的彈性集區記憶體。 彈性集區記憶體可讓Spark引擎監視背景工作節點暫存記憶體,並視需要附加其他磁碟。 不需要採取任何動作,因此您應該會看到較少的作業失敗。 如需詳細資訊,請參閱 部落格:Azure Synapse Analytics Spark 彈性集區記憶體可供公開預覽
2022 年 8 月 Apache Spark 優化寫入 優化寫入是 Synapse 預覽版上的 Delta Lake 功能,可減少 Apache Spark 3 (3.1 和 3.2) 所撰寫的檔案數目,並旨在增加寫入數據的個別檔案大小。 若要深入瞭解,請參閱 在Apache Spark上優化寫入的需求。

資料整合

本節摘要說明 Azure Synapse Analytics 數據整合的最新特色和功能。 瞭解如何 使用 Azure Data Factory (ADF) 或 Synapse 管線將數據載入 Azure Synapse Analytics。

Month 功能 深入了解
2023 年 4 月 從 Cosmos DB 分析存放區擷取已變更的資料 (公開預覽) Azure Cosmos DB 分析存放區現在支援適用於 NoSQL 的 Azure Cosmos DB API 和適用於 MongoDB 的 Azure Cosmos DB API 的異動數據擷取 (CDC)。 如需詳細資訊,請參閱 使用 Azure Cosmos DB 分析存放區 擷取變更的數據和 DevBlog:使用 Azure Cosmos DB 分析存放區擷取異動數據擷取 (CDC)。
2023 年 3 月 深入探討:Synapse 管線記憶體事件觸發程序安全性 此客戶成功工程部落格文章深入探討 Azure Synapse 管線記憶體事件觸發程式安全性。 ADF 和 Synapse Pipelines 提供一項功能,可讓您根據各種事件觸發管線執行,例如建立或刪除記憶體 Blob。 客戶可以使用此流程來實作事件驅動管線協調流程。
2023 年 1 月 SQL CDC 累加擷取現在支援數值數據行 在數據流中啟用 SQL Server CDC 的累加擷取,可讓您只處理自上次執行管線后變更的數據列。 支援的累加數據行類型現在包含日期/時間和數值數據行。
2022 年 12 月 快速虛擬網路插入 標準與快速方法,將 SSIS Integration Runtime (IR) 插入 VNet 現已正式推出。 如需詳細資訊,請參閱 Azure Data Factory 中 SSIS 的快速 虛擬網絡 插入正式運作。
2022 年 10 月 SAP CDC 連接器 GA SAP 異動數據擷取 (CDC) 的數據連接器現已正式推出。 如需詳細資訊,請參閱在 Azure Data Factory 中宣佈 SAP CDC 解決方案的公開預覽和 Azure Data Factory 中的 Azure Synapse Analytics 和 SAP CDC 解決方案。
2022 年 9 月 甘特圖檢視 您現在可以在 Azure Data Factory Integration Runtime 監視中使用甘特圖來檢視活動執行。
2022 年 9 月 監視改善 我們已根據社群意見反應,發行 監視體驗 的新組合改進功能。
2022 年 9 月 對應數據流中的數據行優化上限 對於 CSV 等分隔文字數據源,新的 最大資料行 設定可讓您 設定資料行數目上限。
2022 年 9 月 Oracle 資料源連接器中的數位到整數轉換 透過新的屬性 convertDecimalToInteger,將 Oracle NUMBER 類型轉換為來源中的對應整數類型。 如需詳細資訊,請參閱 Oracle 來源連接器
2022 年 9 月 支援在 Web 活動中傳送具有 HTTP 要求 DELETE 方法的本文 在 Web 活動中使用 DELETE 方法時,新支援傳送本文(選擇性)。 如需詳細資訊,請參閱 Web 活動的可用 Type 屬性。
2022 年 8 月 對應數據流現在支援可視化轉換 您可以使用 轉換 ,輕鬆地修改數據流中個別數據行的數據類型。
2022 年 8 月 默認活動逾時已變更為12小時 默認 活動逾時現在是12小時
2022 年 8 月 管線表達式產生器輕鬆使用增強功能 我們已 更新表達式產生器 UI,讓管線設計更容易
2022 年 8 月 對應內嵌數據集類型的新UI 我們已更新數據流來源 UI, 讓您更輕鬆地尋找您的內嵌資料集類型
2022 年 7 月 受控虛擬網路中的存留時間 (VNet) 在受控虛擬網路 TTL 期間保留存留時間 (TTL) 的計算,以節省時間並提高效率。 如需此預覽的詳細資訊,請參閱 在受控虛擬網路中宣佈存留時間 (TTL) 的公開預覽。
2022 年 6 月 SAP CDC 連接器預覽 SAP 異動數據擷取 (CDC) 的新資料連接器現已提供預覽。 如需詳細資訊,請參閱在 Azure Data Factory 中宣佈 SAP CDC 解決方案的公開預覽和 Azure Data Factory 中的 Azure Synapse Analytics 和 SAP CDC 解決方案。
2022 年 6 月 聯結轉換中的模糊聯結選項 已將模糊比對與相似度閾值分數滑桿新增至 對應數據流中的聯結轉換。
2022 年 6 月 地圖資料工具 GA 我們很高興宣佈 地圖數據工具 現已正式推出。 地圖數據工具是一個引導式程式,可協助您建立 ETL 對應,並將數據流從原始數據對應至 Synapse,而不需撰寫程式碼。
2022 年 6 月 使用新參數重新執行管線 您現在可以在從 [監視] 頁面重新執行管線時變更管線參數,而不需要返回管線編輯器。 若要深入瞭解,請參閱 重新執行管線和活動
2022 年 6 月 用戶定義函數 GA 對應數據流 中的使用者定義函數 (UDF) 現已正式推出 (GA)。

資料庫範本和資料庫設計工具

本節摘要說明資料庫範本和資料庫設計工具的最新新功能

Month 功能 深入了解
2022 年 7 月 瀏覽產業範本 瀏覽產業範本並新增數據表以建立您自己的 Lake 資料庫。 深入瞭解如何瀏覽產業範本並開始使用快速入門:利用資料庫範本建立新的 Lake 資料庫。

開發人員體驗

本節摘要說明 Azure Synapse Analytics 中開發人員的最新生活品質和功能改善

Month 功能 深入了解
2023 年 5 月 搭配 Synapse 工作區使用 Azure DevOps 在生產環境中建立熱門修正程式 部落格文章,說明如何 從開發 Synapse 工作區將修正程式部署到生產 Synapse 工作區,而不會對進行中的開發專案產生負面影響。
2022 年 12 月 MSSparkUtils 是 Synapse Spark 內的瑞士陸軍刀 MSSparkUtils 是一個內建套件,可協助您輕鬆執行稱為 Microsoft Spark 公用程式的一般工作,包括能夠在 筆記本之間共享結果。
2022 年 9 月 發佈工作區成品的 Synapse CICD Synapse Studio 與原始檔控制系統整合,例如 Azure DevOps GitGitHub 已顯示為 Synapse Studio 的其中一個慣用功能,可共同作業並提供 Azure Synapse 的原始檔控制。 Visual Studio Marketplace 有 Synapse 工作區部署工作 ,可將發佈自動化。
2022 年 7 月 Synapse Notebook 與 IPython 的相容性 Jupyter Notebook 的官方核心是 IPython,現在在 Synapse Notebooks 中支援它。 如需詳細資訊,請參閱 Synapse Notebooks 現在與 IPython 完全相容。
2022 年 7 月 Mssparkutils 現在有 spark.stop() 方法 新的 API mssparkutils.session.stop() 已新增至 mssparkutils 套件。 當針對相同的 Spark 集區執行多個工作階段時,這項功能會變得很方便。 新的 API 適用於 Scala 和 Python。 若要深入瞭解,請參閱 停止互動式會話

Machine Learning

本節摘要說明 Azure Synapse Analytics 中機器學習模型的最新新功能和改善。

Month 功能 深入了解
2023 年 3 月 在 Synapse Analytics 中使用 OpenAI GPT Microsoft 提供 Azure OpenAI 作為 Azure 認知服務,您可以從 Synapse Spark 中存取 Azure OpenAI 的 GPT 模型。
2022 年 11 月 R 支援 (預覽) Azure Synapse Analytics 現在提供 Apache Spark 的內建 R 支援,目前為預覽狀態。 例如, 從 CRAN 和 CRAN 快照集安裝 R 連結庫。
2022 年 8 月 SynapseML v.0.10.0 版的 SynapseML v0.10.0 (先前為 MMLSpark),這是一個開放原始碼連結庫,旨在簡化大規模擴充機器學習管線的建立。 深入瞭解 SynapseML 的最新新增專案,並開始使用 SynapseML
2022 年 8 月 .NET 支援 SynapseML v0.10 新增 C# 和 F# 等 .NET 語言 的完整支援。 如需 .NET SynapseML 範例,請參閱 使用 LightGBMClassifier 的 .NET 範例。
2022 年 8 月 Azure OpenAI 服務支援 SynapseML 現在允許使用者從 OpenAI 中挖掘 1750 億個參數語言模型(GPT-3),以產生和完成達到人類水準附近的文字和程序代碼。 如需詳細資訊,請參閱 Azure OpenAI for Big Data
2022 年 8 月 MLflow 平台支援 SynapseML 模型現在與 MLflow 整合,並完全支援儲存、載入、部署和 自動記錄
2022 年 8 月 Binder 中的 SynapseML 我們知道Spark可以恐嚇第一個使用者,但擔心不是因為使用技術Binder,您可以在 Binder 中探索並實驗 SynapseML,並不需要安裝、安裝、基礎結構或 Azure 帳戶。
2022 年 6 月 分散式深度類神經網路定型 (預覽) Azure Synapse 運行時間也包含支持連結庫,例如 Petastorm 和 Horovod,這些連結庫通常用於分散式定型。 這項功能目前可在預覽中取得。 Apache Spark 3.1 和 3.2 的 Azure Synapse Analytics 運行時間現在也包含對 TensorFlow 和 PyTorch 等最常見深度學習連結庫的支援。 若要深入瞭解如何在 Azure Synapse Analytics GPU 加速集區內運用這些連結庫,請閱讀 深度學習教學課程

範例和指引

本節摘要說明 Azure Synapse Analytics 的新指引和範例項目資源。

Month 功能 深入了解
2023 年 5 月 使用 Synapse 實作慢速變更維度 示範如何使用 無伺服器 SQL 集區,在數據湖上方實作慢速變更維度類型 2。
2023 年 5 月 CI 和 CD 搭配 Azure Synapse 專用 SQL 集區 使用此部落格文章,使用版本控制、持續整合和部署,以及管理 Azure Synapse 數據倉儲的 ALM 生命週期的最佳做法
2023 年 3 月 使用快照集 Serengeti 在 Azure Synapse Analytics 上建立數據解決方案 這是 在 Azure Synapse Analytics 上建置端對端數據分析和機器學習解決方案的四部分系列。 此解決方案中使用的數據集是 Snapshot Serengeti 數據集,其中包含相機陷阱影像的大型集合。
2023 年 3 月 Kusto 查詢語言 簡介 (KQL) 此客戶成功工程部落格文章提供 Kusto 查詢語言 (KQL)的簡介,這是一種功能強大的查詢語言,可用來分析大量結構化、半結構化和非結構化(自由文字)數據。
2023 年 3 月 為您的 Synapse 工作區建立自定義災害復原計劃 關於為其 Synapse 工作區建立災害復原計劃的多部分部落格系列
2023 年 3 月 Azure Synapse 連線能力:公用端點、私人端點、受控 VNet 和受控私人端點 適用於各種網路選項之 Azure Synapse 連線的三部分專家撰寫部落格系列,包括輸入專用集區公用端點連線、Azure Synapse 私人端點,以及受控 VNet 和受控私人端點
2023 年 2 月 Azure Synapse 專用 SQL 集區的歷史監視儀錶板 逐步解說在 Azure 計量和 Azure Log Analytics 上,使用 Azure 監視器活頁簿範本啟用歷程記錄監視的步驟。
2023 年 1 月 使用 Synapse 無伺服器集區讀取 Data Lake 有關如何使用 OPENROWSET 查詢湖內路徑的兩部分指南,或使用外部數據表來查詢湖內的路徑。
2023 年 1 月 Synapse Spark 中的結構化串流 將 IoT 裝置的 IoT 溫度數據串流至 Synapse Spark 的詳細範例
2023 年 1 月 在 Synapse 工作區中為專用 SQL 集區建立 DNS 別名以進行災害復原 專用 SQL 集區的自定義 DNS(先前稱為 SQL DW)可以在災害期間提供重新導向至用戶端程式。
2022 年 12 月 Azure Synapse - Data Lake vs. Delta Lake vs. Data Lakehouse 閱讀新的成功工程部落格文章,揭開 Data Lake、Delta Lake 和 Data Lakehouse 等詞彙
2022 年 11 月 數據外洩保護 (DEP) 如何影響 Azure Synapse Analytics 管線 數據外洩保護 (DEP) 是一項功能,可讓 Azure Synapse Analytics 能夠連線到其他服務的額外限制。
2022 年 11 月 開始使用適用於 Azure Synapse Analytics 的 REST API - Apache Spark 集區 我們提供如何設定和使用 Synapse REST 端點的指示,並描述 REST API 支援的 Apache Spark 集區作業。
2022 年 11 月 解密 Azure Synapse 數據總管 Azure Synapse 中的數據總管與 Azure Synapse 數據總管的數據擷取有兩部分說明。
2022 年 11 月 Synapse Spark Delta Time Travel Delta Lake 時間移動可啟用時間點查詢快照集,甚至復原錯誤更新
2022 年 9 月 Synapse 專用 SQL 集區(先前稱為 SQL DW)與無伺服器 SQL 集區之間的差異為何? 瞭解專用與無伺服器集區及其並行。 如需詳細資訊,請參閱 專用 SQL 集區和無伺服器 SQL 集區的基本概念。
2022 年 9 月 讀取專用 SQL 集區中的 Delta Lake 將 Delta Lake 檔案直接匯入專用 SQL 集區的範例腳本 ,並支持時間移動等功能。 如需說明,請參閱 在專用 SQL 集區中讀取 Delta Lake。
2022 年 9 月 Azure Synapse 客戶成功工程部落格系列 新的 Azure Synapse 客戶成功工程部落格系列以建置 Lakehouse - 使用 Azure Synapse 實作 Data Lake Strategy 的詳細簡介啟動。
2022 年 6 月 使用 Synapse Analytics 的 Azure Orbital 分析 我們現在提供 Azure Orbital 分析範例解決方案 ,示範搭配 Azure Synapse Analytics 使用地理空間連結庫和 AI 模型來擷取、載入、轉換和分析太空數據的端對端實作。 此範例解決方案也會示範如何整合地理空間特定的 Azure AI 服務 模型、來自合作夥伴的 AI 模型,以及自備數據模型。
2022 年 6 月 Oracle 的移轉指南 現已推出適用於 Oracle 至 Azure Synapse Analytics 的新 Microsoft 撰寫移轉指南。 Oracle 移轉的設計和效能。
2022 年 6 月 Azure Synapse 成功設計 Azure Synapse 概念證明劇本提供範圍、設計、執行及評估 SQL 或 Spark 工作負載概念證明的指南。
2022 年 6 月 Teradata 的移轉指南 Teradata 至 Azure Synapse Analytics 的新 Microsoft 撰寫移轉指南現已推出。 Teradata 移轉的設計和效能。
2022 年 6 月 IBM Netezza 的移轉指南 IBM Netezza 至 Azure Synapse Analytics 的新 Microsoft 撰寫移轉指南現已推出。 IBM Netezza 移轉的設計和效能。

安全性

本節摘要說明 Azure Synapse Analytics 中最近的新安全性功能和設定。

Month 功能 深入了解
2022 年 12 月 數據外洩保護 (DEP) 如何影響 Azure Synapse Analytics 管線 數據外洩保護 (DEP) 是一項功能,可讓 Azure Synapse Analytics 能夠連線到其他服務的額外限制。
2022 年 8 月 使用系統指派的受控識別執行 Azure Synapse Spark Notebooks 您現在可以透過系統指派的受控識別(或工作區受控識別)從 [設定會話] 功能啟用 [以受控識別身分執行] 來執行Spark Notebook。 透過這項功能,您可以在管線中使用筆記本之前,先驗證筆記本是否如預期般運作。 如需詳細資訊,請參閱 Azure Synapse 的受控識別。
2022 年 7 月 發佈至 Git 所需的許可權變更 現在,只需要 Git 許可權和 Synapse Artifact Publisher (Synapse RBAC) 角色,才能在 Git 模式中認可變更。 如需詳細資訊,請參閱 Synapse Studio 中的訪問控制強制執行。

Azure Synapse 數據總管 (預覽)

Azure 資料總管 (ADX) 是記錄和遙測數據的快速且高度可調整的數據探索服務。 它提供從事件中樞擷取、IoT 中樞、寫入 Blob 容器的 Blob,以及 Azure 串流分析作業。 本節摘要說明 Azure Synapse 數據總管和 Kusto 查詢語言 (KQL) 的最新新功能和功能。 深入瞭解 Azure Synapse 數據總管與 Azure 數據總管之間的差異為何?

Month 功能 深入了解
2023 年 4 月 使用 Cosmos DB 連線部署 Azure 數據總管 DB 的 ARM 範本 ARM 範本現在可供快速部署具有系統指派身分識別的 Azure 數據總管叢集、資料庫、Azure Cosmos DB 帳戶(NoSql)、Azure Cosmos DB 資料庫、Azure Cosmos DB 容器,以及 Cosmos DB 容器與 Kusto 資料庫之間的數據連線(使用系統指派的身分識別)。
2023 年 4 月 將數據從 Azure 事件中樞內嵌至 ADX 免費層 Azure 數據總管現在支援與 ADX 免費層中的事件中樞整合。 如需詳細資訊,請參閱 使用 Azure 數據總管的免費事件中樞數據分析。
2023 年 3 月 在 Kusto 數據總管中檢視叢集歷程記錄 現在使用 和 .show commands-and-queries,更輕鬆地追蹤在 Kusto 叢集.show queries上執行的查詢和命令歷程記錄。 
2023 年 3 月 Kusto Web Explorer 中的 Amazon S3 支援 您現在可以 透過 Kusto Web Explorer (KWE) 中的擷取中樞順暢地內嵌 Amazon S3 的數據。
2023 年 3 月 繪圖視覺效果支援 使用 [繪圖圖形庫] 建立 KQL 查詢的視覺效果,使用 'render' 運算符,或在建置 ADX 儀錶板時以互動方式建立 KQL 查詢。
2023 年 2 月 ADX 儀錶板 GA 現在正式推出,使用 Azure 數據總管 Web UI 的 Azure 數據總管儀錶板可讓您從端對端探索數據,從數據擷取開始,執行查詢,最後建置儀錶板。
2023 年 2 月 ADX 檔案擷取最多支援 1000 個檔案 ADX 擷取精靈現在支援最多 1000 個檔案(先前為 10 個)。
2023 年 1 月 適用於 Azure 數據總管的 Apache Log4j 2 連接器 開發適用於 Azure 數據總管的 Apache Log4J 2 接收,可讓您輕鬆地將 Log4j 2 記錄數據串流至 Azure 數據總管,您可以在其中即時分析、可視化和警示記錄。 如需詳細資訊,請參閱 開始使用Apache Log4j和 Azure 資料總管
2023 年 1 月 將預先存在的事件中樞事件內嵌至 ADX ADX 現在可以透過事件擷取開始日期,內嵌在 ADX 叢集中建立事件中樞數據連線之前存在的事件中樞數據。
2023 年 1 月 多重變數異常偵測 ADX 包含使用 函式 series_decompose_anomalies() 來偵測多個時間序列異常的原生支援。 如需詳細資訊,請參閱 多重變數異常偵測
2023 年 1 月 已改善儀錶板中的條件式格式設定 條件式格式設定 有助於以可視化方式呈現異常或極端數據點。 現在您可以使用條件或將主題套用至數值數據行,或將離散值套用至非數值數據行,來格式化視覺效果。
2023 年 1 月 餅圖顯示的新顯示選項 將焦點放在您關心的數據上,以及儀錶板中餅圖視覺效果的新顯示選項
2022 年 12 月 ADX Kusto Web Explorer (KWE) JPath 查看器 JPath 表示法描述 JSON 檔中一或多個元素的路徑。 使用新的展開檢視快速取得 JSON 文字的特定元素,並輕鬆地複製其路徑表示式。 如需範例,請參閱 JPath 查看器
2022 年 12 月 使用 Azure Synapse 數據總管來解除數據耗用量 從 Azure Synapse 數據總管擷取、取用和可視化數據的各種方式指南。
2022 年 11 月 透過 Azure Data Share 的數據表層級共享支援 我們現在已透過 Azure Data Share 介面新增資料表層級共享支援,您可以在其中共享資料庫中的特定數據表。 這可讓您輕鬆地安全地與公司或外部合作夥伴中的人員共用您的數據。
2022 年 11 月 將數據從 Azure 串流分析擷取至 Synapse 數據總管 現在已正式推出使用串流分析作業從事件中樞收集數據並將其傳送至 Azure 數據總管叢集的能力。 如需詳細資訊,請參閱 從 Azure 串流分析擷取數據到 Azure 數據 總管和 Azure 串流分析的 ADX 輸出。
2022 年 11 月 Parse-kv 運算符 新的 parse-kv 運算符 會從字串表示式擷取結構化資訊,並以索引鍵/值形式表示資訊。 您可以透過 RE2 正則表示式,使用指定的 delimeter、非指定的 delimeterRegex
2022 年 10 月 ADX 叢集中的領導者和追隨者 使用 Azure 入口網站 中的 [資料庫] 頁面,輕鬆地識別遵循領導者的所有追蹤者資料庫,以及指定追蹤者的領導者。
2022 年 10 月 別名追蹤資料庫 追蹤資料庫功能可讓您將位於不同叢集中的資料庫附加至 Azure 數據總管叢集。 現在,您可以在建立追蹤者關聯性時覆寫資料庫名稱
2022 年 10 月 從 OpenTelemetry 擷取數據 OpenTelemetry (OTel) 是廠商中立的開放原始碼應用程式可觀察性架構。 OpenTelemetry 匯出工具 支援將數據從許多接收者擷取到 Azure 數據總管。
2022 年 10 月 從 Telegraf 擷取數據 Telegraf 是 開放原始碼、輕量、最小記憶體使用量代理程式,用於收集、處理及寫入遙測數據,包括記錄、計量和IoT數據。 Azure 資料總管輸出外掛程式可作為 Telegraf 的連接器,並支援從許多類型的輸入外掛程式擷取到 Azure 數據總管中的資料。
2022 年 9 月 Azure 數據總管 Kusto 模擬器 ADX 模擬器是公開 ADX 查詢引擎端點的 Docker 映射。 您可以使用它來建立資料庫,並擷取和查詢數據。 模擬器瞭解 azure 服務 Kusto 查詢語言 (KQL) 的方式相同。
2022 年 9 月 Logstash 連接器 Proxy 設定 Azure 資料總管 (ADX) Logstash 外掛程式可讓您將來自 Logstash 的事件處理到 ADX 資料庫進行分析。 1.0.5 版現在支援 HTTP/HTTPS Proxy。
2022 年 9 月 Protobuf 格式的 Kafka 支援 ADX Kafka 接收連接器會利用 Kafka 連線 架構,並提供適配卡,從 JSON、Avro、String 和 Protobuf 格式內嵌最新更新中的 Kafka 數據。 深入瞭解 從 Kafka 擷取 Protobuf 數據到 Azure 數據總管
2022 年 9 月 漏鬥圖視覺效果 漏鬥圖是我們在客戶收到意見反應之後新增至 Azure 數據總管儀錶板 的最新視覺效果。
2022 年 9 月 範例應用程式產生器中的 .NET 和Node.js支援 Azure 資料總管 (ADX) 範例應用程式產生器精靈是一種工具,可讓您建立工作應用程式,以慣用的程式設計語言內嵌和查詢您的數據。 現在,支援在 .NET 和 Node.js 中產生範例應用程式,以及先前可用的 Java 和 Python 選項。
2022 年 8 月 Kafka 接收中的 Protobuf 支援 Azure 數據總管 Kafka 接收 - 金級認證的 Confluent 連接器 - 有助於將數據從 Kafka 內嵌至 Azure 數據總管。 我們已在連接器中新增 Protobuf 支援,以協助客戶將 Protobuf 數據帶入 ADX。
2022 年 8 月 Amazon S3 的原生支援 .ingest into ADX 命令會藉由從一或多個雲端記憶體檔案「提取」數據,將數據擷取到數據表中。 命令現在 支援 Amazon S3 URL。 如需範例,請閱讀公告 S3 連續數據擷取的部落格文章
2022 年 8 月 內嵌ADX儀錶板 ADX Web UI 和儀錶板會 內嵌在 IFrame 中,並裝載於第三方應用程式中
2022 年 8 月 免費叢集升級選項 您現在可以 將 Azure 數據總管免費叢集升級為完整的叢集 ,以移除記憶體限制,讓您有更多容量來拓展數據。
2022 年 8 月 從 Excel 數據透視表分析全新的 ADX 數據 現在,您可以從 您慣用的分析工具 Excel 數據透視表使用全新且無限制的 ADX 數據量 (Kusto)。 Pivot 程式代碼所產生的 MDX 查詢會以 KQL 語句的形式,找到其前往 Kusto 後端的方式,以匯總樞紐所需的數據,並回到 Excel。
2022 年 8 月 查詢結果 - 依值顯示色彩 醒目提示查詢結果中唯一的數據,以可視化方式分組共用特定數據行相同值的數據列。 使用 [依值探索結果] 和 [色彩] ,根據選取的數據行,將色彩套用至數據列
2022 年 8 月 網頁總管 - 圖表的交叉海線支援 屬性 ysplit 現在支援 許多圖表的十字線視覺效果 (沿著滑鼠指標移動的垂直線)。
2022 年 7 月 掃描運算子 強大的 掃描運算子 可在ADX中啟用有效率且可調整的進程採礦和順序分析和使用者分析。 常見的使用 scan 案例包括IoT裝置的預防性維護、漏鬥分析、遞歸計算、尋找已知攻擊步驟的安全性案例等等。
2022 年 7 月 將資料從 Azure 串流分析擷取至 Synapse 資料總管 (預覽) 您現在可以使用串流分析作業,從事件中樞收集數據,並使用 Azure 入口網站 或 ARM 範本將其傳送至 Azure 數據總管叢集。 如需詳細資訊,請參閱 將數據從 Azure 串流分析擷取至 Azure 數據總管
2022 年 7 月 轉譯每個 y 數據行的圖表 Synapse Web 數據總管現在支援每個 y 數據行的轉譯圖表。 如需範例,請參閱 Azure Synapse Analytics 2022 年 7 月更新。
2022 年 6 月 Web Explorer 新首頁 新的 Azure Synapse Web Explorer 首頁 可讓您更輕鬆地開始使用 Synapse Web Explorer。
2022 年 6 月 Web Explorer 範例資源庫 Web Explorer 範例庫提供客戶如何使用 Synapse 數據總管熱門使用案例的端對端範例,例如記錄數據、計量數據、IoT 數據和基本巨量數據範例。
2022 年 6 月 Web Explorer 儀錶板鑽研功能 您現在可以 在 Synapse Web Explorer 儀錶板中使用鑽研作為參數。
2022 年 6 月 Web Explorer 的時區設定 Web Explorer 的時區設定現在同時套用至查詢結果和儀錶板。 藉由變更時區,儀錶板會自動重新整理,以呈現具有所選時區的數據。

Azure Synapse Link 是自動化系統,用於將數據從 SQL Server 或 Azure SQL 資料庫Azure Cosmos DBDataverse 複寫到 Azure Synapse Analytics。 本節摘要說明 Azure Synapse Link 功能的最新消息。

Month 功能 深入了解
2023 年 3 月 適用於 Azure 數據總管 GA 的 Cosmos DB Synapse Link Azure 數據總管支援使用變更摘要從 Azure Cosmos DB 完全受控的數據擷取。 我們現在支援 受控私人端點或服務端點 後方的 Cosmos DB 帳戶。 如需詳細資訊,請參閱 將數據從 Azure Cosmos DB 內嵌至 Azure 數據總管
2023 年 1 月 適用於 Azure 數據總管預覽的 Cosmos DB Synapse Link Azure 數據總管支援使用變更摘要從 Azure Cosmos DB 完全受控的數據擷取。 如需詳細資訊,請參閱將數據從 Azure Cosmos DB 擷取至 Azure 數據總管(預覽版)。
2022 年 11 月 適用於 SQL 的 Azure Synapse Link 適用於 SQL 的 Azure Synapse Link 現已正式推出,適用於 SQL Server 2022 和 Azure SQL 資料庫。 適用於 SQL 的 Azure Synapse Link 功能提供從 SQL 型作業存放區到 Azure Synapse Analytics 的低程式代碼和無程式代碼近乎即時數據復寫。 以近乎即時的方式提供作業數據的 BI 報告,對作業存放區的影響最小。 如需詳細資訊,請參閱 什麼是適用於 SQL 的 Azure Synapse Link?
2022 年 7 月 批次模式 選取 連續批次 模式來復寫數據,以決定適用於 SQL 的 Azure Synapse Link 中的成本和延遲。 批次模式可讓您只支付批次負載期間的擷取服務,而不是持續開啟,以節省更多成本。 您可以選取 20 到 60 分鐘之間的批處理。

Synapse SQL

本節摘要說明 Azure Synapse Analytics 中 SQL 集區的最新改進和功能。

Month 功能 深入了解
2023 年 6 月 已更新診斷設定欄位 將九個字段新增至專用 SQL 集區診斷設定記錄
2023 年 3 月 為您的 Azure Synapse 專用 SQL 集區建立警示 此客戶成功工程部落格文章提供為 Azure Synapse 專用 SQL 集區設定警示的步驟,並提供建議的警示來協助您開始使用。
2023 年 3 月 效能微調 Synapse 專用集區 - 了解查詢生命週期 此客戶成功工程部落格文章深入探討 了解查詢生命週期以最大化效能
2023 年 3 月 GREATEST 和 LEAST T-SQL 語法支援 GREATEST 和 LEAST 函式現在可在無伺服器和專用 SQL 集區中使用。 這些純量值函式,並從一或多個運算式清單中傳回最大值和最小值。
2023 年 3 月 專用 SQL 集區 GA 中的多數據行散發 您現在可以 在多個數據 行上哈希散發數據表,以便更平均地散發基表,減少一段時間的數據扭曲並改善查詢效能。 如需這項正式運作功能的詳細資訊,請參閱三個選項: CREATE MATERIALIZED VIEWCREATE TABLE 散發選項CREATE TABLE AS SELECT 散發選項
2023 年 3 月 使用 SSDT 部署 Synapse SQL 無伺服器 從 161.8089.0 SqlPackage 開始,現已提供 SqlPackage 對 Azure Synapse Analytics 無伺服器 SQL 集區的期待已久的支援。 無伺服器 SQL 集區同時 支援擷取和發佈動作
2023 年 2 月 專用 SQL 集區的 UTF-8 和日文定序支援 UTF-8 支援和日文定序現在已 正式提供給專用 SQL 集區
2022 年 9 月 CSV數據集中 OPENROWSET 的自動統計數據 無伺服器 SQL 集區會在 需要時自動建立 CSV 數據集的統計數據 ,以確保 OPENROWSET 查詢的最佳查詢執行計劃。
2022 年 9 月 MERGE T-SQL 語法 T-SQL MERGE 語法 是 Synapse T-SQL 連結庫的高度要求。 MERGE 會將 INSERTs/UPDATEEs/DELETE 封裝成單一語句。 可在 10.0.17829 版和更新版本的專用 SQL 集區中使用。 如需詳細資訊,請參閱 MERGE T-SQL 公告部落格
2022 年 8 月 無伺服器 SQL 集區中的 Apache Spark Delta Lake 數據表 讓無伺服器 SQL 集區能夠存取 Spark 資料庫中建立的 Delta Lake 數據表,目前為預覽狀態。 如需詳細資訊,請參閱 Azure Synapse Analytics 共用元數據數據表
2022 年 8 月 專用 SQL 集區中的多數據行散發 您現在可以在多個數據行上哈希散發數據表,以便更平均地散發基表,減少一段時間的數據扭曲並改善查詢效能。 如需加入宣告預覽的詳細資訊,請參閱 CREATE TABLE 散發選項CREATE TABLE AS SELECT 散發選項
2022 年 8 月 Distribution Advisor 散發建議程式是 Azure Synapse 專用 SQL 集區 Gen2 中的新預覽功能,可分析查詢,並建議數據表的最佳散發策略,以改善查詢效能。 如需詳細資訊,請參閱 Azure Synapse SQL 中的散發建議程式
2022 年 8 月 在 Lake 資料庫中新增 SQL 對象和使用者 無伺服器 SQL 集區中針對湖資料庫宣佈的新功能:建立架構、檢視、程式、內嵌數據表值函式。 您也可以從 Azure Active Directory 網域資料庫使用者,並將其指派給db_datareader角色。 如需詳細資訊,請參閱 在 Azure Synapse Analytics 中使用無伺服器 SQL 集區存取 Lake 資料庫和 在 Azure Synapse Analytics 中使用 SQL 集區建立和使用原生外部數據表。

深入了解

如需較舊的更新,請檢閱 Azure Synapse Analytics 部落格 文章或 Azure Synapse Analytics 中的先前更新。

下一步