你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Azure Synapse Analytics 的新增功能

此页面将持续更新,包含 Azure Synapse Analytics 中的新增功能以及当前预览版功能的最新回顾。 若要关注 Azure Synapse 新闻和最新功能,请参阅 Azure Synapse Analytics 博客YouTube 上的配套视频

有关过去的更新,请查看以往的 Azure Synapse Analytics 博客文章或 Azure Synapse Analytics 中以往的更新

重要

Microsoft Fabric 已发布!

当前处于预览状态的功能

下表列出了目前以预览版提供的 Azure Synapse Analytics 功能。 预览版功能按字母顺序排序。

注意

当前为预览版的功能是根据补充使用条款提供的,请查看适用于 beta 版、预览版或其他尚未正式发布的 Azure 功能的法律条款。 Azure Synapse Analytics 提供预览版,让你有机会在功能正式发布 (GA) 之前对其进行评估并与产品小组分享反馈

功能 了解详细信息
无服务器 SQL 池中的 Apache Spark Delta Lake 表 供无服务器 SQL 池访问 Spark 数据库中创建的 Delta Lake 表的功能目前作为预览版提供。 有关详细信息,请参阅 Azure Synapse Analytics 共享元数据表
Apache Spark 弹性池存储 Azure Synapse Analytics Spark 池现在支持弹性池存储预览版。 使用弹性池存储,Spark 引擎可以监视工作器节点临时存储,并在需要时附加更多磁盘。 你无需执行任何操作,作业失败次数应该会更少。 有关详细信息,请参阅 Azure Synapse Analytics Spark 弹性池存储
Apache Spark R 语言支持 Apache Spark 的内置 R 支持目前处于预览阶段。
Azure Synapse 数据资源管理器 Azure Synapse 数据资源管理器提供交互式查询体验,用于从日志和遥测数据中找到见解。 Azure 数据资源管理器的连接器适用于 Synapse 数据资源管理器。 有关更多新闻,请参阅 Azure Synapse 数据资源管理器(预览版)
在 Azure Synapse Analytics 工作区中浏览 ADLS Gen2 文件夹 现在可以在 Synapse Studio 中浏览 Azure Synapse Analytics 工作区中的 Azure Data Lake Storage Gen2 (ADLS Gen2) 容器或文件夹。 有关详细信息,请参阅在 Azure Synapse Analytics 中使用 ACL 浏览 ADLS Gen2 文件夹
从 Cosmos DB 分析存储中捕获已更改的数据 Azure Cosmos DB 分析存储现在支持 Azure Cosmos DB API for NoSQL 和 Azure Cosmos DB API for MongoDB 的变更数据捕获 (CDC)。 有关详细信息,请参阅从 Cosmos DB 分析存储捕获变更的数据DevBlog:Azure Cosmos DB 分析存储的变更数据捕获 (CDC)
分发顾问 分布顾问是 Azure Synapse 专用 SQL 池第 2 代中的一项新预览版功能,可分析查询并建议表的最佳分布策略以提高查询性能。 有关详细信息,请参阅 Azure Synapse SQL 中的分布顾问
分布式深度神经网络训练 深度学习教程中详细了解新的分布式训练库,例如 Horovod、Petastorm、TensorFlow 和 PyTorch。
嵌入式 ADX 仪表板 嵌入 iFrame 并托管在第三方应用中的 Azure 数据资源管理器仪表板。
带分隔符文本文件的拒绝选项 对带分隔符文件的 CREATE EXTERNAL TABLE 的拒绝选项处于预览状态。
适用于 Azure Synapse Notebook 的 Spark 顾问 适用于 Azure Synapse Notebook 的 Spark 顾问可分析 Spark 运行的代码,并显示 Notebook 的实时建议。 Spark 顾问根据内置通用模式提供代码优化建议,执行错误分析,并找出故障的根本原因。
托管虚拟网络 (VNet) 中的生存时间 为托管虚拟网络 TTL 周期内的生存时间 (TTL) 预留计算,从而节省时间并提高效率。 有关此预览版的详细信息,请参阅宣布推出托管虚拟网络中的生存时间 (TTL) 公共预览版
用户分配的托管标识 现在,可以使用链接服务中的用户分配的托管标识在 Synapse Pipelines 和数据流中进行身份验证。 有关详细信息,请参阅 Azure 数据工厂和 Azure Synapse 中的凭据

正式版功能

下表列出了在过去 12 个月内已从预览版过渡到正式版 (GA) 的 Azure Synapse Analytics 功能。

Month 功能 了解详细信息
2023 年 4 月 Apache Spark 优化写入 优化写入是 Apache Synapse 上的 Delta Lake 的一项功能,可减少 Apache Spark 3(3.1 和 3.2)写入的文件数量,旨在增加写入数据的单个文件大小。
2023 年 3 月 适用于 Azure 数据资源管理器 GA 的 Cosmos DB Synapse Link Azure 数据资源管理器支持使用更改源从 Azure Cosmos DB 引入完全托管的数据。 我们现在支持 托管专用终结点或服务终结点后面的 Cosmos DB 帐户。 有关详细信息,请参阅 将数据从 Azure Cosmos DB 引入到 Azure 数据资源管理器
2023 年 3 月 专用 SQL 池中的多列分布 现在可以 在多列上对表进行哈希分布 以更均匀地分布基表,从而减少不断出现的数据倾斜并提高查询性能。 有关此正式发布版功能的详细信息,请参阅三个选项: CREATE MATERIALIZED VIEWCREATE TABLE 分布选项CREATE TABLE AS SELECT 分布选项
2023 年 3 月 使用 SSDT 部署 Synapse SQL 无服务器 期待已久的 SqlPackage 对 Azure Synapse Analytics 无服务器 SQL 池的支持现已推出,从 161.8089.0 SqlPackage 开始提供。 无服务器 SQL 池支持用于提取和发布操作
2023 年 2 月 ADX 仪表板 GA Azure 数据资源管理器仪表板现已正式发布, 使用 Azure 数据资源管理器 Web UI,可以从端到端浏览数据,从数据引入开始,运行查询,并最终生成仪表板。
2023 年 2 月 专用 SQL 池的 UTF-8 和日语排序规则支持 UTF-8 支持和日语排序规则现可正式用于专用 SQL 池
2023 年 2 月 适用于 Apache Spark 3.3 的 Azure Synapse 运行时 适用于 Apache Spark 3.3 的 Azure Synapse 运行时现已正式发布。 根据我们使用 1 TB TPC-H 行业基准完成的测试,性能最多可能会提高 77%
2022 年 12 月 SSIS IR Express 虚拟网络注入 将 SSIS Integration Runtime (IR) 注入 VNet 的标准方法和快速方法现已正式发布。 有关详细信息,请参阅 Azure 数据工厂中 SSIS 的快速虚拟网络注入正式发布
2022 年 11 月 将数据从 Azure 流分析引入到 Synapse 数据资源管理器 使用流分析作业从事件中心收集数据并将其发送到 Azure 数据资源管理器群集的功能现已推出正式版。 有关详细信息,请参阅将数据从 Azure 流分析引入 Azure 数据资源管理器Azure 流分析的 ADX 输出
2022 年 11 月 Azure Synapse Link for SQL 对于 SQL Server 2022 和 Azure SQL 数据库,Azure Synapse Link for SQL 现已正式发布。 Azure Synapse Link for SQL 功能提供通过基于 SQL 的操作存储到 Azure Synapse Analytics 的低代码和无代码准实时数据复制。 最小准实时提供操作数据的 BI 报告,对操作存储的影响极小。 若要了解详细信息,请访问什么是 Azure Synapse Link for SQL?
2022 年 10 月 SAP CDC 连接器正式发布 SAP 变更数据捕获 (CDC) 的数据连接器现已正式发布。 有关详细信息,请参阅宣布推出 Azure 数据工厂和 Azure Synapse Analytics 中 SAP CDC 解决方案的公共预览版Azure 数据工厂中的 SAP CDC 解决方案
2022 年 9 月 MERGE T-SQL 语法 MERGE T-SQL 语法 是用户强烈请求添加到 Synapse T-SQL 库中的功能。 与在 SQL Server 中一样,MERGE 语法将 INSERT/UPDATE/DELETE 封装到单个高性能语句中。 在 10.0.17829 及更高版本的专用 SQL 池中可用。 有关详细信息,请参阅 MERGE T-SQL 公告博客
2022 年 7 月 适用于 Synapse Analytics 的 Apache Spark™ 3.2 适用于 Synapse Analytics 的 Apache Spark™ 3.2 现已正式发布。 请查看官方发行说明Spark 3.1 与 3.2 之间的迁移指南,以评估应用程序的潜在更改。 有关详细信息,请阅读 Apache Spark 版本支持和 Azure Synapse Runtime for Apache Spark 3.2Azure Synapse Analytics July Update 2022 中重点介绍了 Spark 3.2 中做出的改进。
2022 年 7 月 Azure Synapse 中的 Apache Spark 智能缓存功能 Spark 的智能缓存功能会自动将每个读取存储在已分配的缓存存储空间中,检测基础文件更改并刷新文件以提供最新数据。 有关详细信息,请参阅如何为 Apache Spark 池启用/禁用缓存
2022 年 6 月 映射数据工具 映射数据工具是一个引导式过程,可帮助你创建 ETL 映射,并在不编写代码的情况下将数据流从源数据映射到 Synapse。 若要详细了解映射数据工具,请阅读 Azure Synapse Analytics 中的映射数据
2022 年 6 月 用户定义的函数 用户定义的函数 (UDF) 现已推出正式版。 有关详细信息,请阅读映射数据流中用户定义的函数

社区

本部分汇总了新的 Azure Synapse Analytics 社区机会和 Microsoft 的 Azure Synapse 影响者计划

Month 功能 了解详细信息
2023 年 4 月 Azure Synapse MVP Corner Microsoft Azure Synapse MVP 博客系列 Azure Synapse MVP 之角 3 月亮点。
2023 年 3 月 Azure Synapse MVP Corner Azure Synapse MVP Corner 中 Microsoft Azure Synapse MVP 博客系列 2 月亮点。
2023 年 2 月 Azure Synapse MVP Corner Azure Synapse MVP Corner 中 Microsoft Azure Synapse MVP 博客系列 1 月亮点。
2023 年 1 月 Azure Synapse MVP Corner Azure Synapse MVP Corner 中 Microsoft Azure Synapse MVP 博客系列 12 月亮点。
2022 年 12 月 Azure Synapse MVP Corner 本月 Azure Synapse MVP Corner 中的 Microsoft Azure Synapse MVP 博客系列 10 月亮点。
2022 年 11 月 Azure Synapse 影响者计划 Azure Synapse 影响者计划提供独家活动和咨询 Microsoft 产品团队专家等 Q&A 会话,参与者可以在此直接与产品专家互动,并就各种轮换主题向他们提问。 从 Azure Synapse Analytics 影响者社区成员那里获得反馈。
2022 年 10 月 Azure Synapse MVP Corner 本月 Azure Synapse MVP Corner 中的 Microsoft Azure Synapse MVP 博客系列 10 月亮点。
2022 年 9 月 Azure Synapse MVP Corner 本月 Azure Synapse MVP Corner 中的 Microsoft Azure Synapse MVP 博客系列 9 月亮点。
2022 年 5 月 Azure Synapse 影响者计划 免费注册 Azure Synapse 影响者计划,并与致力于帮助他人通过云分析实现更多目标的 Synapse 用户社区互动。 立即注册我们的下一次 Synapse 影响者“咨询专家”研讨会。 此研讨会可免费参加,欢迎大家参与有关 Synapse 主题的讨论。 可以在 Azure Synapse YouTube 频道观看过去录制的“咨询专家”活动

Apache Spark for Azure Synapse Analytics

本部分汇总了 Apache Spark for Azure Synapse Analytics 的最新特性和功能。

Month 功能 了解详细信息
2023 年 4 月 Delta Lake - Low Shuffle Merge Apache Spark 3.2 和 3.3 池中现提供 Delta 表的 Low Shuffle Merge 优化。 现在,可以使用 Delta Lake MERGE 命令更新具有高级条件的 Delta 表。
2023 年 3 月 库管理新功能:内联安装 %pip%conda 现已在 Apache Spark for Synapse 中提供! %pip%conda 是可用于在 Notebooks 上安装 Python 包的命令。 有关详细信息,请参阅 通过 %pip 和 %conda 命令管理会话范围的 Python 包
2023 年 3 月 将 Azure Synapse Analytics Spark 性能提高高达 77% 更多地区将获得 Azure Synapse Spark 工作负载的性能提升,包括最近的韩国中部、印度中部和澳大利亚东南部。
2023 年 3 月 Azure Synapse Spark Notebook - 单元测试 了解如何为使用 Synapse Notebook 开发的 Spark 作业测试和创建单元测试用例
2023 年 3 月 Apache Spark 2.4 和 3.1 停用周期 适用于 Apache Spark 2.4 和 3.1 的 Azure Synapse 运行时已进入停用周期。 Apache Spark 2.4 将于 2023 年 9 月 29 日停用,Apache Spark 3.1 将于 2024 年 1 月 26 日停用。 在此期间,你应该将工作负载重新定位到更高的 Apache Spark 运行时版本。 在 Azure Synapse 中的 Apache Spark 运行时中阅读详细信息,并查看 Spark 迁移指南
2023 年 2 月 适用于 Apache Spark 3.3 的 Azure Synapse 运行时 适用于 Apache Spark 3.3 的 Azure Synapse 运行时现已正式发布。 根据我们使用 1 TB TPC-H 行业基准完成的测试,性能最多可能会提高 77%
2023 年 1 月 适用于 Azure Synapse Notebook 的 Spark 顾问 适用于 Azure Synapse Notebook 的 Spark 顾问可分析 Spark 运行的代码,并显示 Notebook 的实时建议。 Spark 顾问根据内置通用模式提供代码优化建议,执行错误分析,并找出故障的根本原因。 
2023 年 1 月 使用 Synapse Genie 提高 Spark 池利用率 Synapse Genie Framework 通过在同一个 Spark Pool 实例上执行多个 Synapse Notebook 来提高 Spark Pool 的利用率。 详细了解用 Python 编写的元数据驱动实用工具
2022 年 11 月 适用于 Apache Spark 3.3 的 Azure Synapse 运行时 适用于 Apache Spark 3.3 的 Azure Synapse 运行时目前为预览版。 有关详细信息,请参阅 Apache Spark 3.3 预览版博客文章。 根据我们使用 1 TB TPC-H 行业基准完成的测试,性能最多可能会提高 77%
2022 年 9 月 新的信息性 Livy 错误代码 更精确的错误代码可描述失败的原因,并替换以前的通用错误代码。 过去,失败的 Spark 作业中的所有错误都会以一个显示 LIVY_JOB_STATE_DEAD 的通用错误代码来体现。
2022 年 9 月 Apache Spark for Azure Synapse Analytics 中的新查询优化技术 阅读 Microsoft 在工作中的发现,在参考 TPC-DS 工作负载方面获得可观的性能优势,并大幅减少查询计划生成时间。
2022 年 8 月 Apache Spark 弹性池存储 Azure Synapse Analytics Spark 池现在支持弹性池存储预览版。 弹性池存储允许 Spark 引擎监视工作器节点临时存储,并根据需要附加更多磁盘。 你无需执行任何操作,作业失败次数应该会更少。 有关详细信息,请参阅博客:Azure Synapse Analytics Spark 弹性池存储已推出公共预览版
2022 年 8 月 Apache Spark 优化写入 优化写入是 Synapse 上的 Delta Lake 的一项预览版功能,可减少 Apache Spark 3(3.1 和 3.2)写入的文件数量,旨在增加写入数据的单个文件大小。 有关详细信息,请参阅在 Apache Spark 上优化写入的需求

数据集成

本部分汇总了 Azure Synapse Analytics 数据集成的最新特性和功能。 了解如何使用 Azure 数据工厂 (ADF) 或 Synapse 管道将数据加载到 Azure Synapse Analytics 中

Month 功能 了解详细信息
2023 年 4 月 从 Cosmos DB 分析存储中捕获已更改的数据(公共预览版) Azure Cosmos DB 分析存储现在支持 Azure Cosmos DB API for NoSQL 和 Azure Cosmos DB API for MongoDB 的变更数据捕获 (CDC)。 有关详细信息,请参阅从 Cosmos DB 分析存储捕获变更的数据DevBlog:Azure Cosmos DB 分析存储的变更数据捕获 (CDC)
2023 年 3 月 深入探讨:Synapse 管道存储事件触发安全性 此“客户成功工程”博客文章深入探讨了 Azure Synapse 管道存储事件触发器安全性。 ADF 和 Synapse Pipelines 提供的功能允许基于各种事件(例如存储 Blob 创建或删除)触发管道执行。 客户可以使用它来实现事件驱动的管道业务流程。
2023 年 1 月 SQL CDC 增量提取现在支持数值列 通过在数据流中启用 SQL Server CDC 增量提取,可以只处理自上次执行管道以来更改的行。 支持的增量列类型现在包括日期/时间和数值列。
2022 年 12 月 Express 虚拟网络注入 将 SSIS Integration Runtime (IR) 注入 VNet 的标准方法和快速方法现已正式发布。 有关详细信息,请参阅 Azure 数据工厂中 SSIS 的快速虚拟网络注入正式发布
2022 年 10 月 SAP CDC 连接器正式发布 SAP 变更数据捕获 (CDC) 的数据连接器现已正式发布。 有关详细信息,请参阅宣布推出 Azure 数据工厂和 Azure Synapse Analytics 中 SAP CDC 解决方案的公共预览版Azure 数据工厂中的 SAP CDC 解决方案
2022 年 9 月 甘特图视图 现在可在 Azure 数据工厂 Integration Runtime 监视中使用甘特图查看活动运行情况。
2022 年 9 月 监视改进 我们已根据社区反馈发布了新的监控体验改进包
2022 年 9 月 映射数据流中的最大列优化 对于 CSV 等带分隔符的文本数据源,新的“最大列”设置可用于设置最大列数
2022 年 9 月 Oracle 数据源连接器中的 NUMBER 到整数转换 新属性,用于通过新属性 convertDecimalToInteger 将 Oracle NUMBER 类型转换为源中的相应整数类型。 有关详细信息,请参阅 Oracle 源连接器
2022 年 9 月 支持在 Web 活动中使用 HTTP 请求 DELETE 方法发送正文 对于在 Web 活动中使用 DELETE 方法时发送正文(可选)的新支持。 有关详细信息,请参阅可用的 Web 活动类型属性
2022 年 8 月 映射数据流现在支持视觉强制转换 可以使用强制转换轻松修改数据流中各个列的数据类型。
2022 年 8 月 默认活动超时已更改为 12 小时 默认活动超时现在为 12 小时
2022 年 8 月 管道表达式生成器易用性增强 我们更新了表达式生成器 UI,使管道设计变得更容易
2022 年 8 月 用于映射数据流内联数据集类型的新 UI 我们更新了数据流源 UI,以便更轻松地查找内联数据集类型
2022 年 7 月 托管虚拟网络 (VNet) 中的生存时间 为托管虚拟网络 TTL 周期内的生存时间 (TTL) 预留计算,从而节省时间并提高效率。 有关此预览版的详细信息,请参阅宣布推出托管虚拟网络中的生存时间 (TTL) 公共预览版
2022 年 6 月 SAP CDC 连接器预览版 SAP 变更数据捕获 (CDC) 的新数据连接器现已推出预览版。 有关详细信息,请参阅宣布推出 Azure 数据工厂和 Azure Synapse Analytics 中 SAP CDC 解决方案的公共预览版Azure 数据工厂中的 SAP CDC 解决方案
2022 年 6 月 联接转换中的模糊联接选项 映射数据流中的联接转换中,添加了通过相似性阈值评分滑块使用模糊匹配的选项。
2022 年 6 月 映射数据工具正式版 我们很高兴地宣布,映射数据工具现已推出正式版。 映射数据工具是一个引导式过程,可帮助你创建 ETL 映射,并在不编写代码的情况下将数据流从源数据映射到 Synapse。
2022 年 6 月 使用新参数重新运行管道 现在可以在从“监视”页重新运行管道时更改管道参数,而无需返回到管道编辑器。 有关详细信息,请阅读重新运行管道和活动
2022 年 6 月 用户定义的函数正式版 映射数据流中用户定义的函数 (UDF) 现已推出正式版 (GA)。

数据库模板和数据库设计器

本部分汇总了数据库模板数据库设计器的最新特性和功能。

Month 功能 了解详细信息
2022 年 7 月 浏览行业模板 浏览行业模板并添加表来创建你自己的湖数据库。 详细了解浏览行业模板的方式,并参阅快速入门:利用数据库模板创建新的湖数据库开始使用此功能。

开发人员体验

本部分汇总了 Azure Synapse Analytics 中的开发人员最近的新生活质量和功能改进。

Month 功能 了解详细信息
2023 年 5 月 将 Azure DevOps 与 Synapse 工作区一起使用,以在生产环境中创建热修补程序 博客文章:如何从开发 Synapse 工作区将修补程序部署到生产环境,而不会对正在进行的开发项目造成不利影响
2022 年 12 月 MSSparkUtils 堪称 Synapse Spark 内的瑞士军刀 MSSparkUtils 是一个内置包,可帮助你轻松执行称为 Microsoft Spark 实用工具的常见任务,包括在笔记本之间共享结果的功能。
2022 年 9 月 用于发布工作区项目的 Synapse CICD Synapse Studio 与源代码管理系统(如 Azure DevOps GitGitHub)的集成已被证明是 Synapse Studio 的首选协作功能之一,并为 Azure Synapse 提供了源代码管理。 Visual Studio 市场具有用于自动完成发布的 Synapse 工作区部署任务
2022 年 7 月 Synapse Notebooks 与 IPython 兼容 Jupyter 笔记本的官方内核是 IPython,现在它在 Synapse Notebooks 中受支持。 有关详细信息,请参阅 Synapse Notebooks 现在与 IPython 完全兼容
2022 年 7 月 Mssparkutils 现在包含 spark.stop() 方法 已将新的 API mssparkutils.session.stop() 添加到 mssparkutils 包中。 针对同一个 Spark 池运行多个会话时,此功能非常有用。 此新 API 适用于 Scala 和 Python。 有关详细信息,请参阅停止交互式会话

机器学习

本部分汇总了用于在 Azure Synapse Analytics 中机器学习模型的最新功能和改进。

Month 功能 了解详细信息
2023 年 3 月 在 Synapse Analytics 中使用 OpenAI GPT Microsoft 将 Azure OpenAI 作为 Azure 认知服务提供,可以从 Synapse Spark 中访问 Azure OpenAI 的 GPT 模型
2022 年 11 月 R 支持(预览版) Azure Synapse Analytics 现在为 Apache Spark 提供内置 R 支持(目前为预览版)。 例如,通过 CRAN 和 CRAN 快照安装 R 库
2022 年 8 月 SynapseML v.0.10.0 新的 SynapseML v0.10.0 版本(以前为 MMLSpark)是一个旨在简化大规模可缩放机器学习管道创建的开源库。 详细了解 SynapseML 的新增功能并开始使用 SynapseML
2022 年 8 月 .NET 支持 SynapseML v0.10 添加了对 .NET 语言(例如 C# 和 F#)的完全支持。 有关 .NET SynapseML 示例,请参阅使用 LightGBMClassifier 的 .NET 示例
2022 年 8 月 支持 Azure OpenAI 服务 SynapseML 现在允许用户利用 OpenAI 的 1750 亿个参数语言模型 (GPT-3),该模型可以生成和完成接近人类同等水平的文本和代码。 有关详细信息,请参阅用于大数据的 Azure OpenAI
2022 年 8 月 MLflow 平台支持 SynapseML 模型现在与 MLflow 集成,完全支持保存、加载、部署和自动日志记录
2022 年 8 月 Binder 中的 SynapseML 我们知道,Spark 可能会让第一批用户望而却步,但不必担心,因为借助 Binder 技术,可以在 Binder 中探索和体验 SynapseML,而无需进行设置、安装、部署基础结构或创建 Azure 帐户。
2022 年 6 月 分布式深度神经网络训练(预览版) Azure Synapse 运行时还包括支持库,例如 Petastorm 和 Horovod,它们通常用于分布式训练。 此功能目前以预览版提供。 Apache Spark 3.1 和 3.2 的 Azure Synapse Analytics 运行时还可以支持最常见的深度学习库(例如 TensorFlow 和 PyTorch)。 若要详细了解如何在 Azure Synapse Analytics GPU 加速池中利用这些库,请阅读深度学习教程

示例和指导

本部分汇总了 Azure Synapse Analytics 的新指导和示例项目资源。

Month 功能 了解详细信息
2023 年 5 月 使用 Synapse 实现缓慢更改维度 演示如何使用无服务器 SQL 池在数据湖上实现缓慢更改维度类型 2
2023 年 5 月 使用 Azure Synapse 专用 SQL 池进行 CI 和 CD 通过此博客文章,使用版本控制、持续集成和部署,以及最佳做法来管理 Azure Synapse 数据仓库的 ALM 生命周期
2023 年 3 月 使用 Snapshot Serengeti 在 Azure Synapse Analytics 上创建数据解决方案 系列由四部分组成,介绍如何在 Azure Synapse Analytics 上构建端到端数据分析和机器学习解决方案。 此解决方案中使用的数据集是 Snapshot Serengeti 数据集,它由相机陷阱图像的大规模集合组成。
2023 年 3 月 Kusto 查询语言(KQL)简介 此“客户成功工程”博客文章 介绍了 Kusto 查询语言(KQL),这是一种功能强大的查询语言,用于分析大量结构化、半结构化和非结构化(自由文本)数据。
2023 年 3 月 为 Synapse 工作区创建自定义灾难恢复计划 由多个部分组成的关于为其 Synapse 工作区创建灾难恢复计划的博客系列。
2023 年 3 月 Azure Synapse 连接:公共终结点、专用终结点、托管 VNet 和托管专用终结点 专家撰写的由三个部分组成的博客系列,该系列介绍适用于各种网络选项(包括入站专用池公共终结点连接Azure Synapse 专用终结点托管 VNet 和托管专用终结点)的 Azure Synapse 连接。
2023 年 2 月 Azure Synapse 专用 SQL 池的历史监视仪表板 使用 Azure 指标和 Azure 日志分析上的 Azure Monitor 工作簿模板启用历史记录监视的步骤演练。
2023 年 1 月 使用 Synapse 无服务器池读取 Data Lake 介绍如何使用 OPENROWSET 查询湖中路径或使用外部表查询湖中路径的上下册指南。
2023 年 1 月 Synapse Spark 中的结构化流式处理 将 IoT 温度数据从 IoT 设备流式传输到 Synapse Spark的详细示例。
2023 年 1 月 在 Synapse 工作区中创建专用 SQL 池的 DNS 别名,用于灾难恢复 专用 SQL 池的自定义 DNS(以前是 SQL DW)可以在灾难期间重定向到客户端程序。
2022 年 12 月 Azure Synapse - Data Lake、Delta Lake 和 Data Lakehouse 对比 阅读新的成功工程博客文章,揭开 Data Lake、Delta Lake 和 Data Lakehouse 术语的神秘面
2022 年 11 月 数据外泄保护 (DEP) 如何影响 Azure Synapse Analytics 管道 数据外泄保护 (DEP) 功能可对连接到其他服务的 Azure Synapse Analytics 功能启用更多限制。
2022 年 11 月 适用于 Azure Synapse Analytics 的 REST API 入门 - Apache Spark 池 我们提供了有关如何设置和使用 Synapse REST 终结点的说明,并介绍了 REST API 支持的 Apache Spark 池操作
2022 年 11 月 Azure Synapse 数据资源管理器揭秘 由两部分组成的教程系列:Azure Synapse 中的数据资源管理器揭秘使用 Azure Synapse 数据资源管理器引入数据
2022 年 11 月 Synapse Spark Delta 按时间顺序查看 Delta Lake 按时间顺序查看支持时间点查询快照,甚至支持回滚错误更新
2022 年 9 月 Synapse 专用 SQL 池(之前称为 SQL DW)和无服务器 SQL 池有什么区别? 了解专用池与无服务器池及其并发性。 有关详细信息,请参阅专用 SQL 池和无服务器 SQL 池的基本概念
2022 年 9 月 在专用 SQL 池中读取 Delta Lake 示例脚本,用于将 Delta Lake 文件直接导入专用 SQL 池并支持时间旅行等功能。 有关说明,请参阅在专用 SQL 池中读取 Delta Lake
2022 年 9 月 Azure Synapse 客户成功工程博客系列 新的 Azure Synapse 客户成功工程博客系列已发布,其中详细介绍了如何构建 Lakehouse - 使用 Azure Synapse 实现 Data Lake 策略
2022 年 6 月 使用 Synapse Analytics 进行 Azure Orbital 分析 我们现在提供了一个 Azure Orbital 分析示例解决方案,用于展示如何在 Azure Synapse Analytics 中使用地理空间库和 AI 模型,端到端实现星载数据的提取、加载、转换和分析。 该示例解决方案还演示了如何集成地理空间特定的 Azure AI 服务模型、合作伙伴的 AI 模型和自带数据模型。
2022 年 6 月 Oracle 迁移指南 现已发布 Microsoft 编写的有关将 Oracle 迁移到 Azure Synapse Analytics 的新指南。 Oracle 迁移的设计和性能
2022 年 6 月 Azure Synapse 成功源于设计 Azure Synapse 概念证明 playbook 提供了界定、设计、执行和评估 SQL 或 Spark 工作负载概念证明的指南。
2022 年 6 月 Teradata 迁移指南 现已发布 Microsoft 编写的有关将 Teradata 迁移到 Azure Synapse Analytics 的新指南。 Teradata 迁移的设计和性能
2022 年 6 月 IBM Netezza 迁移指南 现已发布 Microsoft 编写的有关将 IBM Netezza 迁移到 Azure Synapse Analytics 的新指南。 IBM Netezza 迁移的设计和性能

安全性

本部分汇总了 Azure Synapse Analytics 中的最新安全功能和设置。

Month 功能 了解详细信息
2022 年 12 月 数据外泄保护 (DEP) 如何影响 Azure Synapse Analytics 管道 数据外泄保护 (DEP) 功能可对连接到其他服务的 Azure Synapse Analytics 功能启用更多限制。
2022 年 8 月 使用系统分配的托管标识执行 Azure Synapse Spark Notebooks 现在,通过从“配置”会话菜单中启用“以托管标识运行”,可以轻松地使用系统分配的托管标识(或工作区托管标识)执行 Spark Notebooks。 借助此功能,能够在使用系统分配的托管标识时验证笔记本是否按预期方式工作,然后在管道中使用笔记本。 有关详细信息,请参阅 Azure Synapse 的托管标识
2022 年 7 月 发布到 Git 所需的权限的更改 现在,只需拥有 Git 权限和 Synapse 项目发布者 (Synapse RBAC) 角色即可在 Git 模式下提交更改。 有关详细信息,请参阅在 Synapse Studio 中强制实施访问控制

Azure Synapse 数据资源管理器(预览版)

Azure 数据资源管理器 (ADX) 是一项快速且高度可缩放的数据探索服务,适用于日志和遥测数据。 它提供从事件中心、IoT 中心、写入 blob 容器的 blob 和 Azure 流分析作业引入数据的功能。 本部分汇总了 Azure Synapse 数据资源管理器Kusto 查询语言 (KQL) 的最新特性和功能。 请阅读 Azure Synapse 数据资源管理器与 Azure 数据资源管理器之间有什么区别?,了解详细信息

Month 功能 了解详细信息
2023 年 4 月 使用 Cosmos DB 连接部署 Azure 数据资源管理器 DB 的 ARM 模板 现在可以使用 ARM 模板快速部署 Azure 数据资源管理器群集,其中包含系统分配的标识、数据库、Azure Cosmos DB 帐户 (NoSql)、Azure Cosmos DB 数据库、Azure Cosmos DB 容器,以及 Cosmos DB 容器和 Kusto 数据库之间的数据连接(使用系统分配的标识)。
2023 年 4 月 将数据从 Azure 事件中心引入 ADX 免费层 Azure 数据资源管理器现在支持与 ADX 免费层中的事件中心集成。 有关详细信息,请参阅使用 Azure 数据资源管理器的免费事件中心数据分析
2023 年 3 月 在 Kusto 数据资源管理器中查看群集历史记录 现在,使用 .show queries.show commands-and-queries 可以更轻松地跟踪在 Kusto 群集上运行的查询和命令的历史记录。 
2023 年 3 月 Kusto Web Explorer 中的 Amazon S3 支持 现在,可以通过 Kusto Web Explorer (KWE)中的引入中心无缝 引入 Amazon S3 中的数据
2023 年 3 月 Plotly 视觉对象支持 使用 Plotly 绘图库 以在 生成 ADX 仪表板 时使用“render”运算符 或以交互方式为 KQL 查询创建可视化效果。
2023 年 2 月 ADX 仪表板 GA Azure 数据资源管理器仪表板现已正式发布, 使用 Azure 数据资源管理器 Web UI,可以从端到端浏览数据,从数据引入开始,运行查询,并最终生成仪表板。
2023 年 2 月 ADX 文件引入最多支持 1000 个文件 ADX 引入向导 现在一次性最多支持 1000 个文件(之前是 10 个)。
2023 年 1 月 适用于 Azure 数据资源管理器的 Apache Log4j 2 连接器 适用于 Azure 数据资源管理器的 Apache Log4J 2 接收器旨在轻松地将 Log4j 2 日志数据流式传输到 Azure 数据资源管理器,你可以在其中实时分析和可视化日志并发出相关警报。 有关详细信息,请参阅 Apache Log4j 和 Azure 数据资源管理器入门
2023 年 1 月 将预先存在的事件中心事件引入 ADX ADX 现在可以通过事件检索开始日期引入在 ADX 群集中创建事件中心数据连接之前存在的事件中心数据。
2023 年 1 月 多变量异常情况检测 ADX 包含使用 series_decompose_anomalies() 函数跨多个时序检测异常的本机支持。 有关详细信息,请参阅多变量异常情况检测
2023 年 1 月 改进了仪表板中的条件格式 条件格式 有助于直观展示异常或离群值数据点。 现在,可以使用条件或通过将主题应用于数字列或将离散值应用于非数值列来设置视觉对象的格式。
2023 年 1 月 饼图显示的新显示选项 使用仪表板中饼图可视化效果的新显示选项重点研究你关注的数据。
2022 年 12 月 ADX Kusto Web Explorer (KWE) JPath 查看器 JPath 表示法描述 JSON 文档中的一个或多个元素的路径。 使用新的扩展视图快速获取 JSON 文本的特定元素,并轻松复制其路径表达式。 有关示例,请参阅 JPath 查看器
2022 年 12 月 使用 Azure Synapse 数据资源管理器揭秘数据使用 从 Azure Synapse 数据资源管理器检索、使用和可视化数据的各种方法的指南。
2022 年 11 月 通过 Azure Data Share 添加了表级共享支持 我们现已通过 Azure Data Share 界面添加了表级共享支持,你可以在其中共享数据库中的特定表。 这样,你便可以轻松安全地与公司内部人员或外部合作伙伴共享数据。
2022 年 11 月 将数据从 Azure 流分析引入到 Synapse 数据资源管理器 使用流分析作业从事件中心收集数据并将其发送到 Azure 数据资源管理器群集的功能现已推出正式版。 有关详细信息,请参阅将数据从 Azure 流分析引入 Azure 数据资源管理器Azure 流分析的 ADX 输出
2022 年 11 月 parse-kv 运算符 新的 parse-kv 运算符从字符串表达式中提取结构化信息,并以键/值形式表示该信息。 可以通过 RE2 正则表达式使用指定的分隔符非指定的分隔符正则表达式
2022 年 10 月 ADX 群集中的前导数据库和后继数据库 使用 Azure 门户中的数据库页轻松识别先导数据库的所有后继数据库,以及给定后继数据库的先导数据库
2022 年 10 月 为后继数据库指定别名 使用后继数据库功能可将另一群集中的数据库附加到 Azure 数据资源管理器群集。 现在可以在建立后继数据库关系时替代数据库名称
2022 年 10 月 从 OpenTelemetry 引入数据 OpenTelemetry (OTel) 是一个与供应商无关的开源应用程序可观测性框架。 OpenTelemetry 导出器支持将多个接收器的数据引入 Azure 数据资源管理器
2022 年 10 月 从 Telegraf 引入数据 Telegraf 是一个开源、轻型、内存占用极小的代理,用于收集、处理和写入遥测数据,包括日志、指标和 IoT 数据。 Azure 数据资源管理器输出插件充当 Telegraf 的连接器,并支持将数据从许多类型的输入插件引入 Azure 数据资源管理器。
2022 年 9 月 Azure 数据资源管理器 Kusto 仿真器 ADX 仿真器是一个 Docker 映像,可公开 ADX 查询引擎终结点。 可以使用它来创建数据库以及引入和查询数据。 该仿真器像 Azure 服务那样理解 Kusto 查询语言 (KQL)。
2022 年 9 月 Logstash 连接器代理配置 使用 Azure 数据资源管理器 (ADX) Logstash 插件,可以将 Logstash 中的事件处理到 ADX 数据库进行分析。 版本 1.0.5 现在支持 HTTP/HTTPS 代理。
2022 年 9 月 对 Protobuf 格式的 Kafka 支持 ADX Kafka 接收器连接器利用 Kafka Connect 框架并提供适配器,用于从 Kafka 引入 JSON、Avro、String 格式的数据,当前最新更新中还包括 Protobuf 格式。 详细了解如何将 Protobuf 数据从 Kafka 引入到 Azure 数据资源管理器
2022 年 9 月 漏斗图视觉对象 漏斗图是我们根据客户的反馈添加到 Azure 数据资源管理器仪表板的最新视觉对象
2022 年 9 月 示例应用生成器中的 .NET 和 Node.js 支持 Azure 数据资源管理器 (ADX) 示例应用生成器向导是一个工具,使你能够以首选编程语言创建工作应用来引入和查询数据。 现在,除了之前可用的 Java 和 Python 选项外,还支持在 .NET 和 Node.js 中生成示例应用。
2022 年 8 月 Kafka 接收器中的 Protobuf 支持 Azure 数据资源管理器 Kafka 接收器 - 通过了金级认证的 Confluent 连接器 - 帮助将数据从 Kafka 引入 Azure 数据资源管理器。 我们在连接器中添加了 Protobuf 支持,以帮助客户将 Protobuf 数据引入 ADX。
2022 年 8 月 对 Amazon S3 的原生支持 .ingest into ADX 命令通过从一个或多个云存储文件“拉取”数据,将数据引入表中。 该命令现在支持 Amazon S3 URL。 有关示例,请阅读有关从 S3 连续引入数据的功能公告博客文章。
2022 年 8 月 嵌入式 ADX 仪表板 嵌入 IFrame 并托管在第三方应用中的 ADX Web UI 和仪表板。
2022 年 8 月 免费群集升级选项 现在,可以将 Azure 数据资源管理器免费群集升级到完整群集,从而消除存储限制,并获得更多的容量来扩大数据。
2022 年 8 月 分析 Excel 数据透视表中的新 ADX 数据 现在,可以在你偏好的分析工具 Excel 数据透视表中使用最新且不限量的 ADX 数据 (Kusto)。 由数据透视代码生成的 MDX 查询将作为 KQL 语句到达 Kusto 后端,这些语句根据数据透视的需要聚合数据并返回到 Excel。
2022 年 8 月 查询结果 - 按值着色 一目了然地突出显示查询结果中的唯一数据,以直观地对共享特定列的相同值的行进行分组。 使用“浏览结果”和“按值着色”来根据所选列将颜色应用于行
2022 年 8 月 Web 资源管理器 - 图表的十字准线支持 ysplit 属性现在支持许多图表的十字准线视觉对象(沿鼠标指针移动的垂直线)。
2022 年 7 月 scan 运算符 使用功能强大的 scan 运算符,可以在 ADX 中实现高效且可缩放的过程挖掘以及序列分析和用户分析。 使用 scan 的常见方案包括 IoT 设备的预防性维护、漏斗分析、递归计算、查找已知攻击步骤的安全方案等。
2022 年 7 月 将数据从 Azure 流分析引入到 Synapse 数据资源管理器(预览版) 现在可以使用流分析作业从事件中心收集数据,并使用 Azure 门户或 ARM 模板将其发送到 Azure 数据资源管理器群集。 有关详细信息,请参阅将数据从 Azure 流分析引入到 Azure 数据资源管理器
2022 年 7 月 为每个 y 列呈现图表 Synapse Web 数据资源管理器现在支持为每个 y 列呈现图表。 有关示例,请参阅 Azure Synapse Analytics July Update 2022
2022 年 6 月 Web 资源管理器新主页 在新的 Azure Synapse Web 资源管理器主页中,可以更轻松地掌握 Synapse Web 资源管理器的入门知识。
2022 年 6 月 Web 资源管理器示例库 [Web 资源管理器示例库]((https://techcommunity.microsoft.com/t5/azure-data-explorer-blog/azure-data-explorer-in-60-minutes-with-the-new-samples-gallery/ba-p/3447552) 提供端到端的示例来展示客户如何利用 Synapse 数据资源管理器热门用例,例如日志数据、指标数据、IoT 数据和基本大数据示例。
2022 年 6 月 Web 资源管理器仪表板钻取功能 现在可以在 Synapse Web 资源管理器仪表板中使用钻取作为参数
2022 年 6 月 Web 资源管理器的时区设置 Web 资源管理器的时区设置现在将应用于查询结果和仪表板。 更改时区时,仪表板自动刷新以使用所选时区显示数据。

Azure Synapse Link 是一个自动化系统,用于将数据从 SQL Server 或 Azure SQL 数据库Azure Cosmos DBDataverse 复制到 Azure Synapse Analytics。 本部分汇总了有关 Azure Synapse Link 功能的新闻。

Month 功能 了解详细信息
2023 年 3 月 适用于 Azure 数据资源管理器 GA 的 Cosmos DB Synapse Link Azure 数据资源管理器支持使用更改源从 Azure Cosmos DB 引入完全托管的数据。 我们现在支持 托管专用终结点或服务终结点后面的 Cosmos DB 帐户。 有关详细信息,请参阅 将数据从 Azure Cosmos DB 引入到 Azure 数据资源管理器
2023 年 1 月 适用于 Azure 数据资源管理器(预览版)的 Cosmos DB Synapse Link Azure 数据资源管理器支持使用更改源从 Azure Cosmos DB 引入完全托管的数据。 有关详细信息,请参阅将数据从 Azure Cosmos DB 引入到 Azure 数据资源管理器(预览版)
2022 年 11 月 Azure Synapse Link for SQL 对于 SQL Server 2022 和 Azure SQL 数据库,Azure Synapse Link for SQL 现已正式发布。 Azure Synapse Link for SQL 功能提供通过基于 SQL 的操作存储到 Azure Synapse Analytics 的低代码和无代码准实时数据复制。 最小准实时提供操作数据的 BI 报告,对操作存储的影响极小。 有关详细信息,请参阅什么是 Azure Synapse Link for SQL?
2022 年 7 月 批处理模式 通过选择连续或批处理模式来复制数据,在 Azure Synapse Link for SQL 的成本和延迟之间做出确定。 批处理模式允许通过仅在批处理加载期间支付引入服务费用而不是连续运行来节省更多成本。 可为批处理选择 20 到 60 分钟。

Synapse SQL

本部分汇总了 Azure Synapse Analytics 中 SQL 池的最新改进和功能。

Month 功能 了解详细信息
2023 年 6 月 更新了诊断设置字段 已将 9 个字段添加到专用 SQL 池诊断设置日志
2023 年 3 月 为 Azure Synapse 专用 SQL 池创建警报 此“客户成功工程”博客文章提供了 为 Azure Synapse 专用 SQL 池配置警报 的步骤,并提供推荐警报以帮助入门。
2023 年 3 月 性能优化 Synapse 专用池 - 了解查询生命周期 此“客户成功工程”博客文章深入探讨了 了解查询生命周期以最大程度地提高性能
2023 年 3 月 GREATEST 和 LEAST T-SQL 语法支持 现在,无服务器和专用 SQL 池中都提供 GREATESTLEAST 函数。 这些是标量值函数并返回一个或多个表达式列表中的最大值和最小值。
2023 年 3 月 专用 SQL 池 GA 中的多列分布 现在可以 在多列上对表进行哈希分布 以更均匀地分布基表,从而减少不断出现的数据倾斜并提高查询性能。 有关此正式发布版功能的详细信息,请参阅三个选项: CREATE MATERIALIZED VIEWCREATE TABLE 分布选项CREATE TABLE AS SELECT 分布选项
2023 年 3 月 使用 SSDT 部署 Synapse SQL 无服务器 期待已久的 SqlPackage 对 Azure Synapse Analytics 无服务器 SQL 池的支持现已推出,从 161.8089.0 SqlPackage 开始提供。 无服务器 SQL 池支持用于提取和发布操作
2023 年 2 月 专用 SQL 池的 UTF-8 和日语排序规则支持 UTF-8 支持和日语排序规则现可正式用于专用 SQL 池
2022 年 9 月 CSV 数据集中 OPENROWSET 的自动统计信息 无服务器 SQL 池将根据需要自动为 CSV 数据集创建统计信息,以确保 OPENROWSET 查询的最佳查询执行计划。
2022 年 9 月 MERGE T-SQL 语法 T-SQL MERGE 语法 是用户强烈请求添加到 Synapse T-SQL 库中的功能。 MERGE 将 INSERT/UPDATE/DELETE 封装到单个语句中。 在 10.0.17829 及更高版本的专用 SQL 池中可用。 有关详细信息,请参阅 MERGE T-SQL 公告博客
2022 年 8 月 无服务器 SQL 池中的 Apache Spark Delta Lake 表 供无服务器 SQL 池访问 Spark 数据库中创建的 Delta Lake 表的功能目前作为预览版提供。 有关详细信息,请参阅 Azure Synapse Analytics 共享元数据表
2022 年 8 月 专用 SQL 池中的多列分布 现在可以在多个列上哈希分布表,以便更平均地分布基表,从而减少不断出现的数据倾斜并提高查询性能。 有关选择加入预览版的详细信息,请参阅 CREATE TABLE 分布选项CREATE TABLE AS SELECT 分布选项
2022 年 8 月 分发顾问 分布顾问是 Azure Synapse 专用 SQL 池第 2 代中的一项新预览版功能,可分析查询并建议表的最佳分布策略以提高查询性能。 有关详细信息,请参阅 Azure Synapse SQL 中的分布顾问
2022 年 8 月 在湖数据库中添加 SQL 对象和用户 为无服务器 SQL 池中的湖数据库宣布推出的新功能:创建架构、视图、过程、内联表值函数。 还可以从 Azure Active Directory 域中创建数据库用户并将其分配到 db_datareader 角色。 有关详细信息,请参阅在 Azure Synapse Analytics 中使用无服务器 SQL 池访问湖数据库在 Azure Synapse Analytics 中使用 SQL 池创建和使用本机外部表

了解详细信息

有关过去的更新,请查看以往的 Azure Synapse Analytics 博客文章或 Azure Synapse Analytics 中以往的更新

后续步骤