Новые возможности Azure Synapse Analytics
Эта страница постоянно обновляется с помощью недавней проверки новых возможностей в Azure Synapse Analytics, а также о возможностях, которые в настоящее время находятся в предварительной версии. Чтобы следить за последними новостями и возможностями Azure Synapse, читайте блог, посвященный Azure Synapse Analytics, и смотрите видео на YouTube.
Для более старых обновлений просмотрите последние записи блога Azure Synapse Analytics или предыдущие обновления в Azure Synapse Analytics.
Внимание
Microsoft Fabric было объявлено!
- Узнайте об этой интересной новой предварительной версии и узнайте , что такое Microsoft Fabric?
- Начало работы с комплексными руководствами в Microsoft Fabric.
- Узнайте , что нового в Microsoft Fabric?
Функции в предварительной версии
В следующей таблице перечислены функции Azure Synapse Analytics, которые сейчас предоставляются в режиме предварительной версии. Предварительные версии функций отсортированы в алфавитном порядке.
Примечание.
Функции, которые доступны в предварительной версии, предоставляются по дополнительным условиям использования. Ознакомьтесь с юридическими условиями, применимыми к функциям Azure, которые находятся в бета-версии, предварительной версии или иным образом еще не выпущены в общедоступной версии. В Azure Synapse Analytics доступны предварительные версии, позволяющие протестировать новые функции до того, как они станут общедоступными, и поделиться своим мнением с разработчиками продукта.
| Компонент | Подробнее |
|---|---|
| Таблицы Apache Spark Delta Lake в бессерверных пулах SQL | Возможность доступа к бессерверным пулам SQL для доступа к таблицам Delta Lake, созданным в базах данных Spark, доступна в предварительной версии. Дополнительные сведения см. в статье Общие таблицы метаданных Azure Synapse Analytics. |
| Хранилище эластичного пула Apache Spark | Пулы Spark в Azure Synapse Analytics теперь поддерживают хранилище эластичных пулов в предварительной версии. Хранилище эластичного пула позволяет обработчику Spark отслеживать временное хранилище рабочих узлов и подключать дополнительные диски при необходимости. Никаких действий выполнять не требуется, а в результате сбои заданий должны происходить реже. Дополнительные сведения см. в статье azure Synapse Analytics Spark для хранения эластичного пула Spark. |
| Поддержка языка Apache Spark R | Встроенная поддержка R для Apache Spark теперь доступна в предварительной версии. |
| Azure Synapse Data Explorer | Azure Synapse Data Explorer предоставляет интерфейс для извлечения ценной информации из данных журнала и телеметрии. Соединители для Azure Data Explorer доступны для Synapse Data Explorer. Дополнительные сведения см. в статье Azure Synapse Data Обозреватель (предварительная версия). |
| Обзор папок ADLS 2-го поколения в рабочей области Azure Synapse Analytics | Теперь вы можете просмотреть контейнер или папку Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения) в рабочей области Azure Synapse Analytics в Synapse Studio. Сведения о просмотре папки ADLS 2-го поколения с ACL в Azure Synapse Analytics. |
| Сбор измененных данных из аналитического хранилища Cosmos DB | Аналитическое хранилище Azure Cosmos DB теперь поддерживает сбор измененных данных (CDC) для API Azure Cosmos DB для NoSQL и API Azure Cosmos DB для MongoDB. Дополнительные сведения см. в разделе "Запись измененных данных" из аналитического хранилища Cosmos DB и DevBlog: изменение записи данных (CDC) с помощью аналитического хранилища Azure Cosmos DB. |
| Помощник по распространению | Функция помощника по распространению — это новая предварительная версия функции в выделенных пулах SQL 2-го поколения Azure Synapse, которая анализирует запросы и рекомендует лучшие стратегии распределения для таблиц в целях повышения производительности запросов. Дополнительные сведения см. в разделе Помощник по распространению в Azure Synapse SQL. |
| Обучение распределенной глубокой нейронной сети | Узнайте больше о новых распределенных библиотеках обучения, таких как Horovod, Petastorm, TensorFlow и PyTorch, в руководствах по глубокому обучению. |
| Внедрение панелей мониторинга ADX | Панели мониторинга данных Azure Обозреватель внедрены в IFrame и размещены в сторонних приложениях. |
| Отклонение параметров для текстовых файлов с разделителями | Варианты отклонения для CREATE EXTERNAL TABLE в файлах с разделителями доступны в предварительной версии. |
| Помощник по Spark для записной книжки Azure Synapse | Помощник по Spark для Azure Synapse Notebook анализирует код, выполняемый Spark, и отображает советы в режиме реального времени для записных книжек . Помощник Spark предлагает рекомендации по оптимизации кода на основе встроенных распространенных шаблонов, выполняет анализ ошибок и находит первопричину сбоев. |
| Время жизни в управляемой виртуальной сети (VNet) | Резервируйте вычислительные ресурсы для срока жизни (TTL) управляемой виртуальной сети, чтобы экономить время и повышать эффективность. Дополнительные сведения об этой предварительной версии см. в объявлении об общедоступной предварительной версии срока жизни (TTL) в управляемой виртуальной сети. |
| Управляемые удостоверения, назначаемые пользователем | Теперь вы можете использовать управляемые удостоверения, назначаемые пользователем, со связанными службами для проверки подлинности в конвейерах и потоках данных Synapse. Дополнительные сведения см. в разделе Учетные данные в Фабрике данных Azure и Azure Synapse. |
Общедоступные функции
В следующей таблице перечислены функции Azure Synapse Analytics, которые перешли с предварительной версии на общедоступную за последние 12 месяцев.
| Month | Компонент | Подробнее |
|---|---|---|
| Апрель 2023 г. | Оптимизированная запись Apache Spark | Оптимизация записи — это функция Delta Lake в Azure Synapse , сокращает количество файлов, написанных Apache Spark 3 (3.1 и 3.2), и направлена на увеличение размера отдельных файлов записанных данных. |
| Март 2023 г. | Cosmos DB Synapse Link для azure Data Обозреватель GA | Azure Data Обозреватель поддерживает полностью управляемые прием данных из Azure Cosmos DB с помощью канала изменений. Теперь мы поддерживаем учетные записи Cosmos DB за управляемой частной конечной точкой или конечной точкой службы. Дополнительные сведения см. в разделе "Прием данных из Azure Cosmos DB" в Обозреватель данных Azure. |
| Март 2023 г. | Распределение по нескольким столбцам в выделенных пулах SQL | Теперь хэш-таблицы можно распределять по нескольким столбцам для более равномерного распределения базовой таблицы, уменьшая количество данных с течением времени и повышая производительность запросов. Дополнительные сведения об этой общедоступной функции см. в трех вариантах: CREATE MATERIALIZED VIEW, CREATE TABLE distribution options или CREATE TABLE AS SELECT distribution options. |
| Март 2023 г. | Развертывание Synapse SQL без сервера с помощью SSDT | Долгожданная поддержка SqlPackage для бессерверных пулов SQL Azure Synapse Analytics теперь доступна начиная с 161.8089.0 SqlPackage. Бессерверные пулы SQL поддерживаются как для действий извлечения, так и для публикации. |
| 2023 февраля | Общедоступная версия панелей мониторинга ADX | Теперь общедоступная панель мониторинга данных Azure Обозреватель с помощью веб-интерфейса azure Data Обозреватель позволяет просматривать данные из сквозного интерфейса, начиная с приема данных, выполнения запросов и в конечном счете создания панелей мониторинга. |
| 2023 февраля | Поддержка сортировки UTF-8 и японских пулов SQL | Поддержка UTF-8 и японские параметры сортировки теперь доступны для выделенных пулов SQL. |
| 2023 февраля | Среда выполнения Azure Synapse для Apache Spark 3.3 | Среда выполнения Azure Synapse для Apache Spark 3.3 теперь общедоступна. Основываясь на нашем тестировании с использованием 1 ТБ отраслевых тестов TPC-H, вы, вероятно, увидите до 77 % повышения производительности. |
| Декабрь 2022 г. | Внедрение виртуальной сети SSIS IR Express | Стандартные и экспресс-методы для внедрения среды выполнения интеграции SSIS (IR) в виртуальную сеть теперь доступны. Дополнительные сведения см. в статье "Общая доступность экспресс-виртуальная сеть внедрения служб SSIS" в Фабрика данных Azure. |
| Ноябрь 2022 г. | Прием данных из Azure Stream Analytics в Synapse Data Explorer | Возможность использовать задание Потоковой аналитики для сбора данных из концентратора событий и отправки его в кластер данных Azure Обозреватель теперь общедоступна. Дополнительные сведения см. в статье прием данных из Azure Stream Analytics в данные Azure Обозреватель и выходные данные ADX из Azure Stream Analytics. |
| Ноябрь 2022 г. | Azure Synapse Link для SQL | Azure Synapse Link для SQL теперь общедоступен для SQL Server 2022 и База данных SQL Azure. Функция Azure Synapse Link для SQL обеспечивает низкое и без кода практически в режиме реального времени реплика из операционных хранилищ на основе SQL в Azure Synapse Analytics. Создание отчетов бизнес-аналитики по операционным данным практически в реальном времени с минимальным влиянием на операционное хранилище. Дополнительные сведения см. в статье "Что такое Azure Synapse Link для SQL? |
| Октябрь 2022 | Общедоступная версия соединителя SAP CDC | Соединитель данных для отслеживания измененных данных SAP (CDC) теперь является общедоступной. Дополнительные сведения см. в разделе Объявление общедоступной предварительной версии решения SAP CDC в Фабрике данных Azure и Azure Synapse Analytics и Решение SAP CDC в Фабрике данных Azure. |
| 2022 сентября | Синтаксис MERGE T-SQL | Синтаксис MERGE T-SQL является высоко запрошенным дополнением к библиотеке Synapse T-SQL. Как и в SQL Server, синтаксис MERGE инкапсулирует INSERTs/UPDATEs/DELETEs в одну высокопроизводительную инструкцию. Доступно в выделенных пулах SQL версии 10.0.17829 и выше. Дополнительные сведения см. в блоге о объявлении MERGE T-SQL. |
| Июль 2022 | Apache Spark™ 3.2 для Synapse Analytics | Apache Spark™ 3.2 для Synapse Analytics теперь общедоступен. Ознакомьтесь с официальными заметками о выпуске и руководством по миграции с Spark 3.1 на 3.2, чтобы оценить потенциальные изменения в приложениях. Дополнительные сведения см. в статье Поддержка версий среды выполнения Apache Spark и Azure Synapse для Apache Spark 3.2. Основные сведения о том, что улучшилось в Spark 3.2, в обновлении Azure Synapse Analytics за июль 2022 г. |
| Июль 2022 | Функция интеллектуального кэша Apache Spark в Azure Synapse | Интеллектуальный кэш для Spark автоматически сохраняет каждую операцию чтения в специальном хранилище кэша, выявляя изменения в базовом файле и обновляя файлы для предоставления самых актуальных данных. Дополнительные сведения см. в разделе Включение и отключение кэша для пула Apache Spark. |
| Июнь 2022 г. | Средство сопоставления данных | Средство сопоставления данных — это интерактивный процесс, который помогает пользователям создавать сопоставления ETL и потоки данных для сопоставления исходных данных с Synapse без написания кода. Дополнительные сведения о средстве сопоставления данных см. в разделе Сопоставление данных в Azure Synapse Analytics. |
| Июнь 2022 г. | Определяемые пользователем функции | Определяемые пользователем функции (UDF) теперь предоставляются в общедоступной версии. См. Определяемые пользователем функции в потоках данных для сопоставления. |
Сообщество
В этом разделе приведены новые возможности сообщества Azure Synapse Analytics и программа Azure Synapse Influencer от Майкрософт.
| Month | Компонент | Подробнее |
|---|---|---|
| Апрель 2023 г. | Угол MVP Azure Synapse | Март выделяется из серии блогов MVP Microsoft Azure Synapse MVP Azure Synapse MVP. |
| Март 2023 г. | Угол MVP Azure Synapse | Февральский обзор из серии блогов MVP Microsoft Azure Synapse MVP Azure Synapse MVP. |
| 2023 февраля | Угол MVP Azure Synapse | Январь выделяется из серии блогов MVP Microsoft Azure Synapse MVP Azure Synapse MVP. |
| 2023 января | Угол MVP Azure Synapse | Декабрь выделяется из серии блогов MVP Microsoft Azure Synapse MVP Azure Synapse MVP. |
| Декабрь 2022 г. | Угол MVP Azure Synapse | Ноябрь основные сведения из серии блогов Microsoft Azure Synapse MVP в этом месяце в Azure Synapse MVP Corner. |
| Ноябрь 2022 г. | Программа Влияния Azure Synapse | Программа Azure Synapse Influencer предоставляет эксклюзивные события и сеансы Q&A, такие как вопросы экспертов с командой продуктов Майкрософт, где участники могут взаимодействовать напрямую с экспертами по продуктам, задавая любые вопросы по различным вращающимся темам. Получите отзыв от членов сообщества влияния Azure Synapse Analytics. |
| Октябрь 2022 | Угол MVP Azure Synapse | Октябрьский обзор серии блогов Microsoft Azure Synapse MVP в этом месяце в Azure Synapse MVP Corner. |
| 2022 сентября | Угол MVP Azure Synapse | Сентябрь основные сведения из серии блогов Microsoft Azure Synapse MVP в этом месяце в Azure Synapse MVP Corner. |
| Май 2022 г. | Программа Влияния Azure Synapse | Зарегистрируйтесь в нашей бесплатной программе Azure Synapse Influencer и подключитесь к сообществу пользователей Synapse-users, которые призваны помочь другим пользователям достичь большего количества возможностей облачной аналитики. Зарегистрируйтесь сейчас для нашего следующего Synapse Influencer спросите сессии экспертов. Это бесплатно, и любой желающий может поучаствовать в обсуждении тем, связанных с Synapse. Вы можете посмотреть запись прошлых событий "Спроси эксперта" на канале Azure Synapse на YouTube. |
Apache Spark для Azure Synapse Analytics
В этом разделе перечислены последние новые функции и возможности Apache Spark для Azure Synapse Analytics.
| Month | Компонент | Подробнее |
|---|---|---|
| Апрель 2023 г. | Delta Lake — низкое слияние | Низкая оптимизация слияния для таблиц Delta теперь доступна в пулах Apache Spark 3.2 и 3.3. Теперь можно обновить таблицу Delta с расширенными условиями с помощью команды Delta Lake MERGE. |
| Март 2023 г. | Новая возможность управления библиотеками: встроенная установка | %pip и %conda теперь доступны в Apache Spark для Synapse! %pip и %conda являются командами, которые можно использовать в записных книжках для установки пакетов Python. Дополнительные сведения см. в разделе "Управление пакетами Python область сеанса" с помощью команд %pip и %conda. |
| Март 2023 г. | Увеличение производительности Azure Synapse Analytics Spark до 77 % | Другие регионы получают увеличение производительности для рабочих нагрузок Azure Synapse Spark, в том числе в последнее время Центральной Кореи, Центральной Индии и Юго-Восточной Австралии. |
| Март 2023 г. | Записная книжка Azure Synapse Spark — модульное тестирование | Узнайте, как тестировать и создавать модульные тестовые случаи для заданий Spark, разработанных с помощью Synapse Notebook. |
| Март 2023 г. | Цикл выхода на пенсию Apache Spark 2.4 и 3.1 | Среда выполнения Azure Synapse для Apache Spark 2.4 и 3.1 вступила в цикл выхода на пенсию. Apache Spark 2.4 будет прекращена 29 сентября 2023 г., а Apache Spark 3.1 будет прекращена с 26 января 2024 г. Вы должны переместить рабочие нагрузки в новую среду выполнения Apache Spark в течение этого периода. Дополнительные сведения см. в статье об средах выполнения Apache Spark в Azure Synapse и руководстве по миграции Spark. |
| 2023 февраля | Среда выполнения Azure Synapse для Apache Spark 3.3 | Среда выполнения Azure Synapse для Apache Spark 3.3 теперь общедоступна. Основываясь на нашем тестировании с использованием 1 ТБ отраслевых тестов TPC-H, вы, вероятно, увидите до 77 % повышения производительности. |
| 2023 января | Помощник по Spark для записной книжки Azure Synapse | Помощник по Spark для Azure Synapse Notebook анализирует код, выполняемый Spark, и отображает советы в режиме реального времени для записных книжек . Помощник Spark предлагает рекомендации по оптимизации кода на основе встроенных распространенных шаблонов, выполняет анализ ошибок и находит первопричину сбоев. |
| 2023 января | Улучшение использования пула Spark с помощью Synapse Genie | Synapse Genie Framework улучшает использование пула Spark путем выполнения нескольких записных книжек Synapse в одном экземпляре пула Spark. Дополнительные сведения об этой служебной программе на основе метаданных, написанной на Python. |
| Ноябрь 2022 г. | Среда выполнения Azure Synapse для Apache Spark 3.3 | Среда выполнения Azure Synapse для Apache Spark 3.3 в настоящее время находится в предварительной версии. Дополнительные сведения см. в записи блога о предварительной версии Apache Spark 3.3. Основываясь на нашем тестировании с использованием 1 ТБ отраслевых тестов TPC-H, вы, вероятно, увидите до 77 % повышения производительности. |
| 2022 сентября | Новые информативные коды ошибок Livy | Более точные коды ошибок описывают причину сбоя и заменяют предыдущие универсальные коды ошибок. Ранее все ошибки при сбое заданий Spark отображались с помощью LIVY_JOB_STATE_DEADуниверсального кода ошибки. |
| 2022 сентября | Новые методы оптимизации запросов в Apache Spark для Azure Synapse Analytics | Ознакомьтесь с открытиями Майкрософт, чтобы значительно повысить производительность рабочих нагрузок TPC-DS, а также ускорить создание планов запроса. |
| Август 2022 г. | Хранилище эластичного пула Apache Spark | Пулы Spark в Azure Synapse Analytics теперь поддерживают хранилище эластичных пулов в предварительной версии. Хранилище эластичного пула позволяет подсистеме Spark отслеживать временное хранилище рабочих узлов и при необходимости подключать дополнительные диски. Никаких действий выполнять не требуется, а в результате сбои заданий должны происходить реже. Дополнительные сведения см. в записи блока Хранилище эластичного пула Spark в Azure Synapse Analytics доступно в общедоступной предварительной версии. |
| Август 2022 г. | Оптимизированная запись Apache Spark | Оптимизация записи — это предварительная версия функции Delta Lake в Synapse, которая сокращает число файлов, создаваемых Apache Spark 3 (3.1 и 3.2), и увеличивает размер отдельных файлов, в которые ведется запись данных. См. статью Потребность в оптимизации записи в Apache Spark. |
Интеграция данных
В этом разделе перечислены последние новые функции и возможности интеграции данных Azure Synapse Analytics. Узнайте, как загрузить данные в Azure Synapse Analytics с помощью конвейера Фабрики данных Azure или Synapse.
| Month | Компонент | Подробнее |
|---|---|---|
| Апрель 2023 г. | Сбор измененных данных из аналитического хранилища Cosmos DB (общедоступная предварительная версия) | Аналитическое хранилище Azure Cosmos DB теперь поддерживает сбор измененных данных (CDC) для API Azure Cosmos DB для NoSQL и API Azure Cosmos DB для MongoDB. Дополнительные сведения см. в разделе "Запись измененных данных" из аналитического хранилища Cosmos DB и DevBlog: изменение записи данных (CDC) с помощью аналитического хранилища Azure Cosmos DB. |
| Март 2023 г. | Подробное описание. Безопасность триггера событий хранилища конвейеров Synapse | В этом блоге по службе "Инженерия успеха клиентов" подробно описывается безопасность триггера событий хранилища Azure Synapse. ADF и Synapse Pipelines предлагают функцию, которая позволяет запускать выполнение конвейера на основе различных событий, таких как создание или удаление BLOB-объектов хранилища. Это можно использовать клиентами для реализации оркестрации конвейера на основе событий. |
| 2023 января | Добавочное извлечение SQL CDC теперь поддерживает числовые столбцы | Включение добавочного извлечения из SQL Server CDC в потоках данных позволяет обрабатывать только строки, которые изменились с момента последнего выполнения конвейера. Поддерживаемые типы добавочных столбцов теперь включают даты и время и числовые столбцы. |
| Декабрь 2022 г. | Внедрение экспресс-виртуальной сети | Стандартные и экспресс-методы для внедрения среды выполнения интеграции SSIS (IR) в виртуальную сеть теперь доступны. Дополнительные сведения см. в статье "Общая доступность экспресс-виртуальная сеть внедрения служб SSIS" в Фабрика данных Azure. |
| Октябрь 2022 | Общедоступная версия соединителя SAP CDC | Соединитель данных для отслеживания измененных данных SAP (CDC) теперь является общедоступной. Дополнительные сведения см. в разделе Объявление общедоступной предварительной версии решения SAP CDC в Фабрике данных Azure и Azure Synapse Analytics и Решение SAP CDC в Фабрике данных Azure. |
| 2022 сентября | Представление диаграммы Ганта | Теперь вы можете просмотреть выполнение действий с диаграммой Ганта в Фабрика данных Azure мониторинге среды выполнения интеграции. |
| 2022 сентября | Улучшения мониторинга | Мы выпустили новый пакет улучшений в интерфейсе мониторинга на основе отзывов сообщества. |
| 2022 сентября | Максимальная оптимизация столбцов в потоке данных сопоставления | Для источников текстовых данных с разделителями, таких как CSVs, новый максимальный параметр столбцов позволяет задать максимальное количество столбцов. |
| 2022 сентября | NU МБ ER в целочисленный преобразование в соединитель источника данных Oracle | Новое свойство для преобразования типа NU Oracle МБ ER в соответствующий целочисленный тип в источнике с помощью нового свойства convertDecimalToInteger. Дополнительные сведения см. в соединителе источника Oracle. |
| 2022 сентября | Поддержка отправки текста с помощью метода DELETE HTTP-запроса в веб-действиях | Новая поддержка отправки текста (необязательно) при использовании метода DELETE в веб-действии. Дополнительные сведения см. в доступных свойствах типа для веб-действия. |
| Август 2022 г. | Потоки данных для сопоставления теперь поддерживают визуальное преобразование "Приведение" | Используйте преобразование "Приведение", чтобы легко изменять типы данных отдельных столбцов в потоке данных. |
| Август 2022 г. | Время ожидания действия по умолчанию изменилось на 12 часов | Время ожидания действия по умолчанию теперь составляет 12 часов. |
| Август 2022 г. | Упрощение работы с построителем выражений конвейера | Мы обновили пользовательский интерфейс построителя выражений, чтобы упростить проектирование конвейера. |
| Август 2022 г. | Новый пользовательский интерфейс для сопоставления типов встроенных наборов данных потока данных | Мы обновили пользовательский интерфейс источника данных, чтобы упростить поиск типа встроенного набора данных. |
| Июль 2022 | Время жизни в управляемой виртуальной сети (VNet) | Резервируйте вычислительные ресурсы для срока жизни (TTL) управляемой виртуальной сети, чтобы экономить время и повышать эффективность. Дополнительные сведения об этой предварительной версии см. в объявлении об общедоступной предварительной версии срока жизни (TTL) в управляемой виртуальной сети. |
| Июнь 2022 г. | Предварительная версия соединителя SAP CDC | Новый соединитель данных для системы отслеживания измененных данных (CDC) SAP теперь доступен в предварительной версии. Дополнительные сведения см. в разделе Объявление общедоступной предварительной версии решения SAP CDC в Фабрике данных Azure и Azure Synapse Analytics и Решение SAP CDC в Фабрике данных Azure. |
| Июнь 2022 г. | Параметр нечеткого соединения в преобразовании "Соединение" | Используйте нечеткое соответствие с ползунком порогового значения сходства, который был добавлен в преобразование "Соединение" в Потоках данных для сопоставления. |
| Июнь 2022 г. | Средство сопоставления данных, общая доступность | Мы рады сообщить, что средство сопоставления данных теперь является общедоступным. Средство сопоставления данных — это интерактивный процесс, который помогает пользователям создавать сопоставления ETL и потоки данных для сопоставления исходных данных с Synapse без написания кода. |
| Июнь 2022 г. | Повторное выполнение конвейера с новыми параметрами | Теперь можно изменить параметры конвейера при повторном запуске конвейера со страницы мониторинга без возвращения в редактор конвейера. См. статью Повторный запуск конвейеров и действий. |
| Июнь 2022 г. | Определяемые пользователем функции (общая доступность) | Определяемые пользователем функции (UDF) в потоках данных сопоставления теперь являются общедоступными. |
Шаблоны баз данных и конструктор баз данных
В этом разделе перечислены последние новые функции и возможности шаблонов баз данных и конструктор баз данных.
| Month | Компонент | Подробнее |
|---|---|---|
| Июль 2022 | Просмотр отраслевых шаблонов | Просмотрите отраслевые шаблоны и добавьте таблицы для создания собственной базы данных озера. Узнайте больше о способах просмотра отраслевых шаблонов и начните работу с помощью краткого руководства по созданию новой базы данных озера с использованием шаблонов баз данных. |
Режим разработчика
В этом разделе описаны последние улучшения качества жизни и функций для разработчиков в Azure Synapse Analytics.
| Month | Компонент | Подробнее |
|---|---|---|
| Май 2023 г. | Использование Azure DevOps с рабочими областями Synapse для создания горячих исправлений в рабочих средах | Запись блога о том, как развернуть исправление из рабочей области Synapse в рабочей области Synapse, не влияя на текущие проекты разработки. |
| Декабрь 2022 г. | MSSparkUtils является ножом швейцарской армии внутри Synapse Spark | MSSparkUtils — это встроенный пакет, помогающий легко выполнять распространенные задачи, называемые служебными программами Microsoft Spark, включая возможность совместного использования результатов между записными книжками. |
| 2022 сентября | Synapse CICD для публикации артефактов рабочей области | Интеграция Synapse Studio с системой управления версиями, например Azure DevOps Git или GitHub , показана как одна из предпочтительных функций Synapse Studio для совместной работы и предоставления системы управления версиями для Azure Synapse. В Visual Studio Marketplace есть задача развертывания рабочей области Synapse для автоматизации публикации. |
| Июль 2022 | Совместимость записных книжек Synapse с IPython | Официальное ядро записных книжек Jupyter — IPython, и теперь оно поддерживается в Записных книжках Synapse. Дополнительные сведения см. в статье Записные книжки Synapse теперь полностью совместимы с IPython. |
| Июль 2022 | В Mssparkutils теперь есть метод spark.stop() | В пакет mssparkutils добавлен новый API mssparkutils.session.stop(). Эта функция полезна при наличии нескольких сеансов, выполняемых в одном пуле Spark. Новый API доступен для Scala и Python. Дополнительные сведения см. в статье Остановка интерактивного сеанса. |
Машинное обучение
В этом разделе приведены последние новые функции и улучшения моделей машинного обучения в Azure Synapse Analytics.
| Month | Компонент | Подробнее |
|---|---|---|
| Март 2023 г. | Использование OpenAI GPT в Synapse Analytics | Корпорация Майкрософт предлагает Azure OpenAI в качестве Когнитивной службы Azure, и вы можете получить доступ к моделям GPT Azure OpenAI из Synapse Spark. |
| Ноябрь 2022 г. | Поддержка R (предварительная версия) | Azure Synapse Analytics теперь предоставляет встроенную поддержку R для Apache Spark в настоящее время в предварительной версии. Например, установите библиотеку R из моментальных снимков CRAN и CRAN. |
| Август 2022 г. | SynapseML v.0.10.0 | Новый выпуск SynapseML версии 0.10.0 (ранее — MMLSpark). Это библиотека с открытым кодом, которая упрощает создание масштабируемых конвейеров машинного обучения. Узнайте больше о последних дополнениях к SynapseML и начните работу с SynapseML. |
| Август 2022 г. | Поддержка .NET | SynapseML версии 0.10 добавляет полную поддержку языков .NET, например C# и F#. Пример .NET SynapseML см. в разделе Пример .NET LightGBMClassifier. |
| Август 2022 г. | Поддержка службы Azure OpenAI | SynapseML теперь позволяет пользователям использовать языковые модели со 175 миллиардами параметров (GPT-3) из OpenAI, чтобы создавать и завершать текст и код почти на уровне человека. Дополнительные сведения см. в статье Azure OpenAI для больших данных. |
| Август 2022 г. | Поддержка платформы MLflow | Модели SynapseML теперь интегрируются с MLflow с полной поддержкой сохранения, загрузки, развертывания и автоматического заполнения. |
| Август 2022 г. | SynapseML в Binder | Мы знаем, что поначалу Spark может пугать пользователей. Бояться нечего, потому что с помощью технологии Binder вы можете экспериментировать с SynapseML в Binder без дополнительной настройки, установки, инфраструктуры или учетной записи Azure. |
| Июнь 2022 г. | Обучение распределенной глубокой нейронной сети (предварительная версия) | Среда выполнения Azure Synapse также включает вспомогательные библиотеки, такие как Petastorm и Horovod, которые обычно используются для распределенного обучения. Эта функция в настоящее время доступна в предварительной версии. Среды выполнения Azure Synapse Analytics для Apache Spark 3.1 и 3.2 теперь также включают поддержку самых распространенных библиотек глубокого обучения, таких как TensorFlow и PyTorch. Дополнительные сведения о том, как использовать эти библиотеки в пулах с ускорением GPU Azure Synapse Analytics, см. в руководствах по глубокому обучению. |
Примеры и рекомендации
В этом разделе приведены новые рекомендации и примеры ресурсов проекта для Azure Synapse Analytics.
| Month | Компонент | Подробнее |
|---|---|---|
| Май 2023 г. | Реализация измерения медленного изменения с помощью Synapse | Демонстрация использования бессерверного пула SQL для реализации типа "Медленное изменение измерения 2" на вершине озера данных. |
| Май 2023 г. | CI и CD с выделенным пулом SQL Azure Synapse | Используйте управление версиями, непрерывную интеграцию и развертывание и рекомендации по управлению жизненным циклом ALM хранилища данных Azure Synapse с помощью этой статьи блога. |
| Март 2023 г. | Создание решения данных в Azure Synapse Analytics с помощью Snapshot Serengeti | Это четырехкомпонентная серия для создания комплексной аналитики данных и решения машинного обучения в Azure Synapse Analytics. Набор данных, используемый в этом решении, — это набор данных Snapshot Serengeti, состоящий из крупномасштабной коллекции изображений ловушки камеры. |
| Март 2023 г. | Общие сведения о язык запросов Kusto (KQL) | В этом блоге об успешном выполнении клиентов представлено введение в язык запросов Kusto (KQL), мощный язык запросов для анализа больших объемов структурированных, полуструктурированных и неструктурированных (свободного текста). |
| Март 2023 г. | Создание пользовательского плана аварийного восстановления для рабочей области Synapse | Серия блогов с несколькими компонентами по созданию плана аварийного восстановления для рабочей области Synapse. |
| Март 2023 г. | Подключение Azure Synapse: общедоступные конечные точки, частные конечные точки, управляемые виртуальные сети и управляемые частные конечные точки | Три части серии блогов, написанных экспертами в Azure Synapse, для различных сетевых параметров, включая подключение к общедоступной конечной точке выделенного пула, частные конечные точки Azure Synapse, а также управляемые виртуальные сети и управляемые частные конечные точки. |
| 2023 февраля | Исторические панели мониторинга для выделенных пулов SQL Azure Synapse | Пошаговое руководство по включению исторического мониторинга с помощью шаблонов книг Azure Monitor на основе метрик Azure и Azure Log Analytics. |
| 2023 января | Чтение Озера данных с бессерверными пулами Synapse | Руководство по использованию OPENROWSET для запроса пути в озере или использования внешней таблицы для запроса пути в озере. |
| 2023 января | Структурированная потоковая передача в Synapse Spark | Подробный пример потоковой передачи данных температуры Интернета вещей с устройств Интернета вещей в Synapse Spark. |
| 2023 января | Создание псевдонима DNS для выделенного пула SQL в рабочей области Synapse для аварийного восстановления | Пользовательский DNS-сервер для выделенных пулов SQL (ранее — хранилище данных SQL) может предоставлять перенаправление на клиентские программы во время аварии. |
| Декабрь 2022 г. | Azure Synapse — Data Lake и Delta Lake и Data Lakehouse | Ознакомьтесь с новой записью блога об успешном проектировании с учетом терминов Data Lake, Delta Lake и Data Lakehouse. |
| Ноябрь 2022 г. | Как защита от кражи данных (DEP) влияет на конвейеры Azure Synapse Analytics | Защита от кражи данных (DEP) — это функция, которая позволяет дополнительным ограничениям на возможность Azure Synapse Analytics подключаться к другим службам. |
| Ноябрь 2022 г. | Начало работы с REST API для Azure Synapse Analytics — пул Apache Spark | Мы предоставляем инструкции по настройке и использованию конечных точек REST Synapse и описанию операций пула Apache Spark, поддерживаемых REST API. |
| Ноябрь 2022 г. | Demystifying Azure Synapse Data Обозреватель | Двухпартийный объяснитель размыкания данных Обозреватель в Azure Synapse и прием данных с помощью Azure Synapse Data Обозреватель. |
| Ноябрь 2022 г. | Разностное перемещение времени Synapse Spark | Перемещение по времени Delta Lake позволяет создавать моментальные снимки запросов на определенный момент времени или даже откатывать ошибочные обновления. |
| 2022 сентября | Что такое разница между выделенным пулом SQL Synapse (ранее — хранилищем данных SQL) и бессерверным пулом SQL? | Общие сведения о выделенных и бессерверных пулах и их параллелизме. Дополнительные сведения см. в основных понятиях выделенных пулов SQL и бессерверных пулов SQL. |
| 2022 сентября | Чтение Delta Lake в выделенном пуле SQL | Пример скрипта для импорта файлов Delta Lake непосредственно в выделенный пул SQL и поддержки таких функций, как перемещение по времени. Описание см. в разделе "Чтение Delta Lake" в выделенном пуле SQL. |
| 2022 сентября | Серия статей о поддержке клиентов Azure Synapse на пути к успеху | Новая серия статей о поддержке клиентов Azure Synapse на пути к успеху начинается с подробного введения: Создание Lakehouse — реализация стратегии Data Lake с Azure Synapse. |
| Июнь 2022 г. | Аналитика Azure Orbital с Synapse Analytics | Теперь мы предлагаем пример решения аналитики Azure Orbital, демонстрирующий комплексную реализацию извлечения, загрузки, преобразования и анализа космических данных с помощью геопространственных библиотек и моделей ИИ в Azure Synapse Analytics. В примере решения также показано, как интегрировать модели служб ИИ azure, модели искусственного интеллекта от партнеров и создавать собственные модели данных. |
| Июнь 2022 г. | Руководства по миграции для Oracle | Доступно новое руководство по миграции из Oracle в Azure Synapse Analytics, созданное Майкрософт. Проектирование и повышение производительности миграции из Oracle |
| Июнь 2022 г. | Успешное проектирование Azure Synapse | Сборник схем подтверждения концепции Azure Synapse содержит инструкции по определению области, проектированию, выполнению и подтверждению концепции рабочих нагрузок SQL или Spark. |
| Июнь 2022 г. | Руководства по миграции для Teradata | Доступно новое руководство по миграции из Teradata в Azure Synapse Analytics, созданное Майкрософт. Проектирование и производительность при миграции из Teradata. |
| Июнь 2022 г. | Руководства по миграции для IBM Netezza | Доступно новое руководство по миграции из IBM Netezza в Azure Synapse Analytics, созданное Майкрософт. Проектирование и производительность при миграции из IBM Netezza. |
Безопасность
В этом разделе перечислены последние новые функции и параметры безопасности в Azure Synapse Analytics.
| Month | Компонент | Подробнее |
|---|---|---|
| Декабрь 2022 г. | Как защита от кражи данных (DEP) влияет на конвейеры Azure Synapse Analytics | Защита от кражи данных (DEP) — это функция, которая позволяет дополнительным ограничениям на возможность Azure Synapse Analytics подключаться к другим службам. |
| Август 2022 г. | Выполнение записных книжек Azure Synapse Spark с управляемым удостоверением, назначаемым системой | Вы можете запускать записные книжки Spark с управляемым удостоверением, назначаемым системой (или управляемым удостоверением рабочей области), включив параметр Запуск от имени управляемого удостоверения в меню Конфигурация сеанса. С помощью этой функции вы можете проверить, работает ли записная книжка должным образом при использовании управляемого удостоверения, назначаемого системой, перед использованием записной книжки в конвейере. Дополнительные сведения см. в статье Управляемое удостоверение для Azure Synapse. |
| Июль 2022 | Изменения разрешений, необходимых для публикации в Git | Теперь для фиксации изменений в артефактах кода в режиме Git вам потребуются только разрешения Git и роль издателя артефактов (Synapse RBAC). См. статью Применение управления доступом в Synapse Studio. |
Azure Synapse Data Explorer (предварительная версия)
Обозреватель данных Azure (ADX)— это быстрая и высокомасштабируемая служба для изучения данных журналов и телеметрии. Он позволяет принимать данные из Центров событий, Центров Интернета вещей, BLOB-объектов, записанных в контейнеры BLOB-объектов, и заданий Azure Stream Analytics. В этом разделе перечислены последние новые функции и возможности Azure Synapse Data Explorer и язык запросов Kusto (KQL). Дополнительные сведения о различиях между azure Synapse Data Обозреватель и azure Data Обозреватель?
| Month | Компонент | Подробнее |
|---|---|---|
| Апрель 2023 г. | Шаблон ARM для развертывания базы данных Azure Обозреватель с подключением Cosmos DB | Теперь шаблон ARM доступен для быстрого развертывания кластера Azure Data Обозреватель с назначенным системой удостоверением, базой данных, учетной записью Azure Cosmos DB (NoSql), базой данных Azure Cosmos DB, контейнером Azure Cosmos DB и подключением к данным между контейнером Cosmos DB и базой данных Kusto (с использованием назначенного системой удостоверения). |
| Апрель 2023 г. | Прием данных из Центра событий Azure в бесплатный уровень ADX | Azure Data Обозреватель теперь поддерживает интеграцию с Концентратором событий в бесплатном уровне ADX. Дополнительные сведения см. в статье "Бесплатный анализ данных Концентратора событий" с помощью azure Data Обозреватель. |
| Март 2023 г. | Просмотр журнала кластера в Обозреватель данных Kusto | Теперь проще отслеживать журнал запросов и команд, выполняемых в кластере Kusto с помощью .show queries и .show commands-and-queries. |
| Март 2023 г. | Поддержка Amazon S3 в Kusto Web Обозреватель | Теперь вы можете легко получать данные из Amazon S3 с помощью Центра приема в Веб-Обозреватель Kusto (KWE). |
| Март 2023 г. | Поддержка графических визуальных элементов | Используйте библиотеку графирования графиков для создания визуализаций для запроса KQL с помощью оператора "отрисовки" или интерактивно при создании панелей мониторинга ADX. |
| 2023 февраля | Общедоступная версия панелей мониторинга ADX | Теперь общедоступная панель мониторинга данных Azure Обозреватель с помощью веб-интерфейса azure Data Обозреватель позволяет просматривать данные из сквозного интерфейса, начиная с приема данных, выполнения запросов и в конечном счете создания панелей мониторинга. |
| 2023 февраля | Прием файлов ADX поддерживает до 1000 файлов. | Мастер приема ADX теперь поддерживает до 1000 файлов (ранее 10). |
| 2023 января | Соединитель Apache Log4j 2 для Обозреватель данных Azure | Приемник Apache Log4J 2 для Обозреватель данных Azure был разработан для упрощения потоковой передачи данных журнала Log4j 2 в Обозреватель данных Azure, где можно анализировать, визуализировать и оповещать журналы в режиме реального времени. Дополнительные сведения см. в статье "Начало работы с Apache Log4j" и azure Data Обозреватель. |
| 2023 января | Прием предварительных событий Концентратора событий в ADX | ADX теперь может получать данные Центров событий, которые существовали до создания подключения к данным Центров событий в кластере ADX с помощью даты начала извлечения событий. |
| 2023 января | Многовариантное обнаружение аномалий | ADX содержит встроенную поддержку обнаружения аномалий в течение нескольких временных рядов с помощью функции series_decompose_anomalies(). Дополнительные сведения см. в разделе "Многовариантное обнаружение аномалий". |
| 2023 января | Улучшенное условное форматирование на панели мониторинга | Условное форматирование помогает визуально выявлять аномалии или выливание точек данных. Теперь можно отформатировать визуальный элемент с помощью условий или применения тем к числовым столбцам или дискретным значениям, нечисленным. |
| 2023 января | Новые параметры отображения круговой диаграммы | Сосредоточьтесь на данных, которые вам нужны с новыми параметрами отображения для визуализаций круговой диаграммы на панелях мониторинга. |
| Декабрь 2022 г. | Средство просмотра JPath в ADX Kusto Web Обозреватель (KWE) | Нотация JPath описывает путь к одному или нескольким элементам в документе JSON. Используйте новое расширенное представление, чтобы быстро получить определенный элемент текста JSON и легко скопировать его выражение пути. Пример см . в средстве просмотра JPath. |
| Декабрь 2022 г. | Демистификация потребления данных с помощью Azure Synapse Data Обозреватель | Руководство по различным способам получения, использования и визуализации данных из Azure Synapse Data Обозреватель. |
| Ноябрь 2022 г. | Поддержка общего доступа на уровне таблиц с помощью Azure Data Share | Теперь мы добавили поддержку общего доступа на уровне таблиц через интерфейс Azure Data Share, где можно совместно использовать определенные таблицы в базе данных. Это позволяет легко и безопасно обмениваться данными с людьми в вашей компании или внешними партнерами. |
| Ноябрь 2022 г. | Прием данных из Azure Stream Analytics в Synapse Data Explorer | Возможность использовать задание Потоковой аналитики для сбора данных из концентратора событий и отправки его в кластер данных Azure Обозреватель теперь общедоступна. Дополнительные сведения см. в статье прием данных из Azure Stream Analytics в данные Azure Обозреватель и выходные данные ADX из Azure Stream Analytics. |
| Ноябрь 2022 г. | Оператор Parse-kv | Новый оператор parse-kv извлекает структурированные сведения из строкового выражения и представляет сведения в форме key/value. Можно использовать указанный делиметр, не указанный делиметр или Regex с помощью регулярного выражения RE2. |
| Октябрь 2022 | Лидеры и последователи в кластерах ADX | Используйте страницу базы данных в портал Azure, чтобы легко определить все базы данных последователей после лидера и лидера для данного подписчика. |
| Октябрь 2022 | Псевдоним баз данных подписчиков | Функция базы данных подписчиков позволяет присоединить базу данных, расположенную в другом кластере, к кластеру Azure Data Explorer. Теперь можно переопределить имя базы данных при установке связи последователей. |
| Октябрь 2022 | Прием данных из OpenTelemetry | OpenTelemetry (OTel) — это платформа наблюдения за наблюдаемостью приложений с открытым кодом с открытым исходным кодом. Экспортер OpenTelemetry поддерживает прием данных из многих получателей в Обозреватель данных Azure. |
| Октябрь 2022 | Прием данных из Telegraf | Telegraf — это открытый код, упрощенный, минимальный объем памяти для сбора, обработки и записи данных телеметрии, включая журналы, метрики и данные Интернета вещей. Подключаемый модуль выходных данных Azure Обозреватель служит соединителем из Telegraf и поддерживает прием данных из многих типов входных подключаемых модулей в Обозреватель данных Azure. |
| 2022 сентября | Эмулятор Azure Data Обозреватель Kusto | Эмулятор ADX — это образ Docker, предоставляющий конечную точку подсистемы запросов ADX. Его можно использовать для создания баз данных и приема и запроса данных. Эмулятор понимает, язык запросов Kusto (KQL) так же, как служба Azure. |
| 2022 сентября | Конфигурация прокси-сервера соединителя Logstash | Подключаемый модуль Logstash для данных Azure Обозреватель (ADX) позволяет обрабатывать события из Logstash в базу данных ADX для анализа. Версия 1.0.5 теперь поддерживает прокси-серверы HTTP/HTTPS. |
| 2022 сентября | Поддержка Kafka для формата Protobuf | Соединитель приемника ADX Kafka использует платформу Kafka Подключение и предоставляет адаптер для приема данных из Kafka в JSON, Avro, String и теперь формат Protobuf в последнем обновлении. Дополнительные сведения о приеме данных Protobuf из Kafka в Azure Data Обозреватель. |
| 2022 сентября | Воронковые визуальные элементы | Воронка — это последний визуальный элемент, который мы добавили в панели мониторинга azure Data Обозреватель после получения отзывов от клиентов. |
| 2022 сентября | Поддержка .NET и Node.js в примере генератора приложений | Мастер создания примеров генератора приложений azure Data Обозреватель (ADX) — это средство, позволяющее создать рабочее приложение для приема и запроса данных на предпочитаемом языке программирования. Теперь создание примеров приложений в .NET и Node.js поддерживается вместе с ранее доступными параметрами Java и Python. |
| Август 2022 г. | Поддержка Protobuf в приемнике Kafka | Azure Data Обозреватель приемник Kafka — соединитель Confluent с золотой сертификацией — помогает приему данных из Kafka в Azure Data Обозреватель. Мы добавили поддержку Protobuf в соединителе, чтобы помочь клиентам перенести данные Protobuf в ADX. |
| Август 2022 г. | Встроенная поддержка Amazon S3 | Команда .ingest into ADX отправляет данные в таблицу путем извлечения данных из одного или нескольких облачных файлов хранилища. Теперь команда поддерживает URL-адреса Amazon S3. Например, прочитайте запись блога об объявлении о приеме непрерывных данных из S3. |
| Август 2022 г. | Внедрение панелей мониторинга ADX | Веб-интерфейс ADX и панели мониторинга будут внедрены в IFrame и размещены в сторонних приложениях. |
| Август 2022 г. | Вариант обновления бесплатного кластера | Теперь вы можете преобразовать бесплатный кластер Azure Data Explorer в полный кластер без ограничений хранилища, чтобы хранить больше данных. |
| Август 2022 г. | Анализ свежих данных ADX из сводной таблицы Excel | Теперь вы можете использовать неограниченный объем актуальных данных ADX (Kusto) из своего любимого средства аналитики — сводных таблиц Excel. Запросы многомерных выражений, созданные кодом сводной таблицы, будут находить свой путь к серверной части Kusto в виде инструкций KQL, которые объединяют данные по мере необходимости в сводной и обратно в Excel. |
| Август 2022 г. | Результаты запроса — цвет по значению | Просматривайте данные в результатах запроса, чтобы визуально группировать строки с одинаковыми значениями для определенного столбца. Используйте параметры Изучить результаты и Цвет по значению, чтобы применить цвет к строкам на основе выбранного столбца. |
| Август 2022 г. | Веб-обозреватель — поддержка перекрестия для диаграмм | Теперь свойство ysplit поддерживает визуальное перекрестие (вертикальные линии, которые перемещаются вместе с указателем мыши) для многих диаграмм. |
| Июль 2022 | Оператор сканирования | Мощный оператор сканирования обеспечивает эффективную и масштабируемую аналитику интеллектуального анализа и последовательности процессов и аналитику пользователей в ADX. Распространенные сценарии использования scan включают профилактическое обслуживание для устройств Интернета вещей, анализ воронки, рекурсивные вычисления, сценарии безопасности, поиск известных шагов атаки и многое другое. |
| Июль 2022 | Прием данных из Azure Stream Analytics в Synapse Data Explorer (предварительная версия) | Теперь вы можете использовать задание Streaming Analytics для сбора данных из концентратора событий и их отправки в кластер Azure Data Explorer с помощью портала Azure или шаблона ARM. Дополнительные сведения см. в статье Прием данных из Azure Stream Analytics в Azure Data Explorer. |
| Июль 2022 | Отрисовка диаграмм для каждого столбца y | Synapse Web Data Explorer теперь поддерживает отрисовку диаграмм для каждого столбца y. Пример см. в статье об обновлении Azure Synapse Analytics за июль 2022 г. |
| Июнь 2022 г. | Новая домашняя страница Web Explorer | Новая домашняя страница Azure Synapse Web Explorer упрощает начало работы с Synapse Web Explorer. |
| Июнь 2022 г. | Коллекция примеров Web Explorer | Примеры веб-Обозреватель предоставляют комплексные примеры использования Synapse Data Обозреватель популярных вариантов использования, таких как журналы, метрики, данные Интернета вещей и базовые примеры больших данных. |
| Июнь 2022 г. | Возможности детализации на панели мониторинга Web Explorer | Теперь детализации можно использовать в качестве параметров на панелях мониторинга Synapse Web Explorer. |
| Июнь 2022 г. | Параметры часового пояса Web Explorer | Параметры часового пояса Web Explorer теперь применяются как к результатам запроса, так и к панели мониторинга. Изменив часовой пояс, панели мониторинга автоматически обновляются, чтобы представить данные с выбранным часовыми поясами. |
Azure Synapse Link
Azure Synapse Link — это автоматизированная система для реплика обработки данных из SQL Server или База данных SQL Azure, Azure Cosmos DB или Dataverse в Azure Synapse Analytics. В этом разделе приводятся последние новости о функции Azure Synapse Link.
| Month | Компонент | Подробнее |
|---|---|---|
| Март 2023 г. | Cosmos DB Synapse Link для azure Data Обозреватель GA | Azure Data Обозреватель поддерживает полностью управляемые прием данных из Azure Cosmos DB с помощью канала изменений. Теперь мы поддерживаем учетные записи Cosmos DB за управляемой частной конечной точкой или конечной точкой службы. Дополнительные сведения см. в разделе "Прием данных из Azure Cosmos DB" в Обозреватель данных Azure. |
| 2023 января | Cosmos DB Synapse Link для предварительной версии Обозреватель данных Azure | Azure Data Обозреватель поддерживает полностью управляемые прием данных из Azure Cosmos DB с помощью канала изменений. Дополнительные сведения см. в статье прием данных из Azure Cosmos DB в Azure Data Обозреватель (предварительная версия). |
| Ноябрь 2022 г. | Azure Synapse Link для SQL | Azure Synapse Link для SQL теперь общедоступен для SQL Server 2022 и База данных SQL Azure. Функция Azure Synapse Link для SQL обеспечивает низкое и без кода практически в режиме реального времени реплика из операционных хранилищ на основе SQL в Azure Synapse Analytics. Создание отчетов бизнес-аналитики по операционным данным практически в реальном времени с минимальным влиянием на операционное хранилище. Дополнительные сведения см. в статье "Что такое Azure Synapse Link для SQL? |
| Июль 2022 | Пакетный режим | Выберите между затратами и задержками в Azure Synapse Link для SQL, выбрав непрерывный или пакетный режим, чтобы реплика te ваши данные. Пакетный режим позволяет сэкономить еще больше и платить за службу приема только во время пакетной загрузки, а не постоянно. Для пакетной обработки можно выбрать от 20 до 60 минут. |
Synapse SQL
В этом разделе перечислены последние улучшения и функции пулов SQL в Azure Synapse Analytics.
| Month | Компонент | Подробнее |
|---|---|---|
| Июнь 2023 г. | Обновленные поля параметров диагностики | Девять полей добавлены в журналы диагностики выделенного пула SQL. |
| Март 2023 г. | Создание оповещений для выделенного пула SQL Azure Synapse | Эта запись блога об успешном выполнении клиентов содержит инструкции по настройке оповещений для выделенного пула SQL Azure Synapse и предоставления рекомендуемых оповещений для начала работы. |
| Март 2023 г. | Настройка производительности выделенных пулов Synapse — общие сведения о жизненном цикле запросов | В этом блоге по проектированию успеха клиентов подробно изучите жизненный цикл запросов для повышения производительности. |
| Март 2023 г. | Поддержка синтаксиса GREATEST и LEAST T-SQL | Функции GREATEST и LEAST теперь доступны как в бессерверных, так и в выделенных пулах SQL. Эти скалярные функции и возвращают максимальное и минимальное значение из списка одного или нескольких выражений. |
| Март 2023 г. | Распределение нескольких столбцов в выделенных пулах SQL | Теперь хэш-таблицы можно распределять по нескольким столбцам для более равномерного распределения базовой таблицы, уменьшая количество данных с течением времени и повышая производительность запросов. Дополнительные сведения об этой общедоступной функции см. в трех вариантах: CREATE MATERIALIZED VIEW, CREATE TABLE distribution options или CREATE TABLE AS SELECT distribution options. |
| Март 2023 г. | Развертывание Synapse SQL без сервера с помощью SSDT | Долгожданная поддержка SqlPackage для бессерверных пулов SQL Azure Synapse Analytics теперь доступна начиная с 161.8089.0 SqlPackage. Бессерверные пулы SQL поддерживаются как для действий извлечения, так и для публикации. |
| 2023 февраля | Поддержка сортировки UTF-8 и японских пулов SQL | Поддержка UTF-8 и японские параметры сортировки теперь доступны для выделенных пулов SQL. |
| 2022 сентября | Автоматическая статистика для OPENROWSET в наборах данных CSV | Бессерверный пул SQL автоматически создает статистику для наборов данных CSV при необходимости, чтобы обеспечить оптимальный план выполнения запросов для запросов OPENROWSET. |
| 2022 сентября | Синтаксис MERGE T-SQL | Синтаксис T-SQL MERGE был высоко запрошенным дополнением к библиотеке Synapse T-SQL. MERGE инкапсулирует INSERTs/UPDATEs/DELETEs в одну инструкцию. Доступно в выделенных пулах SQL версии 10.0.17829 и выше. Дополнительные сведения см. в блоге о объявлении MERGE T-SQL. |
| Август 2022 г. | Таблицы Apache Spark Delta Lake в бессерверных пулах SQL | Возможность доступа к бессерверным пулам SQL для доступа к таблицам Delta Lake, созданным в базах данных Spark, доступна в предварительной версии. Дополнительные сведения см. в статье Общие таблицы метаданных Azure Synapse Analytics. |
| Август 2022 г. | Распределение по нескольким столбцам в выделенных пулах SQL | Теперь можно хэшировать распределенные таблицы по нескольким столбцам для более равномерного распределения базовой таблицы, компенсации неравномерного распределения данных с течением времени и повышения производительность запросов. Дополнительные сведения о согласии на предварительную версию см. в разделе Параметры распределения CREATE TABLE или Параметры распределения CREATE TABLE AS SELECT. |
| Август 2022 г. | Помощник по распространению | Функция помощника по распространению — это новая предварительная версия функции в выделенных пулах SQL 2-го поколения Azure Synapse, которая анализирует запросы и рекомендует лучшие стратегии распределения для таблиц в целях повышения производительности запросов. Дополнительные сведения см. в разделе Помощник по распространению в Azure Synapse SQL. |
| Август 2022 г. | Добавление объектов SQL и пользователей в базы данных озера | Новые возможности, объявленные для баз данных озера в бессерверных пулах SQL: создание схем, представления, процедуры, встроенные функции с табличным значением. Вы также можете создавать пользователей базы данных из домена Azure Active Directory и назначать им роль db_datareader. Дополнительные сведения см. в статьях Доступ к базам данных озера с помощью бессерверного пула SQL в Azure Synapse Analytics и Создание и использование собственных внешних таблиц с помощью пулов SQL в Azure Synapse Analytics. |
Подробнее
Для более старых обновлений просмотрите последние записи блога Azure Synapse Analytics или предыдущие обновления в Azure Synapse Analytics.
- Начало работы с Azure Synapse Analytics
- Общие сведения об Azure Synapse Analytics
- Реализация интегрированных аналитических решений с помощью Azure Synapse Analytics
- Интеграция данных в масштабе с Фабрика данных Azure или Azure Synapse Pipeline
- Схемы обучения Майкрософт для Azure Synapse
- Azure Synapse Analytics в Microsoft Q&A