Azure Synapse Analytics の新機能
このページは、Azure Synapse Analytics の最新情報の最新レビューや現在プレビュー段階の機能を反映して、継続的に更新されています。 Azure Synapse の最新の情報と機能の動向を随時チェックするには、Azure Synapse Analytics のブログおよび関連する YouTube 動画をご覧ください。
以前の更新プログラムについては、過去の Azure Synapse Analytics ブログ記事や Azure Synapse Analytics の過去の更新プログラムを参照してください。
重要
- この刺激的な新しいプレビューについて学び、Microsoft Fabric とは何かについて理解してください。
- Microsoft Fabric のエンドツーエンドのチュートリアルを開始します。
- 「Microsoft Fabric の新機能」を参照してください。
現在プレビュー段階の機能
以下の表は、現在プレビュー段階にある Azure Synapse Analytics の機能の一覧です。 プレビュー機能はアルファベット順に記載されています。
Note
現在プレビュー段階の機能は、追加利用規約の下で提供されます。ベータ版、プレビュー版、その他一般提供としてまだリリースされていない Azure 機能に適用される法律条項を参照してください。 Azure Synapse Analytics では、一般提供 (GA) を開始する前に機能を評価し、フィードバックを製品グループと共有する機会を提供するために、プレビューを提供しています。
機能 | 詳細情報 |
---|---|
サーバーレス SQL プールの Apache Spark Delta Lake テーブル | Spark データベースに作成された Delta Lake テーブルに対し、サーバーレス SQL プールからアクセスする機能はプレビュー段階です。 詳細については、「Azure Synapse Analytics の共有メタデータ テーブル」を参照してください。 |
Apache Spark エラスティック プール ストレージ | Azure Synapse Analytics Spark プールで、エラスティック プール ストレージがプレビューでサポートされるようになりました。 エラスティック プール ストレージを使うと、Spark エンジンはワーカー ノードの一時ストレージを監視し、必要に応じて追加のディスクをアタッチできます。 必要な操作はありません。また、結果としてジョブの失敗が少なくなります。 詳細については、「Azure Synapse Analytics の Spark エラスティック プール ストレージ」を参照してください。 |
Apache Spark R 言語のサポート | 組み込みの Apache Spark の R サポートがプレビュー段階になりました。 |
Azure Synapse Data Explorer | Azure Synapse Data Explorer は、ログとテレメトリ データから分析情報を引き出すための対話型クエリ エクスペリエンスを提供します。 Synapse Data Explorer では、Azure Data Explorer 用のコネクタが利用できます。 その他のニュースについては、「Azure Synapse Data Explorer (プレビュー)」をご覧ください。 |
Azure Synapse Analytics ワークスペースで ADLS Gen2 フォルダーを参照する | Synapse Studio 内の Azure Synapse Analytics ワークスペース内の Azure Data Lake Storage Gen2 (ADLS Gen2) コンテナーまたはフォルダーを参照できるようになりました。 詳細については、Azure Synapse Analytics で ACL を使用して ADLS Gen2 フォルダーを参照する方法に関する記事を参照してください。 |
変更されたデータを Cosmos DB 分析ストアからキャプチャする | Azure Cosmos DB 分析ストアでは、NoSQL 用 Azure Cosmos DB API と MongoDB 用 Azure Cosmos DB API で変更データ キャプチャ (CDC) がサポートされるようになりました。 詳細については、「変更されたデータを Cosmos DB 分析ストアからキャプチャする」および「DevBlog: Azure Cosmos DB 分析ストアを使用した変更データ キャプチャ (CDC)」を参照してください。 |
配布アドバイザー | Distribution Advisor は、クエリを分析し、クエリのパフォーマンスを向上させるためにテーブルに最適な分散戦略を推奨する、Azure Synapse 専用 SQL プール Gen2 の新しいプレビュー機能です。 詳細については、「Azure Synapse SQL の Distribution Advisor」を参照してください。 |
分散ディープ ニューラル ネットワーク トレーニング | Horovod、Petastorm、TensorFlow、PyTorch など新しい分散トレーニング ライブラリについて詳しくは、ディープ ラーニングのチュートリアルを参照してください。 |
組み込みの ADX ダッシュボード | Azure Data Explorer ダッシュボードは IFrame に埋め込まれ、サード パーティ アプリでホストされます。 |
区切りテキスト ファイルの拒否オプション | 区切りファイルの CREATE EXTERNAL TABLE の拒否オプションはプレビュー段階です。 |
Spark Advisor for Azure Synapse Notebook | Spark Advisor for Azure Synapse Notebook は、Spark によって実行されるコードを分析し、Notebook に関するリアルタイムのアドバイスを表示します。 Spark Advisor では、組み込みの一般的なパターンに基づいて、コード最適化のための推奨事項が提供され、エラー分析が実行され、失敗の根本原因の特定が行われます。 |
マネージド仮想ネットワーク (VNet) の Time to Live | マネージド仮想ネットワークの Time to Live (TTL) 期間で TTL のコンピューティングを予約して時間を節約し、効率を高めます。 このプレビューの詳細については、「マネージド仮想ネットワークにおける Time to Live (TTL) のパブリック プレビューの発表」を参照してください。 |
ユーザー割り当て済みマネージド ID | Synapse パイプラインとデータフローのリンク サービスで、ユーザー割り当てマネージド ID を認証に使用できるようになりました。 詳細については、「Azure Data Factory と Azure Synapse における資格情報」を参照してください。 |
一般提供の機能
次の表に、過去 12 か月以内にプレビューから一般提供 (GA) に移行した Azure Synapse Analytics の機能を示します。
Month | 機能 | 詳細情報 |
---|---|---|
2023 年 4 月 | Apache Spark の書き込みの最適化 | 書き込みの最適化は、Azure Synapse の Delta Lake の機能で、Apache Spark 3 (3.1 および 3.2) によって書き込まれるファイルの数を減らし、書き込まれるデータの個々のファイル サイズを大きくすることを目的としています。 |
2023 年 3 月 | Cosmos DB Synapse Link for Azure Data Explorer の一般提供 | Azure Data Explorer では、変更フィードを使用した Azure Cosmos DB からのフル マネージド データ インジェストがサポートされます。 マネージド プライベート エンドポイントまたはサービス エンドポイントの背後にある Cosmos DB アカウントがサポートされるようになりました。 詳細については、「Azure Cosmos DB から Azure Data Explorer にデータを取り込む」を参照してください。 |
2023 年 3 月 | 専用 SQL プールでの複数列分散 | 複数の列でテーブルをハッシュ分散することにより、ベース テーブルをより均等に分散できるようになり、時間の経過によるデータ スキューが減少し、クエリのパフォーマンスが向上します。 この一般公開機能の詳細については、CREATE MATERIALIZED VIEW、CREATE TABLE ディストリビューション オプション、または CREATE TABLE AS SELECT ディストリビューション オプションの 3 つのオプションを参照してください。 |
2023 年 3 月 | SSDT を使用した Synapse SQL サーバーレスのデプロイ | SqlPackage の 待望の Azure Synapse Analytics サーバーレス SQL プールのサポートが、161.8089.0 SqlPackage から利用できるようになりました。 サーバーレス SQL プールは、抽出および発行アクションの両方でサポートされています。 |
2023 年 2 月 | ADX ダッシュボードの一般提供 | Azure Data Explorer Web UI を使用した Azure Data Explorer ダッシュボードが一般公開になり、データ インジェストから、クエリの実行し、最終的なダッシュボードの構築まで、エンドツーエンドでデータを探索できるようになりました。 |
2023 年 2 月 | 専用 SQL プールに対する UTF-8 照合順序と日本語照合順序のサポート | UTF-8 のサポートと日本語の照合順序の両方が、専用 SQL プールで一般提供されるようになりました。 |
2023 年 2 月 | Azure Synapse Runtime for Apache Spark 3.3 | Azure Synapse Runtime for Apache Spark 3.3 が一般提供されるようになりました。 1TB TPC-H 業界ベンチマークを使用したテストに基づくと、パフォーマンスが最大 77% 向上する可能性があります。 |
2022 年 12 月 | SSIS IR 高速仮想ネットワーク インジェクション | SSIS Integration Runtime (IR) を VNet にインジェクションする標準メソッドと高速メソッドの両方が一般提供されるようになりました。 詳細については、「Azure Data Factoryでの SSIS の 高速仮想ネットワーク インジェクションの一般提供」を参照してください。 |
2022 年 11 月 | Azure Stream Analytics から Synapse Data Explorer にデータを取り込む | Streaming Analytics ジョブを使用してイベント ハブからデータを収集し、Azure Data Explorer クラスターに送信する機能が一般公開されました。 詳細については、「Azure Stream Analytics から Azure Data Explorer にデータを取り込む」と Azure Stream Analytics からの ADX の出力に関するページを参照してください。 |
2022 年 11 月 | Azure Synapse Link for SQL | Azure Synapse Link for SQL は、SQL Server 2022 と Azure SQL Database の両方で一般提供されています。 Azure Synapse Link for SQL 機能により、SQL ベースの運用ストアから Azure Synapse Analytics へのほぼリアルタイムのデータ レプリケーションをローコードおよびノーコードで利用できます。 運用ストアへの影響を最小限に抑えながら、運用データに関する BI レポートをほぼリアルタイムで実行できます。 詳細については、「Azure Synapse Link for SQL とは」を参照してください。 |
2022 年 10 月 | SAP CDC コネクタの GA | SAP Change Data Capture (CDC) のデータ コネクタの一般提供が開始されました。 詳細については、Azure Data Factory と Azure Synapse Analytics における SAP CDC ソリューションのパブリック プレビューの発表および Azure Data Factory の SAP CDC ソリューションに関する記事を参照してください。 |
2022 年 9 月 | MERGE T-SQL 構文 | MERGE T-SQL 構文は、Synapse T-SQL ライブラリへの追加要望が多かったものです。 SQL Server と同様に、MERGE 構文を使うと INSERT/UPDATE/DELETE を 1 つのハイ パフォーマンスなステートメントにカプセル化することができます。 バージョン 10.0.17829 以降の専用 SQL プールで使用できます。 詳細については、MERGE T-SQL のお知らせのブログを参照してください。 |
2021 年 7 月 | Apache Spark™ 3.2 for Synapse Analytics | Apache Spark™ 3.2 for Synapse Analytics の一般提供が開始されました。 既存アプリケーションの変更の必要性を評価するには、公式リリース ノートと Spark 3.1 から 3.2 への移行ガイドラインをご覧ください。 詳細については、Apache Spark バージョンのサポート状況と Apache Spark 3.2 用 Azure Synapse ランタイムに関する記事を参照してください。 Spark 3.2 で改善された点は、「Azure Synapse Analytics July Update 2022」でご覧いただけます。 |
2021 年 7 月 | Apache Spark in Azure Synapse Intelligent Cache 機能 | Spark のインテリジェント キャッシュは、割り当てられたキャッシュ ストレージ領域内に各読み取りを自動的に格納し、基になるファイルの変更を検出して、最新のデータを提供するようにファイルを更新します。 詳しくは、Apache Spark プールのキャッシュを有効または無効にする方法に関する記事を参照してください。 |
2022 年 6 月 | データのマッピング ツール | Map Data (データのマッピング) ツールは、ユーザーがコードを書くことなく、ソース データから Synapse Lake データベースのテーブルへの ETL マッピングやマッピング データ フローを作成するために使用できる、ガイド付きのプロセスです。 データのマッピング ツールの詳細については、「Azure Synapse Analytics でデータをマッピングする」を参照してください。 |
2022 年 6 月 | ユーザー定義関数 | ユーザー定義関数 (UDF) の一般提供が開始されました。 詳細については、マッピング データ フローでのユーザー定義関数に関する記事を参照してください。 |
コミュニティ
このセクションでは、Azure Synapse Analytics コミュニティの新たな機会と Microsoft のAzure Synapseインフルエンサー プログラムについてまとめています。
Month | 機能 | 詳細情報 |
---|---|---|
2023 年 4 月 | Azure Synapse MVP コーナー | 「Microsoft Azure Synapse MVP ブログ シリーズの Azure Synapse MVP コーナー」からの 3 月のハイライト。 |
2023 年 3 月 | Azure Synapse MVP コーナー | Microsoft Azure Synapse MVP ブログ シリーズの Azure Synapse MVP コーナーの 2 月のハイライト。 |
2023 年 2 月 | Azure Synapse MVP コーナー | Microsoft Azure Synapse MVP ブログ シリーズの Azure Synapse MVP コーナーの 1 月のハイライト。 |
2023 年 1 月 | Azure Synapse MVP コーナー | Azure Synapse MVP コーナーの Microsoft Azure Synapse MVP ブログ シリーズの 12 月のハイライト。 |
2022 年 12 月 | Azure Synapse MVP コーナー | 今月の Azure Synapse MVP コーナーの Microsoft Azure Synapse MVP ブログ シリーズの 11 月のハイライト。 |
2022 年 11 月 | Azure Synapse インフルエンサー プログラム | Azure Synapse インフルエンサー プログラムでは、限定イベントや、メンバーが交互に取り上げられるさまざまなトピックについて質問することで製品の専門家と直接対話できる "Microsoft 製品チームの専門家に質問" などの Q & A セッションを提供しています。 Azure Synapse Analytics インフルエンサー コミュニティのメンバーからフィードバックを受け取ります。 |
2022 年 10 月 | Azure Synapse MVP コーナー | 今月の Azure Synapse MVP コーナーの Microsoft Azure Synapse MVP ブログ シリーズの 10 月のハイライト。 |
2022 年 9 月 | Azure Synapse MVP コーナー | 今月の Azure Synapse MVP コーナーの Microsoft Azure Synapse MVP ブログ シリーズの 9 月のハイライト。 |
2022 年 5 月 | Azure Synapse インフルエンサー プログラム | 無料の Azure Synapse インフルエンサー プログラムにサインアップし、クラウド分析でより多くのことを実現できるように人々の支援に専念する Synapse ユーザーのコミュニティにご参加ください。 次回の Synapse インフルエンサーの専門家に質問 セッションに今すぐ登録しましょう。 だれもが自由に参加でき、Synapse 関連のトピックについてのディスカッションに参加できます。 Azure Synapse YouTube チャンネルで、過去に開催された Ask the Experts イベントの録画を視聴できます。 |
Apache Spark for Azure Synapse Analytics
このセクションでは、Apache Spark for Azure Synapse Analytics の新機能についてまとめています。
Month | 機能 | 詳細情報 |
---|---|---|
2023 年 4 月 | Delta Lake - 低シャッフル マージ | Delta テーブルの低シャッフル マージの最適化が、Apache Spark 3.2 および 3.3 プールで使用できるようになりました。 Delta Lake の MERGE コマンドを使用して、高度な条件で Delta テーブルを更新できるようになりました。 |
2023 年 3 月 | ライブラリ管理の新しい機能: インライン インストール | %pip と %conda が、Apache Spark for Synapse で使用できるようになりました。 %pip と %conda は、Python パッケージをインストールするために Notebooks で使用できるコマンドです。 詳細については、「%pip コマンドと %conda コマンドを使用してセッション スコープの Python パッケージを管理する」を参照してください。 |
2023 年 3 月 | Azure Synapse Analytics Spark のパフォーマンスを最大 77% 向上させる | Azure Synapse Spark ワークロードのパフォーマンスが向上しているリージョンが増えています。これには、最近では韓国中部、インド中部、オーストラリア南東部が含まれます。 |
2023 年 3 月 | Azure Synapse Spark Notebook – 単体テスト | Synapse Notebook を使用して開発された Spark ジョブの単体テスト ケースをテストおよび作成する方法について説明します。 |
2023 年 3 月 | Apache Spark 2.4 および 3.1 の廃止サイクル | Apache Spark 2.4 および 3.1 の Azure Synapse ランタイムが廃止サイクルに入っています。 Apache Spark 2.4 は 2023 年 9 月 29 日に廃止され、Apache Spark 3.1 は 2024 年 1 月 26 日に廃止されます。 この期間内に、ワークロードを新しい Apache Spark ランタイムに再配置する必要があります。 詳細については、Azure Synapse の Apache Spark ランタイムに関するページを参照し、Spark 移行ガイドを参照してください。 |
2023 年 2 月 | Azure Synapse Runtime for Apache Spark 3.3 | Azure Synapse Runtime for Apache Spark 3.3 が一般提供されるようになりました。 1TB TPC-H 業界ベンチマークを使用したテストに基づくと、パフォーマンスが最大 77% 向上する可能性があります。 |
2023 年 1 月 | Spark Advisor for Azure Synapse Notebook | Spark Advisor for Azure Synapse Notebook は、Spark によって実行されるコードを分析し、Notebook に関するリアルタイムのアドバイスを表示します。 Spark Advisor では、組み込みの一般的なパターンに基づいて、コード最適化のための推奨事項が提供され、エラー分析が実行され、失敗の根本原因の特定が行われます。 |
2023 年 1 月 | Synapse Genie を使用して Spark プールの使用率を向上させる | Synapse Genie Framework では、同じ Spark プール インスタンスで複数の Synapse ノートブックを実行することで、Spark プールの使用率が向上します。 詳しくは、こちらの Python で記述されたメタデータ駆動型ユーティリティをご覧ください。 |
2022 年 11 月 | Azure Synapse Runtime for Apache Spark 3.3 | Azure Synapse Runtime for Apache Spark 3.3 は現在プレビュー段階です。 詳しくは、Apache Spark 3.3 プレビューのブログ記事をご覧ください。 1TB TPC-H 業界ベンチマークを使用したテストに基づくと、パフォーマンスが最大 77% 向上する可能性があります。 |
2022 年 9 月 | 新しい情報量が多い Livy エラー コード | より正確なエラー コードには、失敗の原因が記載されています。以前の一般的なエラー コードは置き換えられました。 以前は、失敗した Spark ジョブのすべてのエラーが、LIVY_JOB_STATE_DEAD と表示される汎用のエラー コードで示されていました。 |
2022 年 9 月 | Apache Spark for Azure Synapse Analytics の新しいクエリ最適化手法 | リファレンス TPC-DS ワークロードにおいてパフォーマンスがかなり向上すると共に、クエリ プランの生成時間も大幅に短縮されています。Microsoft の調査結果をご覧ください。 |
2022 年 8 月 | Apache Spark エラスティック プール ストレージ | Azure Synapse Analytics Spark プールで、エラスティック プール ストレージがプレビューでサポートされるようになりました。 エラスティック プール ストレージを使うと、Spark エンジンはワーカー ノードの一時ストレージを監視し、必要に応じて追加のディスクをアタッチできます。 必要な操作はありません。また、結果としてジョブの失敗が少なくなります。 詳細については、「ブログ: Azure Synapse Analytics Spark エラスティック プール ストレージのパブリック プレビューの提供を開始」を参照してください。 |
2022 年 8 月 | Apache Spark の書き込みの最適化 | 書き込みの最適化は、Synapse の Delta Lake のプレビュー機能で、Apache Spark 3 (3.1 および 3.2) によって書き込まれるファイルの数を減らし、書き込まれるデータの個々のファイル サイズを大きくすることを目的としています。 詳細については、「Apache Spark における書き込みの最適化の必要性について」を参照してください。 |
データ統合
このセクションでは、Azure Synapse Analytics データ統合の新機能についてまとめています。 Azure Data Factory (ADF) または Synapse パイプラインを使用して Azure Synapse Analytics にデータを読み込む方法について説明します。
Month | 機能 | 詳細情報 |
---|---|---|
2023 年 4 月 | 変更されたデータを Cosmos DB 分析ストアからキャプチャする (パブリック プレビュー) | Azure Cosmos DB 分析ストアでは、NoSQL 用 Azure Cosmos DB API と MongoDB 用 Azure Cosmos DB API で変更データ キャプチャ (CDC) がサポートされるようになりました。 詳細については、「変更されたデータを Cosmos DB 分析ストアからキャプチャする」および「DevBlog: Azure Cosmos DB 分析ストアを使用した変更データ キャプチャ (CDC)」を参照してください。 |
2023 年 3 月 | 詳細: Synapse パイプラインのストレージ イベント トリガーのセキュリティ | このカスタマー サクセス エンジニアリングのブログ記事では、Azure Synapse パイプラインのストレージ イベント トリガーのセキュリティについて詳しく説明しています。 ADF と Synapse Pipelines には、ストレージ BLOB の作成や削除など、さまざまなイベントに基づいてパイプラインの実行をトリガーできる機能が用意されています。 これは、お客様がイベント駆動型のパイプライン オーケストレーションを実装するために使用できます。 |
2023 年 1 月 | SQL CDC 増分抽出で数値列がサポートされます | データフローで SQL Server CDC からの増分抽出を有効にすると、パイプラインが最後に実行されてから変更された行のみを処理できます。 サポートされている増分列型には、日付/時刻列と数値列が含まれるようになりました。 |
2022 年 12 月 | 高速仮想ネットワーク インジェクション | SSIS Integration Runtime (IR) を VNet にインジェクションする標準メソッドと高速メソッドの両方が一般提供されるようになりました。 詳細については、「Azure Data Factoryでの SSIS の 高速仮想ネットワーク インジェクションの一般提供」を参照してください。 |
2022 年 10 月 | SAP CDC コネクタの GA | SAP Change Data Capture (CDC) のデータ コネクタの一般提供が開始されました。 詳細については、Azure Data Factory と Azure Synapse Analytics における SAP CDC ソリューションのパブリック プレビューの発表および Azure Data Factory の SAP CDC ソリューションに関する記事を参照してください。 |
2022 年 9 月 | ガント チャート ビュー | Azure Data Factory 統合ランタイムの監視で、アクティビティの実行をガント チャートで確認できるようになりました。 |
2022 年 9 月 | 監視の機能強化 | コミュニティのフィードバックに基づき、監視エクスペリエンスの新しいさまざまな機能強化をリリースしました。 |
2022 年 9 月 | マッピング データフローの最大列の最適化 | CSV などの区切られたテキスト データ ソースでの場合、新しい最大列設定を使って、列の最大数を設定できます。 |
2022 年 9 月 | Oracle データ ソース コネクタでの NUMBER から整数への変換 | 新しいプロパティ convertDecimalToInteger を使ってソース内の Oracle NUMBER 型を対応する整数型に変換する新しいプロパティ。 詳細については、Oracle ソース コネクタに関する記事を参照してください。 |
2022 年 9 月 | Web アクティビティでの HTTP 要求 DELETE メソッドを使用した本文の送信のサポート | Web アクティビティで DELETE メソッドを使うときに、本文 (省略可能) を送信するための新しいサポート。 詳細については、Web アクティビティで使用できる Type プロパティに関する記事を参照してください。 |
2022 年 8 月 | マッピング データ フローがビジュアル キャスト変換を新たにサポート | キャスト変換を使用して、データ フロー内の個々の列のデータ型を簡単に変更できます。 |
2022 年 8 月 | 既定のアクティビティ タイムアウトを 12 時間に変更 | 既定のアクティビティ タイムアウトが 12 時間になりました。 |
2022 年 8 月 | パイプライン式ビルダーがより使いやすく | パイプラインを設計しやすくするために式ビルダー UI を更新しました。 |
2022 年 8 月 | データフローのインライン データセットの種類をマッピングするための新しい UI | インライン データセットの種類を簡単に見つけられるように、データ フロー ソース UI を更新しました。 |
2021 年 7 月 | マネージド仮想ネットワーク (VNet) の Time to Live | マネージド仮想ネットワークの Time to Live (TTL) 期間で TTL のコンピューティングを予約して時間を節約し、効率を高めます。 このプレビューの詳細については、「マネージド仮想ネットワークにおける Time to Live (TTL) のパブリック プレビューの発表」を参照してください。 |
2022 年 6 月 | SAP CDC コネクタ プレビュー | SAP Change Data Capture (CDC) の新しいデータ コネクタがプレビューで利用できるようになりました。 詳細については、Azure Data Factory と Azure Synapse Analytics における SAP CDC ソリューションのパブリック プレビューの発表および Azure Data Factory の SAP CDC ソリューションに関する記事を参照してください。 |
2022 年 6 月 | 結合変換のあいまい結合オプション | マッピング データ フローの結合変換に、[類似性のしきい値] スコア スライダーとのあいまい一致が追加されました。 |
2022 年 6 月 | データのマッピング ツールが GA に | データのマッピング ツールの一般提供が開始されたことをお知らせします。 Map Data (データのマッピング) ツールは、ユーザーがコードを書くことなく、ソース データから Synapse Lake データベースのテーブルへの ETL マッピングやマッピング データ フローを作成するために使用できる、ガイド付きのプロセスです。 |
2022 年 6 月 | 新しいパラメーターを指定してパイプラインを再実行する | パイプライン エディターに戻ることなく、[監視] ページからパイプラインを再実行するときにパイプライン パラメーターを変更できるようになりました。 詳細については、「パイプラインとアクティビティの再実行」を参照してください。 |
2022 年 6 月 | ユーザー定義関数が GA に | マッピング データ フローのユーザー定義関数 (UDF) の一般提供 (GA) が開始されました。 |
データベース テンプレートとデータベース デザイナー
このセクションでは、データベース テンプレートとデータベース デザイナーの新機能についてまとめています。
Month | 機能 | 詳細情報 |
---|---|---|
2021 年 7 月 | 業界テンプレートの参照 | 業界テンプレートを参照し、テーブルを追加して独自のレイク データベースを作成します。 詳細については、業界テンプレートを参照する方法に関する記事を、始め方については「クイックスタート: データベース テンプレートを利用して新しい Lake データベースを作成する」を参照してください。 |
開発者エクスペリエンス
このセクションでは、Azure Synapse Analytics の開発者のための QOL と機能の改善について最新情報をまとめています。
Month | 機能 | 詳細情報 |
---|---|---|
2023 年 5 月 | 運用環境でホット フィックスを作成するための Synapse ワークスペースでの Azure DevOps の使用 | 進行中の開発プロジェクトに悪影響を与えることなく、開発 Synapse ワークスペースから運用 Synapse ワークスペースに修正プログラムをデプロイする方法に関するブログ記事。 |
2022 年 12 月 | Synapse Spark 内の万能ツールである MSSparkUtils | 組み込みパッケージである MSSparkUtils は、ノートブック間で結果を共有する機能など、Microsoft Spark ユーティリティと呼ばれる一般的なタスクを簡単に実行するのに役立ちます。 |
2022 年 9 月 | ワークスペース成果物を公開するための Synapse CICD | Synapse Studioを Azure DevOps Git や GitHub などのソース管理システムと統合することは、Azure Synapse のソース管理を共同で行って提供するための Synapse Studio の推奨機能の 1 つとして示されています。 Visual Studio マーケットプレースには、公開を自動化するための Synapse ワークスペースのデプロイ タスクがあります。 |
2021 年 7 月 | Synapse Notebooks と IPython の互換性 | Jupyter Notebook の公式カーネル IPython が Synapse Notebook でサポートされるようになりました。 詳細については、「Synapse Notebooks が IPython に完全対応」を参照してください。 |
2021 年 7 月 | Mssparkutils に spark.stop() メソッドを追加 | mssparkutils パッケージに新しい API mssparkutils.session.stop() が追加されました。 この機能は、同じ Spark プールに対して複数のセッションが実行されている場合に便利です。 この新しい API は Scala と Python で使用できます。 詳細については、「対話型セッションの停止」を参照してください。 |
Machine Learning
このセクションには、Azure Synapse Analytics の機械学習モデルに対する最近の新機能と改善がまとめられています。
Month | 機能 | 詳細情報 |
---|---|---|
2023 年 3 月 | Synapse Analytics での OpenAI GPT の使用 | Microsoft は Azure Cognitive Service として Azure OpenAI を提供しており、Synapse Spark 内から Azure OpenAI の GPT モデルにアクセスできます。 |
2022 年 11 月 | R サポート (プレビュー) | Azure Synapse Analytics では、Apache Spark に対する組み込みの R サポートが提供されるようになり、現在プレビュー段階です。 たとえば、CRAN および CRAN スナップショットから R ライブラリをインストールします。 |
2022 年 8 月 | SynapseML v.0.10.0 | きわめてスケーラブルな機械学習パイプラインの作成を省力化することを目指すオープンソース ライブラリ SynapseML v0.10.0 (以前の MMLSpark) の新しいリリース。 SynapseML に追加された最新の機能を詳しくご覧になり、SynapseML を実際に使ってみましょう。 |
2022 年 8 月 | .NET のサポート | SynapseML v0.10 では、C# や F# などの .NET 言語が完全にサポートされます。 .NET SynapseML の例については、「LightGBMClassifier を使用した .NET サンプル」を参照してください。 |
2022 年 8 月 | Azure OpenAI Service のサポート | SynapseML では、OpenAI の 1,750 億のパラメーター言語モデル (GPT-3) をユーザーが活用でき、人間とほぼ同等のテキストとコードを生成して完成させることができます。 詳細については、「ビッグ データのための Azure OpenAI」を参照してください。 |
2022 年 8 月 | MLflow プラットフォームのサポート | SynapseML モデルが MLflow と統合され、保存、読み込み、デプロイ、自動ログが完全にサポートされます。 |
2022 年 8 月 | Binder での SynapseML | Spark は、最初は敷居が高く感じられるかもしれませんが恐れる必要はありません。Binder テクノロジを使用すれば、セットアップ、インストール、インフラストラクチャは不要で、Azure アカウントも必要ありません。SynapseML を使った探索と実験を Binder で行うことができます。 |
2022 年 6 月 | 分散ディープ ニューラル ネットワーク トレーニング (プレビュー) | また、Azure Synapse ランタイムには、分散トレーニングによく使われる Petastorm や Horovod などのライブラリのサポートも含まれています。 現在、この機能はプレビューでご利用いただけます。 Apache Spark 3.1 と 3.2 Azure Synapse 用の Analytics ランタイム には、TensorFlow や PyTorch などの最も一般的なディープ ラーニング ライブラリのサポートも含まれるようになりました。 Azure Synapse Analytics GPU アクセラレーション プール内でこれらのライブラリを活用する方法の詳細については、「ディープ ラーニング チュートリアル」 を参照してください。 |
サンプルとガイダンス
このセクションでは、Azure Synapse Analytics の新しいガイダンスとサンプル プロジェクト リソースについてまとめています。
Month | 機能 | 詳細情報 |
---|---|---|
2023 年 5 月 | Synapse を使用したスロー チェンジ ディメンションの実装 | サーバーレス SQL プールを使用して、データ レイクの上にスロー チェンジ ディメンション タイプ 2 を実装する方法を示します。 |
2023 年 5 月 | SQL プール専用の Azure Synapse を使用した CI & CD | バージョン管理、継続的インテグレーション デプロイ、ベスト プラクティスを使用して、このブログ記事で Azure Synapse データ ウェアハウスの ALM ライフサイクルを管理します。 |
2023 年 3 月 | Snapshot Serengeti を使用してAzure Synapse Analytics でデータ ソリューションを作成する | これは、Azure Synapse Analytics でエンドツーエンドのデータ分析と機械学習のソリューションを構築するための 4 部構成のシリーズです。 このソリューションで使用されるデータセットは、カメラ トラップ画像の大規模なコレクションで構成される Snapshot Serengeti データセットです。 |
2023 年 3 月 | Kusto 照会言語 (KQL) の概要 | このカスタマー サクセス エンジニアリングのブログ投稿では、大量の構造化、半構造化、非構造化 (フリー テキスト) データを分析するための強力なクエリ言語である Kusto 照会言語 (KQL) の概要について説明します。 |
2023 年 3 月 | Synapse ワークスペースのカスタム ディザスター リカバリー プランを作成する | Synapse ワークスペースのディザスター リカバリー プランの作成に関するマルチパートのブログ シリーズ。 |
2023 年 3 月 | Azure Synapse 接続: パブリック エンドポイント、プライベート エンドポイント、マネージド VNet、マネージド プライベート エンドポイント | 受信専用プールのパブリック エンドポイント接続、Azure Synapse プライベート エンドポイント、マネージド VNet とマネージド プライベート エンドポイントなど、さまざまなネットワーク オプションの Azure Synapse 接続に関する、エキスパートが作成した 3 部構成のブログ シリーズ。 |
2023 年 2 月 | Azure Synapse 専用 SQL プールの履歴監視ダッシュボード | Azure メトリックと Azure Log Analytics の上に Azure Monitor ブック テンプレートを使用して履歴監視を有効にする手順のチュートリアル。 |
2023 年 1 月 | Synapse サーバーレス プールを使用した Data Lake の読み取り | OPENROWSET を使用してレイク内のパスに対してクエリを実行する方法、または外部テーブルを使用してレイク内のパスに対してクエリを実行する方法に関する 2 部構成のガイド。 |
2023 年 1 月 | Synapse Spark での構造化ストリーミング | IoT デバイスから Synapse Spark に IoT 温度データをストリーミングする詳細な例。 |
2023 年 1 月 | ディザスター リカバリーのために Synapse ワークスペースの専用 SQL プールに DNS エイリアスを作成する | 専用 SQL プール (旧称 SQL DW) のカスタム DNS は、障害発生時にクライアント プログラムへのリダイレクトを提供できます。 |
2022 年 12 月 | Azure Synapse - データ レイクとデルタ レイクとデータ レイクハウスの比較 | データ レイク、デルタ レイク、データ レイクハウスという用語を説明するサクセス エンジニアリングの新しいブログ記事をお読みください。 |
2022 年 11 月 | データ流出防止 (DEP) が Azure Synapse Analytics パイプラインに与える影響 | データ流出防止 (DEP) は、Azure Synapse Analytics が他のサービスに接続する機能に関する追加の制限を可能にする機能です。 |
2022 年 11 月 | Azure Synapse Analytics の REST API の概要 - Apache Spark プール | Synapse REST エンドポイントをセットアップして使用する方法の手順を示し、REST API でサポートされている Apache Spark プール操作について説明しています。 |
2022 年 11 月 | Azure Synapse Data Explorer の解明 | 2 部構成で、Azure Synapse の Data Explorer について解説し、Azure Synapse Data Explorer を使用したデータ インジェストを説明します。 |
2022 年 11 月 | Synapse Spark Delta タイム トラベル | Delta Lake タイム トラベルを使用すると、特定の時点のクエリ スナップショットを有効にしたり、誤った更新をロールバックしたりすることもできます。 |
2022 年 9 月 | Synapse 専用 SQL プール (旧称 SQL DW) とサーバーレス SQL プールの違いは何ですか? | 専用プールとサーバーレス プール、そのコンカレンシーについて理解してください。 詳細については、専用 SQL プールとサーバーレス SQL プールの基本概念に関する記事を参照してください。 |
2022 年 9 月 | 専用 SQL プール内の Delta Lake の読み取り | Delta Lake ファイルを専用 SQL プールに直接インポートし、タイムトラベルなどの機能をサポートするサンプル スクリプト。 説明については、「専用 SQL プール内の Delta Lake の読み取り」を参照してください。 |
2022 年 9 月 | Azure Synapse カスタマー サクセス エンジニアリングのブログ シリーズ | Azure Synapse カスタマー サクセス エンジニアリングのブログ シリーズが新たに開設されました。「レイクハウスの構築 - Azure Synapse を使用したデータ レイク戦略の導入」について詳しく紹介しています。 |
2022 年 6 月 | Synapse Analytics を使用した Azure Orbital Analytics | Azure Synapse Analytics で地理空間ライブラリと AI モデルを使用して、宇宙空間データの抽出、読み込み、変換、分析のエンドツーエンドの実装を示す Azure Orbital analytics サンプル ソリューションが提供されました。 このサンプル ソリューションでは、地理空間固有の Azure AI サービス モデル、パートナーからの AI モデル、独自のデータを持ち込むモデルを統合する方法も示します。 |
2022 年 6 月 | Oracle の移行ガイド | Microsoft が作成した、Oracle から Azure Synapse Analytics への新しい移行ガイドの提供が開始されました。 Oracle 移行の設計とパフォーマンス。 |
2022 年 6 月 | Azure Synapse の設計上の成功 | 「Azure Synapse 概念実証プレイブック」には、SQL または Spark ワークロードの概念実証のスコープ、設計、実行、評価を行うためのガイドが用意されています。 |
2022 年 6 月 | Teradata の移行ガイド | Microsoft が作成した、Teradata から Azure Synapse Analytics への新しい移行ガイドの提供が開始されました。 Teradata の移行の設計とパフォーマンス。 |
2022 年 6 月 | IBM Netezza の移行ガイド | Microsoft が作成した、IBM Netezza から Azure Synapse Analytics への新しい移行ガイドの提供が開始されました。 IBM Netezza 移行の設計とパフォーマンス。 |
セキュリティ
このセクションでは、Azure Synapse Analytics の新しいセキュリティ機能と設定についてまとめています。
Month | 機能 | 詳細情報 |
---|---|---|
2022 年 12 月 | データ流出防止 (DEP) が Azure Synapse Analytics パイプラインに与える影響 | データ流出防止 (DEP) は、Azure Synapse Analytics が他のサービスに接続する機能に関する追加の制限を可能にする機能です。 |
2022 年 8 月 | システム割り当てマネージド ID を使用して Azure Synapse Spark ノートブックを実行する | セッションの構成メニューの [Run as managed identity] (マネージド ID として実行) を有効にすることで、システム割り当てマネージド ID (またはワークスペース マネージド ID) を使用して Spark ノートブックを実行できるようになりました。 この機能を使用して、パイプラインでノートブックを使用する前に、システム割り当てマネージド ID を使ってノートブックが期待どおりに動作することを確認できます。 詳細については、「Azure Synapse のマネージド ID」を参照してください。 |
2021 年 7 月 | Git への発行に必要なアクセス許可の変更 | Git アクセス許可と Synapse Artifact Publisher (Synapse RBAC) ロールさえあれば、Git モードで変更をコミットできるようになりました。 詳細については、「Synapse Studio でのアクセス制御の適用」を参照してください。 |
Azure Synapse Data Explorer (プレビュー)
Azure Data Explorer (ADX) は、ログとテレメトリ データのための高速で非常にスケーラブルなデータ探索サービスです。 Event Hubs、IoT Hub、BLOB コンテナーに書き込まれた BLOB、Azure Stream Analytics ジョブからのインジェストを提供します。 このセクションでは、Azure Synapse Data Explorer と Kusto 照会言語 (KQL) の新機能についてまとめています。 詳細については、「Azure Synapse Data Explorer と Azure Data Explorer の違いは何ですか?」を参照してください。
Month | 機能 | 詳細情報 |
---|---|---|
2023 年 4 月 | Cosmos DB 接続を使用して Azure Data Explorer DB をデプロイするための ARM テンプレート | システム割り当て ID、データベース、Azure Cosmos DB アカウント (NoSql)、Azure Cosmos DB データベース、Azure Cosmos DB コンテナー、および Cosmos DB コンテナーと Kusto データベース間のデータ接続 (システム割り当て ID を使用) を使用して、Azure Data Explorer クラスターをすばやくデプロイするのに、ARM テンプレートが使用できるようになりました。 |
2023 年 4 月 | Azure Events Hub から ADX Free レベルにデータを取り込む | Azure Data Explorer では、ADX Free レベルで Events Hub との統合がサポートされるようになりました。 詳細については、「Azure Data Explorer を使用した Free Event Hub データ分析」を参照してください。 |
2023 年 3 月 | Kusto Data Explorer でクラスター履歴を表示する | .show queries と .show commands-and-queries を使用して Kusto クラスターで実行されるクエリとコマンドの履歴を簡単に追跡できるようになりました。 |
2023 年 3 月 | Kusto Web エクスプローラーでの Amazon S3 のサポート | Kusto Web エクスプローラー (KWE) でインジェスト ハブを介して Amazon S3 からシームレスにデータを取り込めるようになりました。 |
2023 年 3 月 | Plotly ビジュアルのサポート | Plotly グラフ作成ライブラリを使用して、'render' 演算子を使用する KQL クエリの視覚化を作成したり、ADX ダッシュボードを構築するときに対話形式で視覚化を作成したりできます。 |
2023 年 2 月 | ADX ダッシュボードの一般提供 | Azure Data Explorer Web UI を使用した Azure Data Explorer ダッシュボードが一般公開になり、データ インジェストから、クエリの実行し、最終的なダッシュボードの構築まで、エンドツーエンドでデータを探索できるようになりました。 |
2023 年 2 月 | ADX ファイル インジェストでは、最大 1000 個のファイルがサポートされます | ADX インジェスト ウィザードで、一度に最大 1000 個のファイルがサポートされるようになりました (以前は 10 個)。 |
2023 年 1 月 | Azure Data Explorer 用 Apache Log4j 2 コネクタ | Azure Data Explorer 用 Apache Log4J 2 シンクは、Log4j 2 のログ データを Azure Data Explorerに簡単にストリーミングするために開発されました。ログをリアルタイムで分析、視覚化、アラートできます。 詳細については、「Apache Log4j と Azure Data Explorer の概要」を参照してください。 |
2023 年 1 月 | 既存の Event Hub イベントを ADX に取り込む | ADX は、イベント取得の開始日を使用して、ADX クラスターで Event Hubs データ接続を作成する前に存在していた Event Hubs データを取り込むようになりました。 |
2023 年 1 月 | 多変量異常検出 | ADX には、関数 series_decompose_anomalies() を使用して複数の時系列の異常を検出するためのネイティブ サポートが含まれています。 詳細については、「多変量異常検出」を参照してください。 |
2023 年 1 月 | ダッシュボードでの条件付き書式の改善 | 条件付き書式は、異常または外れ値データ ポイントを視覚的に表示するのに役立ちます。 条件を使用するか、数値列にテーマを適用するか、数値以外の列に不連続値を適用するかによって、ビジュアルの書式を設定できるようになりました。 |
2023 年 1 月 | 円グラフ表示の新しい表示オプション | ダッシュボードの円グラフの視覚化の新しい表示オプションを使用して、関心のあるデータに焦点を当てます。 |
2022 年 12 月 | ADX Kusto Web Explorer (KWE) JPath ビューアー | JPath 表記は、JSON ドキュメント内の 1 つ以上の要素へのパスを記述します。 新しい展開ビューを使用すると、JSON テキストの特定の要素をすばやく取得し、パス式を簡単にコピーできます。 例については、「JPath ビューアー」を参照してください。 |
2022 年 12 月 | Azure Synapse Data Explorer を使用したデータ消費の解明 | Azure Synapse Data Explorer からデータを取得、使用、視覚化するさまざまな方法のガイド。 |
2022 年 11 月 | Azure Data Share を使用したテーブル レベル共有のサポート | データベース内の特定のテーブルを共有できる、Azure Data Share インターフェイス経由のテーブル レベル共有のサポートが追加されました。 これにより、会社や社外のパートナーのユーザーとデータを簡単かつ安全に共有できます。 |
2022 年 11 月 | Azure Stream Analytics から Synapse Data Explorer にデータを取り込む | Streaming Analytics ジョブを使用してイベント ハブからデータを収集し、Azure Data Explorer クラスターに送信する機能が一般公開されました。 詳細については、「Azure Stream Analytics から Azure Data Explorer にデータを取り込む」と Azure Stream Analytics からの ADX の出力に関するページを参照してください。 |
2022 年 11 月 | parse-kv 演算子 | 新しい parse-kv 演算子は、文字列式から構造化された情報を抽出し、その情報をキー/値形式で表します。 RE2 正規表現経由で、指定した区切り記号、指定していない区切り記号、または正規表現を使用できます。 |
2022 年 10 月 | ADX クラスターのリーダーとフォロワー | Azure portal のデータベース ページを使用すると、リーダーをフォローしているフォロワー データベースと、特定のフォロワーのリーダーをすべて簡単に識別できます。 |
2022 年 10 月 | フォロワー データベースのエイリアス化 | フォロワー データベース機能により、別のクラスターにあるデータベースを Azure Data Explorer クラスターにアタッチできます。 フォロワー リレーションシップの確立中にデータベース名をオーバーライドできるようになりました。 |
2022 年 10 月 | OpenTelemetry からのデータの取り込み | OpenTelemetry (OTel) は、ベンダーに依存しないオープンソースのアプリケーション監視フレームワークです。 OpenTelemetry エクスポーターでは、多くのレシーバーから Azure Data Explorer へのデータの取り込みがサポートされています。 |
2022 年 10 月 | Telegraf からのデータの取り込み | Telegraf は、ログ、メトリック、IoT データを含むテレメトリ データの収集、処理、書き込みを行うための、オープンソース、軽量、最小限のメモリ フットプリント エージェントです。 Azure Data Explorer 出力プラグインは、Telegraf からのコネクタとして機能し、多くの種類の入力プラグインから Azure Data Explorer へのデータの取り込みをサポートします。 |
2022 年 9 月 | Azure Data Explorer Kusto エミュレーター | ADX エミュレーターは Docker イメージであり、ADX クエリ エンジン エンドポイントを公開します。 これを使用してデータベースを作成し、データを取り込んでクエリを実行できます。 エミュレーターは、Azure サービスと同じようにKusto 照会言語 (KQL) を解釈します。 |
2022 年 9 月 | Logstash コネクタ プロキシの構成 | Azure Data Explorer (ADX) Logstash プラグインを使うと、分析のために Logstash のイベントを ADX データベースへと処理できます。 バージョン 1.0.5 では、HTTP/HTTPS プロキシをサポートするようになりました。 |
2022 年 9 月 | Kafka の Protobuf 形式のサポート | ADX Kafka シンク コネクタでは、Kafka Connect フレームワークを利用し、JSON、Avro、文字列、そして最新の更新プログラムで Protobuf 形式でデータを Kafka のデータを取り込むアダプターを提供しています。 詳細については、「Kafka から Azure Data Explorer に Protobuf データを取り込む」を参照してください。 |
2022 年 9 月 | じょうごビジュアル | じょうごは、お客様にいただいたフィードバックを受けて Azure Data Explorer ダッシュボードに追加した最新のビジュアルです。 |
2022 年 9 月 | サンプル アプリ ジェネレーターでの .NET と Node.js のサポート | Azure Data Explorer (ADX) サンプル アプリ ジェネレーター ウィザードは、好みのプログラミング言語でデータを取り込み、クエリを実行するための作業アプリを作成できるツールです。 これまで使用可能だったオプションの Java と Python と共に、.NET と Node.js でのサンプル アプリの生成がサポートされるようになりました。 |
2022 年 8 月 | Kafka シンクでの Protobuf のサポート | Azure Data Explorer Kafka シンク (ゴールド認定 Confluent コネクタ) は、Kafka から Azure Data Explorer にデータを取り込むのに役立ちます。 顧客が Protobuf データを ADX に取り込むのに役立つ Protobuf サポートがコネクタに追加されました。 |
2022 年 8 月 | Amazon S3 のネイティブ サポート | .ingest into ADX コマンドでは、1 つまたは複数のクラウド ストレージ ファイルからデータを "プル" することで、データがテーブルに取り込まれます。 このコマンドで、Amazon S3 URL がサポートされるようになりました。 例については、S3 からの継続的なデータ インジェストを発表するブログ記事を参照してください。 |
2022 年 8 月 | 組み込みの ADX ダッシュボード | ADX の Web UI とダッシュボードは IFrame に埋め込まれ、サード パーティ アプリでホストされます。 |
2022 年 8 月 | 無料クラスター アップグレード オプション | Azure Data Explorer の無料クラスターを完全なクラスターにアップグレードできるようになりました。ストレージの制限がなくなり、データの増大に応じて容量を増やすことができます。 |
2022 年 8 月 | Excel ピボット テーブルから新しい ADX データを分析する | ご好評いただいている分析ツール Excel ピボット テーブルから、鮮度の高い無制限の量の ADX データ (Kusto) を使用できるようになりました。 Pivot コードで生成された MDX クエリは、KQL ステートメントとして Kusto バックエンドに送られ、ピボットで必要なデータを集計して Excel に返されます。 |
2022 年 8 月 | クエリ結果 - 値による色分け | クエリ結果で一意のデータを瞬時に強調表示し、特定の列の同じ値を共有する行を視覚的にグループ化します。 特定の列に基づいて行に色を適用するには、[結果の確認] と [値による色の指定] を使用します。 |
2022 年 8 月 | Web エクスプローラー - グラフの十字線のサポート | ysplit プロパティが、多くのグラフで十字線のビジュアル (マウス ポインターに沿って移動する垂直線) をサポートするようになりました。 |
2021 年 7 月 | scan 演算子 | 強力な scan 演算子は、ADX で効率的でスケーラブルなプロセス マイニングとシーケンス分析とユーザー分析を可能にします。 scan を使用する一般的なシナリオとしては、IoT デバイスの予防保全、ファネル分析、再帰計算、既知の攻撃手順を探すセキュリティ シナリオなどがあります。 |
2021 年 7 月 | Azure Stream Analytics から Synapse Data Explorer にデータを取り込む (プレビュー) | Streaming Analytics ジョブを使用してイベント ハブからデータを収集し、Azure portal または ARM テンプレートを使用して Azure Data Explorer クラスターに送信できるようになりました。 詳細については、「Azure Stream Analytics から Azure Data Explorer にデータを取り込む」を参照してください。 |
2021 年 7 月 | 各 y 列のグラフをレンダリングする | Synapse Web Data Explorer で、各 y 列のグラフのレンダリングがサポートされるようになりました。 例については、「Azure Synapse Analytics July Update 2022」を参照してください。 |
2022 年 6 月 | Web Explorer の新しいホームページ | 新しい Azure Synapse Web Explorer のホームページにより、Synapse Web Explorer の使用がさらに簡単になります。 |
2022 年 6 月 | Web Explorer のサンプル ギャラリー | [Web Explorer サンプル ギャラリー]((https://techcommunity.microsoft.com/t5/azure-data-explorer-blog/azure-data-explorer-in-60-minutes-with-the-new-samples-gallery/ba-p/3447552)では、Synapse Data Explorer の一般的なユース ケース (ログ データ、メトリック データ、IoT データ、基本的なビッグ データの例など) をお客様がどのように活用しているかを示すエンドツーエンドのサンプルを提供します。 |
2022 年 6 月 | Web Explorer ダッシュボードの機能のドリルスルー | Synapse Web Explorer ダッシュボードでドリルスルーをパラメーターとして使用できるようになりました。 |
2022 年 6 月 | Web Explorer のタイム ゾーン設定 | Web Explorer のタイム ゾーン設定が、クエリ結果とダッシュボードの両方に適用されるようになりました。 タイムゾーンを変更すると、ダッシュボードが自動的に更新され、選択したタイムゾーンでデータが表示されます。 |
Azure Synapse Link
Azure Synapse Link は、SQL Server または Azure SQL Database、Azure Cosmos DB、Dataverse から Azure Synapse Analytics にデータをレプリケートするための自動化されたシステムです。 このセクションでは、Azure Synapse Link 機能に関する最新のニュースをまとめています。
Month | 機能 | 詳細情報 |
---|---|---|
2023 年 3 月 | Cosmos DB Synapse Link for Azure Data Explorer の一般提供 | Azure Data Explorer では、変更フィードを使用した Azure Cosmos DB からのフル マネージド データ インジェストがサポートされます。 マネージド プライベート エンドポイントまたはサービス エンドポイントの背後にある Cosmos DB アカウントがサポートされるようになりました。 詳細については、「Azure Cosmos DB から Azure Data Explorer にデータを取り込む」を参照してください。 |
2023 年 1 月 | Cosmos DB Synapse Link for Azure Data Explorer プレビュー | Azure Data Explorer では、変更フィードを使用した Azure Cosmos DB からのフル マネージド データ インジェストがサポートされます。 詳細については、「Azure Cosmos DB から Azure Data Explorer にデータを取り込む (プレビュー)」を参照してください。 |
2022 年 11 月 | Azure Synapse Link for SQL | Azure Synapse Link for SQL は、SQL Server 2022 と Azure SQL Database の両方で一般提供されています。 Azure Synapse Link for SQL 機能により、SQL ベースの運用ストアから Azure Synapse Analytics へのほぼリアルタイムのデータ レプリケーションをローコードおよびノーコードで利用できます。 運用ストアへの影響を最小限に抑えながら、運用データに関する BI レポートをほぼリアルタイムで実行できます。 詳細については、「Azure Synapse Link for SQL とは」を参照してください。 |
2021 年 7 月 | バッチ モード | Azure Synapse Link for SQL におけるコストと待ち時間のトレードオフは、データのレプリケートに "連続" または "バッチ" モードを選択して決定します。 バッチ モードは、継続的にオンになるのではなく、バッチ読み込み中にしかインジェスト サービスに対する料金が発生しないのでコストを一層削減できます。 バッチ処理には 20 分と 60 分のどちらかを選択できます。 |
Synapse SQL
このセクションでは、Azure Synapse Analytics の SQL プールの最新の機能と改良についてまとめています。
Month | 機能 | 詳細情報 |
---|---|---|
2023 年 6 月 | 更新された診断設定フィールド | 9 つのフィールドが専用 SQL プールの診断設定ログに追加されました。 |
2023 年 3 月 | Azure Synapse 専用 SQL プールのアラートを作成する | このカスタマー サクセス エンジニアリングのブログ記事では、Azure Synapse 専用 SQL プールのアラートを構成する手順と、利用を開始するための推奨アラートについて説明します。 |
2023 年 3 月 | Synapse 専用プールのパフォーマンス チューニング - クエリのライフサイクルについて | このカスタマー サクセス エンジニアリングのブログ記事では、パフォーマンスを最大化するためのクエリ ライフサイクルについて詳しく説明しています。 |
2023 年 3 月 | GREATEST および LEAST T-SQL 構文のサポート | GREATEST および LEAST 関数が、サーバーレスと専用の両方の SQL プールで使用できるようになりました。 これらのスカラー値関数は、1 つ以上の式のリストから最大値と最小値を返します。 |
2023 年 3 月 | 専用 SQL プールでの複数列分散の一般提供 | 複数の列でテーブルをハッシュ分散することにより、ベース テーブルをより均等に分散できるようになり、時間の経過によるデータ スキューが減少し、クエリのパフォーマンスが向上します。 この一般公開機能の詳細については、CREATE MATERIALIZED VIEW、CREATE TABLE ディストリビューション オプション、または CREATE TABLE AS SELECT ディストリビューション オプションの 3 つのオプションを参照してください。 |
2023 年 3 月 | SSDT を使用した Synapse SQL サーバーレスのデプロイ | SqlPackage の 待望の Azure Synapse Analytics サーバーレス SQL プールのサポートが、161.8089.0 SqlPackage から利用できるようになりました。 サーバーレス SQL プールは、抽出および発行アクションの両方でサポートされています。 |
2023 年 2 月 | 専用 SQL プールに対する UTF-8 照合順序と日本語照合順序のサポート | UTF-8 のサポートと日本語の照合順序の両方が、専用 SQL プールで一般提供されるようになりました。 |
2022 年 9 月 | CSV データセット内の OPENROWSET の自動統計 | OPENROWSET クエリの最適なクエリ実行プランを確保するために必要な場合は、サーバーレス SQL プールを使って CSV データセットの統計情報を自動的に作成することができます。 |
2022 年 9 月 | MERGE T-SQL 構文 | T-SQL MERGE 構文は、Synapse T-SQL ライブラリへの追加要望が多かったものです。 MERGE を使うと、INSERT/UPDATE/DELETE を 1 つのステートメントにカプセル化することができます。 バージョン 10.0.17829 以降の専用 SQL プールで使用できます。 詳細については、MERGE T-SQL のお知らせのブログを参照してください。 |
2022 年 8 月 | サーバーレス SQL プールの Apache Spark Delta Lake テーブル | Spark データベースに作成された Delta Lake テーブルに対し、サーバーレス SQL プールからアクセスする機能はプレビュー段階です。 詳細については、「Azure Synapse Analytics の共有メタデータ テーブル」を参照してください。 |
2022 年 8 月 | 専用 SQL プールでの複数列分散 | 複数の列でテーブルをハッシュ分散することにより、ベース テーブルをより均等に分散できるようになり、時間の経過と共にデータ スキューが減少し、クエリのパフォーマンスが向上します。 プレビューへのオプトインの詳細については、CREATE TABLE の分散オプションまたは CREATE TABLE AS SELECT の分散オプションを参照してください。 |
2022 年 8 月 | 配布アドバイザー | Distribution Advisor は、クエリを分析し、クエリのパフォーマンスを向上させるためにテーブルに最適な分散戦略を推奨する、Azure Synapse 専用 SQL プール Gen2 の新しいプレビュー機能です。 詳細については、「Azure Synapse SQL の Distribution Advisor」を参照してください。 |
2022 年 8 月 | レイク データベースに SQL オブジェクトとユーザーを追加 | サーバーレス SQL プールのレイク データベースに関して発表された新機能です。スキーマ、ビュー、プロシージャ、インライン テーブル値関数を作成できます。 Azure Active Directory ドメインのデータベース ユーザーを db_datareader ロールに割り当てることもできます。 詳細については、「Azure Synapse Analytics でサーバーレス SQL プールを使用してレイク データベースにアクセスする」および「Azure Synapse Analytics の SQL プールを使用してネイティブの外部テーブルを作成および使用する」を参照してください。 |
詳細情報
以前の更新プログラムについては、過去の Azure Synapse Analytics ブログ記事や Azure Synapse Analytics の過去の更新プログラムを参照してください。
- Azure Synapse Analytics の使用を開始する
- Azure Synapse Analytics の概要
- Azure Synapse Analytics で分析ソリューションの統合を実現する
- Azure Data Factory または Azure Synapse パイプラインを使用した大規模なデータ統合
- Azure Synapse の Microsoft トレーニング ラーニング パス
- Microsoft Q&A の Azure Synapse Analytics