Azure Synapse Analytics의 새로운 내용

  • 아티클

이 페이지는 Azure Synapse Analytics의 새로운 기능과 현재 미리 보기 상태의 기능에 대한 최근 검토를 사용하여 지속적으로 업데이트됩니다. Azure Synapse 뉴스 및 기능의 최신 소식을 확인하려면 Azure Synapse Analytics 블로그 및 YouTube에서 함께 제공되는 동영상을 참조하세요.

이전 업데이트의 경우 지난 Azure Synapse Analytics 블로그 게시물 또는 Azure Synapse Analytics의 이전 업데이트를 검토합니다.

Important

Microsoft Fabric이 공지되었습니다!

현재 미리 보기로 제공되는 기능

다음 표에는 현재 미리 보기에 있는 Azure Synapse Analytics의 기능이 나열되어 있습니다. 미리 보기 기능은 알파벳순으로 정렬됩니다.

참고 항목

현재 미리 보기로 제공되는 기능은 추가 사용 약관의 적용을 받으며, 베타, 미리 보기 또는 일반 공급으로 아직 릴리스되지 않은 Azure 기능에 적용되는 법적 약관을 검토합니다. Azure Synapse Analytics는 기능이 GA(일반 공급)되기 전에 기능을 평가하고 제품 그룹과 피드백을 공유할 수 있는 미리 보기를 제공합니다.

기능 자세한 정보
서버리스 SQL 풀의 Apache Spark Delta Lake 테이블 서버리스 SQL 풀이 Spark 데이터베이스에서 만들어진 Delta Lake 테이블에 액세스하는 기능은 미리 보기 상태입니다. 자세한 내용은 Azure Synapse Analytics 공유 메타데이터 테이블을 참조하세요.
Apache Spark 탄력적 풀 스토리지 Azure Synapse Analytics Spark 풀은 이제 미리 보기에서 탄력적 풀 스토리지를 지원합니다. 탄력적 풀 스토리지를 사용하면 Spark 엔진에서 작업자 노드 임시 스토리지를 모니터링하고 필요한 경우 더 많은 디스크를 연결할 수 있습니다. 작업이 필요하지 않으며 결과적으로 더 적은 작업 실패가 표시됩니다. 자세한 내용은 Azure Synapse Analytics Spark 탄력적 풀 스토리지를 참조하세요.
Apache Spark R 언어 지원 기본 제공 Apache Spark용 R 지원이 현재 미리 보기 상태입니다.
Azure Synapse 데이터 탐색기 Azure Synapse Data Explorer는 로그 및 원격 분석 데이터에서 유용한 정보를 가져올 수 있는 대화형 쿼리 환경을 제공합니다. Azure Data Explorer용 커넥터는 Synapse Data Explorer에서 사용할 수 있습니다. 자세한 내용은 Azure Synapse Data Explorer(미리 보기)를 참조하세요.
Azure Synapse Analytics 작업 영역에서 ADLS Gen2 폴더 찾아보기 이제 Synapse Studio의 Azure Synapse Analytics 작업 영역에서 ADLS Gen2(Azure Data Lake Storage Gen2) 컨테이너 또는 폴더를 찾아볼 수 있습니다. 자세한 내용은 Azure Synapse Analytics에서 ACL을 사용하여 ADLS Gen2 폴더 찾아보기를 참조하세요.
Cosmos DB 분석 저장소에서 변경된 데이터 캡처 Azure Cosmos DB 분석 저장소는 이제 Azure Cosmos DB for NoSQL API 및 Azure Cosmos DB for MongoDB API에 대한 CDC(변경 데이터 캡처)를 지원합니다. 자세한 내용은 Cosmos DB 분석 저장소에서 변경된 데이터 캡처 및 DevBlog: Azure Cosmos DB 분석 저장소를 사용한 CDC(변경 데이터 캡처)를 참조하세요.
배포 관리자 배포 관리자는 쿼리를 분석하고 쿼리 성능을 개선하기 위해 테이블에 대한 최상의 배포 전략을 권장하는 Azure Synapse 전용 SQL 풀 Gen2의 새로운 미리 보기 기능입니다. 자세한 내용은 Azure Synapse SQL의 배포 관리자를 참조하세요.
분산 심층 신경망 학습 딥 러닝 자습서에서 Horovod, Petastorm, TensorFlow 및 PyTorch와 같은 새로운 분산 학습 라이브러리에 대해 자세히 알아봅니다.
ADX 대시보드 포함 Azure Data Explorer 대시보드는 IFrame에 포함되고 타사 앱에서 호스트됩니다.
구분된 텍스트 파일에 대한 거부 옵션 구분된 파일의 CREATE EXTERNAL TABLE에 대한 거부 옵션은 미리 보기로 제공됩니다.
Azure Synapse Notebook용 Spark Advisor Azure Synapse Notebook용 Spark Advisor는 Spark에서 실행하는 코드를 분석하고 Notebooks에 대한 실시간 조언을 표시합니다. Spark Advisor는 기본 제공 공통 패턴을 기반으로 코드 최적화에 대한 권장 사항을 제공하고, 오류 분석을 수행하고, 오류의 근본 원인을 찾습니다.
관리되는 VNet(가상 네트워크)의 TTL(Time-To-Live) 관리되는 가상 네트워크 TTL 기간의 TTL(Time-to-Live)에 대한 컴퓨팅을 예약하여 시간을 절약하고 효율성을 개선합니다. 이 미리 보기에 대한 자세한 내용은 관리되는 가상 네트워크에서 TTL(Time-To-Live)의 공개 미리 보기 발표를 참조하세요.
사용자 할당 관리 ID 이제 Synapse Pipelines 및 Dataflows에서 인증을 위해 연결된 서비스에서 사용자 할당 관리 ID를 사용할 수 있습니다. 자세한 내용은 Azure Data Factory 및 Azure Synapse의 자격 증명을 참조하세요.

일반적으로 사용 가능한 기능

다음 표에는 지난 12개월 동안 미리 보기에서 GA(일반 공급)로 전환된 Azure Synapse Analytics의 기능이 나열되어 있습니다.

월 기능 자세한 정보
2023년 4월 Apache Spark 쓰기 최적화 쓰기 최적화는 Azure Synapse의 Delta Lake 기능입니다. Apache Spark 3(3.1 및 3.2)에서 작성하는 파일 수를 줄이고 작성된 데이터의 개별 파일 크기를 늘리기 위한 것입니다.
2023년 3월 Azure Data Explorer GA용 Cosmos DB Synapse Link Azure Data Explorer는 변경 피드를 사용하여 Azure Cosmos DB에서 완전 관리형 데이터 수집을 지원합니다. 이제 관리 프라이빗 엔드포인트 뒤의 Cosmos DB 계정 또는 서비스 엔드포인트를 지원합니다. 자세한 내용은 Azure Cosmos DB에서 Azure Data Explorer로 데이터 수집을 참조하세요.
2023년 3월 전용 SQL 풀의 다중 열 배포 이제 기본 테이블을 보다 균일하게 배포하기 위해 여러 열에 테이블을 해시 배포하여 시간 경과에 따른 데이터 기울이기를 줄이고 쿼리 성능을 개선할 수 있습니다. 일반적으로 사용 가능한 기능에 대한 자세한 내용은 CREATE MATERIALIZED VIEW, CREATE TABLE 배포 옵션 또는 CREATE TABLE AS SELECT 배포 옵션의 세 가지 옵션을 참조하세요.
2023년 3월 SSDT를 사용하여 Synapse SQL 서버리스 배포 SqlPackage의 Azure Synapse Analytics 서버리스 SQL 풀에 대한 대망의 지원이 이제 161.8089.0 SqlPackage부터 사용할 수 있습니다. 서버리스 SQL 풀은 추출 및 게시 작업 모두에 대해 지원됩니다.
2023년 2월 ADX 대시보드 정식 출시 Azure Data Explorer 웹 UI를 사용하는 이제 정식 출시된 Azure Data Explorer 대시보드는 데이터 수집부터 시작하여 쿼리를 실행하고 궁극적으로 대시보드를 빌드하는 등 엔드투엔드 데이터를 탐색할 수 있습니다.
2023년 2월 전용 SQL 풀에 대한 UTF-8 및 일본어 데이터 정렬 지원 이제 UTF-8 지원과 일본어 데이터 정렬이 모두 전용 SQL 풀에 일반 공급됩니다.
2023년 2월 Apache Spark 3.3용 Azure Synapse Runtime 이제 Apache Spark 3.3용 Azure Synapse 런타임이 일반 공급됩니다. 1TB TPC-H 업계 벤치마크를 사용한 테스트에 따라 성능이 최대 77% 향상될 가능성이 높습니다.
2022년 12월 SSIS IR 기본 가상 네트워크 주입 이제 VNet에 SSIS Integration Runtime(IR)을 삽입하는 표준 및 기본 방법이 모두 일반 공급됩니다. 자세한 내용은 Azure Data Factory의 SSIS에 대한 기본 가상 네트워크 삽입의 일반 공급을 참조하세요.
2022년 11월 Azure Stream Analytics에서 Synapse Data Explorer로 데이터 수집 이제 Streaming Analytics 작업을 사용하여 이벤트 허브에서 데이터를 수집하고 Azure Data Explorer 클러스터로 보내는 기능이 일반 공급됩니다. 자세한 내용은 Azure Stream Analytics에서 Azure Data Explorer로 데이터 수집 및 Azure Stream Analytics에서 ADX 출력을 참조하세요.
2022년 11월 SQL용 Azure Synapse Link SQL용 Azure Synapse Link는 이제 SQL Server 2022 및 Azure SQL Database 모두에 대해 일반 공급됩니다. SQL용 Azure Synapse Link 기능은 로우 코드를 사용하거나 코드가 없는 거의 실시간 데이터 복제를 SQL 기반 작업 저장소에서 Azure Synapse Analytics로 제공합니다. 운영 저장소에 미치는 영향을 최소화하면서 작동 데이터에 대한 BI 보고를 거의 실시간으로 제공합니다. 자세한 내용은 SQL용 Azure Synapse Link란?을 참조하세요.
2022년 10월 SAP CDC 커넥터 GA SAP CDC(변경 데이터 캡처)용 데이터 커넥터는 이제 GA됩니다. 자세한 내용은 Azure Data Factory 및 Azure Synapse Analytics의 SAP CDC 솔루션 공개 미리 보기 발표 및 Azure Data Factory의 SAP CDC 솔루션을 참조하세요.
2022년 9월 MERGE T-SQL 구문 MERGE T-SQL 구문은 Synapse T-SQL 라이브러리에 많이 요청된 추가 구문입니다. SQL Server에서와 마찬가지로 MERGE 구문은 INSERT/UPDATE/DELETE를 단일 고성능 명령문으로 캡슐화합니다. 버전 10.0.17829 이상의 전용 SQL 풀에서 사용할 수 있습니다. 자세한 내용은 MERGE T-SQL 공지 블로그를 참조하세요.
2022년 7월 Synapse Analytics용 Apache Spark™ 3.2 Synapse Analytics용 Apache Spark™ 3.2는 이제 일반 공급됩니다. 공식 릴리스 정보 및 Spark 3.1과 3.2 간의 마이그레이션 가이드라인을 검토하여 애플리케이션의 잠재적인 변경 내용을 평가합니다. 자세한 내용은 Apache Spark 버전 지원 및 Apache Spark 3.2용 Azure Synapse 런타임을 참조하세요. Azure Synapse Analytics 2022년 7월 업데이트에서 Spark 3.2의 향상된 기능에 대한 주요 내용입니다.
2022년 7월 Azure Synapse 지능형 캐시 기능의 Apache Spark Spark용 지능형 캐시는 할당된 캐시 스토리지 공간 내에 각 읽기를 자동으로 저장하여 기본 파일 변경 내용을 검색하고 파일을 새로 고쳐 최신 데이터를 제공합니다. 자세한 내용은 Apache Spark 풀에 대한 캐시 사용/사용 안 함 방법을 참조하세요.
2022년 6월 맵 데이터 도구 데이터 매핑 도구는 ETL 매핑을 만들고 코드를 작성하지 않고도 원본 데이터에서 Synapse로 데이터 흐름을 매핑할 수 있도록 하는 단계별 프로세스입니다. 데이터 맵 도구에 대한 자세한 내용은 Azure Synapse Analytics의 맵 데이터를 참조하세요.
2022년 6월 사용자 정의 함수 이제 UDF(사용자 정의 함수)가 일반 공급됩니다. 자세한 내용은 매핑 데이터 흐름의 사용자 정의 함수를 참조하세요.

커뮤니티

이 섹션에서는 새로운 Azure Synapse Analytics 커뮤니티 기회와 Microsoft의 Azure Synapse 인플루언서 프로그램을 요약합니다.

월 기능 자세한 정보
2023년 4월 Azure Synapse MVP Corner Microsoft Azure Synapse MVP 블로그 시리즈 Azure Synapse MVP Corner에서 제공하는 3월 강조 표시입니다.
2023년 3월 Azure Synapse MVP Corner Microsoft Azure Synapse MVP 블로그 시리즈 Azure Synapse MVP Corner에서 제공하는 2월 강조 표시입니다.
2023년 2월 Azure Synapse MVP Corner Microsoft Azure Synapse MVP 블로그 시리즈 Azure Synapse MVP Corner에서 제공하는 1월 강조 표시입니다.
2023년 1월 Azure Synapse MVP Corner Microsoft Azure Synapse MVP 블로그 시리즈 Azure Synapse MVP Corner에서 제공하는 12월 하이라이트입니다.
2022년 12월 Azure Synapse MVP Corner 11월 Azure Synapse MVP Corner의 Microsoft Azure Synapse MVP 블로그 시리즈에서 제공하는 11월 하이라이트입니다.
2022년 11월 Azure Synapse 인플루언서 프로그램 Azure Synapse 인플루언서 프로그램은 Microsoft 제품 팀과 전문가에게 문의와 같은 독점 이벤트 및 Q&A 세션을 제공하며, 구성원은 다양한 회전 토픽에 대한 질문을 하여 제품 전문가와 직접 상호 작용할 수 있습니다. Azure Synapse Analytics 인플루언서 커뮤니티의 구성원에게서 피드백을 받습니다.
2022년 10월 Azure Synapse MVP Corner 10월 Azure Synapse MVP Corner의 Microsoft Azure Synapse MVP 블로그 시리즈에서 제공하는 하이라이트입니다.
2022년 9월 Azure Synapse MVP Corner 9월 Azure Synapse MVP Corner의 Microsoft Azure Synapse MVP 블로그 시리즈에서 제공하는 하이라이트입니다.
2022년 5월 Azure Synapse 인플루언서 프로그램 무료 Azure Synapse 인플루언서 프로그램에 가입하고 클라우드 분석을 통해 다른 사람들이 더 많은 성과를 거둘 수 있도록 돕는 데 전념하는 Synapse 사용자 커뮤니티와 교류합니다. 다음 Synapse 인플루언서 전문가에게 묻기 세션에 지금 등록합니다. 참석은 무료이며 누구나 Synapse 관련 항목에 대한 토론에 참여할 수 있습니다. Azure Synapse YouTube 채널에서 과거에 녹화된 전문가에게 묻기 이벤트를 시청할 수 있습니다.

Azure Synapse Analytics용 Apache Spark

이 섹션에서는 Azure Synapse Analytics용 Apache Spark의 최근 새로운 기능을 요약합니다.

월 기능 자세한 정보
2023년 4월 Delta Lake - 낮은 순서 섞기 병합 이제 Apache Spark 3.2 및 3.3 풀에서 Delta 테이블을 위한 Low Shuffle Merge 최적화를 사용할 수 있습니다. 이제 Delta Lake MERGE 명령을 사용하여 고급 조건으로 Delta 테이블을 업데이트할 수 있습니다.
2023년 3월 라이브러리 관리의 새로운 기능: 인라인 설치 이제 Synapse용 Apache Spark에서 %pip 및 %conda를 사용할 수 있습니다! %pip 및 %conda는 Python 패키지를 설치하기 위해 Notebooks에서 사용할 수 있는 명령입니다. 자세한 내용은 %pip 및 %conda 명령을 통해 세션 범위 Python 패키지 관리를 참조하세요.
2023년 3월 Azure Synapse Analytics Spark 성능 최대 77% 증가 최근 대한민국 중부, 인도 중부 및 오스트레일리아 남동부를 포함하여 더 많은 지역이 Azure Synapse Spark 워크로드의 성능 향상을 받고 있습니다.
2023년 3월 Azure Synapse Spark Notebook – 단위 테스트 Synapse Notebook을 사용하여 개발된 Spark 작업에 대한 단위 테스트 사례를 테스트하고 만드는 방법을 알아봅니다.
2023년 3월 Apache Spark 2.4 및 3.1 사용 중지 주기 Apache Spark 2.4 및 3.1에 대한 Azure Synapse 런타임이 사용 중지 주기에 들어갔습니다. Apache Spark 2.4는 2023년 9월 29일에 사용 중지되고 Apache Spark 3.1은 2024년 1월 26일부터 사용 중지됩니다. 이 기간 내에 최신 Apache Spark 런타임으로 워크로드를 재배치해야 합니다. Azure Synapse의 Apache Spark 런타임에서 자세히 알아보고 Spark 마이그레이션 가이드를 보세요.
2023년 2월 Apache Spark 3.3용 Azure Synapse Runtime 이제 Apache Spark 3.3용 Azure Synapse 런타임이 일반 공급됩니다. 1TB TPC-H 업계 벤치마크를 사용한 테스트에 따라 성능이 최대 77% 향상될 가능성이 높습니다.
2023년 1월 Azure Synapse Notebook용 Spark Advisor Azure Synapse Notebook용 Spark Advisor는 Spark에서 실행하는 코드를 분석하고 Notebooks에 대한 실시간 조언을 표시합니다. Spark Advisor는 기본 제공 공통 패턴을 기반으로 코드 최적화에 대한 권장 사항을 제공하고, 오류 분석을 수행하고, 오류의 근본 원인을 찾습니다. 
2023년 1월 Synapse Genie를 사용하여 Spark 풀 사용률 향상 Synapse Genie Framework는 동일한 Spark 풀 인스턴스에서 여러 Synapse Notebook을 실행하여 Spark 풀 사용률을 향상시킵니다. 이 Python으로 작성된 메타데이터 기반 유틸리티에 대해 자세히 알아보세요.
2022년 11월 Apache Spark 3.3용 Azure Synapse Runtime Apache Spark 3.3용 Azure Synapse Runtime은 현재 미리 보기 상태입니다. 자세한 내용은 Apache Spark 3.3 미리 보기 블로그 게시물을 참조하세요. 1TB TPC-H 업계 벤치마크를 사용한 테스트에 따라 성능이 최대 77% 향상될 가능성이 높습니다.
2022년 9월 새로운 정보 제공 Livy 오류 코드 더 정확한 오류 코드는 오류의 원인을 설명하고 이전의 일반 오류 코드를 대체합니다. 이전에는 실패한 Spark 작업의 모든 오류가 LIVY_JOB_STATE_DEAD를 표시하는 일반 오류 코드로 표시되었습니다.
2022년 9월 Azure Synapse Analytics용 Apache Spark의 새로운 쿼리 최적화 기술 Microsoft의 연구 결과를 읽고 참조 TPC-DS 워크로드에서 전반적으로 상당한 성능 이점을 얻고 쿼리 계획 생성 시간을 크게 단축합니다.
2022년 8월 Apache Spark 탄력적 풀 스토리지 Azure Synapse Analytics Spark 풀은 이제 미리 보기에서 탄력적 풀 스토리지를 지원합니다. 탄력적 풀 스토리지를 사용하면 Spark 엔진이 작업자 노드 임시 스토리지를 모니터링하고 필요한 경우 추가 디스크를 연결할 수 있습니다. 작업이 필요하지 않으며 결과적으로 더 적은 작업 실패가 표시됩니다. 자세한 내용은 블로그: Azure Synapse Analytics Spark 탄력적 풀 스토리지를 공개 미리 보기로 사용할 수 있음을 참조하세요.
2022년 8월 Apache Spark 쓰기 최적화 쓰기 최적화는 Apache Spark 3(3.1 및 3.2)에서 작성하는 파일 수를 줄이고 작성된 데이터의 개별 파일 크기를 늘리는 것을 목표로 하는 Synapse 미리 보기 기능의 Delta Lake입니다. 자세한 내용은 Apache Spark에서 쓰기 최적화의 필요성을 참조하세요.

데이터 통합

이 섹션에서는 Azure Synapse Analytics 데이터 통합의 최근 새로운 기능을 요약합니다. ADF(Azure Data Factory) 또는 Synapse 파이프라인을 사용하여 Azure Synapse Analytics에 데이터 로드 방법을 알아봅니다.

월 기능 자세한 정보
2023년 4월 Cosmos DB 분석 저장소에서 변경된 데이터 캡처(공개 미리 보기) Azure Cosmos DB 분석 저장소는 이제 Azure Cosmos DB for NoSQL API 및 Azure Cosmos DB for MongoDB API에 대한 CDC(변경 데이터 캡처)를 지원합니다. 자세한 내용은 Cosmos DB 분석 저장소에서 변경된 데이터 캡처 및 DevBlog: Azure Cosmos DB 분석 저장소를 사용한 CDC(변경 데이터 캡처)를 참조하세요.
2023년 3월 심층 분석: Synapse 파이프라인 스토리지 이벤트 트리거 보안 이 고객 성공 엔지니어링 블로그 게시물은 Azure Synapse 파이프라인 스토리지 이벤트 트리거 보안에 대해 자세히 설명합니다. ADF 및 Synapse 파이프라인은 스토리지 Blob 만들기 또는 삭제와 같은 다양한 이벤트를 기반으로 파이프라인 실행을 트리거할 수 있는 기능을 제공합니다. 이는 고객이 이벤트 기반 파이프라인 오케스트레이션을 구현하는 데 사용할 수 있습니다.
2023년 1월 이제 SQL CDC 증분 추출에서 숫자 열을 지원합니다 데이터 흐름에서 SQL Server CDC에서 증분 추출을 사용하도록 설정하면 파이프라인이 마지막으로 실행된 이후 변경된 행만 처리할 수 있습니다. 지원되는 증분 열 형식에는 이제 날짜/시간 및 숫자 열이 포함됩니다.
2022년 12월 기본 가상 네트워크 주입 이제 VNet에 SSIS Integration Runtime(IR)을 삽입하는 표준 및 기본 방법이 모두 일반 공급됩니다. 자세한 내용은 Azure Data Factory의 SSIS에 대한 기본 가상 네트워크 삽입의 일반 공급을 참조하세요.
2022년 10월 SAP CDC 커넥터 GA SAP CDC(변경 데이터 캡처)용 데이터 커넥터는 이제 GA됩니다. 자세한 내용은 Azure Data Factory 및 Azure Synapse Analytics의 SAP CDC 솔루션 공개 미리 보기 발표 및 Azure Data Factory의 SAP CDC 솔루션을 참조하세요.
2022년 9월 Gantt 차트 보기 이제 Azure Data Factory 통합 런타임 모니터링에서 Gantt 차트를 사용하여 활동 실행을 볼 수 있습니다.
2022년 9월 향상된 모니터링 기능 커뮤니티 피드백에 따라 모니터링 환경의 향상된 기능에 대한 새 번들이 릴리스되었습니다.
2022년 9월 매핑 데이터 흐름의 최대 열 최적화 CSV와 같이 구분된 텍스트 데이터 원본의 경우 새 최대 열 설정을 사용하면 최대 열 수를 설정할 수 있습니다.
2022년 9월 Oracle 데이터 원본 커넥터에서 NUMBER를 정수로 변환 새 convertDecimalToInteger 속성을 통해 Oracle NUMBER 형식을 원본의 해당 정수 형식으로 변환하는 새 속성입니다. 자세한 내용은 Oracle 원본 커넥터를 참조하세요.
2022년 9월 웹 작업에서 HTTP 요청 DELETE 메서드를 사용하여 본문 보내기 지원 이제 웹 작업에서 DELETE 메서드를 사용하면 본문을 보낼 수 있습니다(선택 사항). 자세한 내용은 웹 작업에 사용할 수 있는 형식 속성을 참조하세요.
2022년 8월 이제 매핑 데이터 흐름이 시각적 캐스트 변환을 지원함 캐스트 변환을 사용하여 데이터 흐름에서 개별 열의 데이터 형식을 손쉽게 수정할 수 있습니다.
2022년 8월 기본 작업 제한 시간이 12시간으로 변경됨 기본 작업 제한 시간은 이제 12시간입니다.
2022년 8월 파이프라인 식 작성기 사용 편의성 향상 파이프라인을 더 쉽게 설계할 수 있도록 식 작성기 UI를 업데이트했습니다.
2022년 8월 데이터 흐름 인라인 데이터 세트 형식 매핑을 위한 새 UI 인라인 데이터 세트 형식을 더 쉽게 찾을 수 있도록 데이터 흐름 원본 UI를 업데이트했습니다.
2022년 7월 관리되는 VNet(가상 네트워크)의 TTL(Time-To-Live) 관리되는 가상 네트워크 TTL 기간의 TTL(Time-to-Live)에 대한 컴퓨팅을 예약하여 시간을 절약하고 효율성을 개선합니다. 이 미리 보기에 대한 자세한 내용은 관리되는 가상 네트워크에서 TTL(Time-To-Live)의 공개 미리 보기 발표를 참조하세요.
2022년 6월 SAP CDC 커넥터 미리 보기 이제 SAP CDC(변경 데이터 캡처)용 새 데이터 커넥터를 미리 보기로 사용할 수 있습니다. 자세한 내용은 Azure Data Factory 및 Azure Synapse Analytics의 SAP CDC 솔루션 공개 미리 보기 발표 및 Azure Data Factory의 SAP CDC 솔루션을 참조하세요.
2022년 6월 조인 변환의 유사 조인 옵션 유사성 임계값 점수 슬라이더가 있는 유사 일치 사용이 매핑 데이터 흐름의 조인 변환에 추가되었습니다.
2022년 6월 맵 데이터 도구 GA 이제 맵 데이터 도구가 일반 공급된다는 소식을 전하게 되어 기쁘게 생각합니다. 데이터 매핑 도구는 ETL 매핑을 만들고 코드를 작성하지 않고도 원본 데이터에서 Synapse로 데이터 흐름을 매핑할 수 있도록 하는 단계별 프로세스입니다.
2022년 6월 새 매개 변수를 사용하여 파이프라인 다시 실행 이제 파이프라인 편집기로 돌아갈 필요 없이 모니터링 페이지에서 파이프라인을 다시 실행할 때 파이프라인 매개 변수를 변경할 수 있습니다. 자세한 내용은 파이프라인 및 작업 다시 실행을 참조하세요.
2022년 6월 사용자 정의 함수 GA 매핑 데이터 흐름의 UDF(사용자 정의 함수)가 이제 GA(일반 공급)되었습니다.

데이터베이스 템플릿 및 데이터베이스 디자이너

이 섹션에서는 데이터베이스 템플릿 및 데이터베이스 디자이너의 최근 새로운 기능을 요약합니다.

월 기능 자세한 정보
2022년 7월 업계 템플릿 찾아보기 업계 템플릿을 찾아보고 테이블을 추가하여 고유의 레이크 데이터베이스를 만듭니다. 업계 템플릿을 탐색하는 방법에 대해 자세히 알아보고 빠른 시작: 데이터베이스 템플릿을 활용하여 새 레이크 데이터베이스 만들기를 시작합니다.

개발자 경험

이 섹션에서는 Azure Synapse Analytics 개발자를 위한 최근의 새로운 삶의 질 및 기능 개선 사항을 요약합니다.

월 기능 자세한 정보
2023년 5월 Synapse Workspaces와 함께 Azure DevOps를 사용하여 프로덕션 환경에서 핫픽스 만들기 진행 중인 개발 프로젝트에 부정적인 영향을 주지 않고 개발 Synapse 작업 영역의 수정 사항을 프로덕션 Synapse 작업 영역에 배포하는 방법에 대한 블로그 게시물입니다.
2022년 12월 MSSparkUtils는 Synapse Spark 내 Swiss Army knife입니다 MSSparkUtils는 Notebook 간에 결과를 공유하는 기능을 포함하여 Microsoft Spark 유틸리티라는 일반적인 작업을 쉽게 수행할 수 있도록 도와주는 기본 제공 패키지입니다.
2022년 9월 작업 영역 아티팩트 게시에 대한 Synapse CICD Synapse Studio를 원본 제어 시스템(예: Azure DevOps Git 또는 GitHub)과 통합하는 것은 협업 및 Azure Synapse에 대한 원본 제어를 제공하기 위해 Synapse Studio의 기본 설정 기능 중 하나로 표시됩니다. Visual Studio 마켓플레이스에는 게시를 자동화하는 Synapse 작업 영역 배포 작업이 있습니다.
2022년 7월 IPython과의 Synapse Notebooks 호환성 Jupyter Notebook의 공식 커널은 IPython이며 이제 Synapse Notebooks에서 지원됩니다. 자세한 내용은 Synapse Notebooks가 이제 IPython과 완전히 호환을 참조하세요.
2022년 7월 Mssparkutils에 이제 spark.stop() 메서드가 있음 새 API mssparkutils.session.stop()이 mssparkutils 패키지에 추가되었습니다. 이 기능은 동일한 Spark 풀에 대해 여러 세션이 실행 중인 경우에 유용합니다. 새 API는 Scala 및 Python에서 사용할 수 있습니다. 자세한 내용은 대화형 세션 중지를 참조하세요.

Machine Learning

이 섹션에서는 Azure Synapse Analytics에서 기계 학습 모델에 대한 최근의 새로운 기능 및 개선 사항을 요약합니다.

월 기능 자세한 정보
2023년 3월 Synapse Analytics에서 OpenAI GPT 사용 Microsoft는 Azure OpenAI를 Azure Cognitive Service로 제공하며 Synapse Spark 내에서 Azure OpenAI의 GPT 모델에 액세스할 수 있습니다.
2022년 11월 R 지원(미리 보기) Azure Synapse Analytics는 현재 미리 보기로 제공되는 Apache Spark에 대한 기본 제공 R 지원을 이제 제공합니다. 예를 들어, CRAN 및 CRAN 스냅샷에서 R 라이브러리를 설치합니다.
2022년 8월 SynapseML v.0.10.0 대규모로 확장 가능한 기계 학습 파이프라인 만들기를 단순화하는 것을 목표로 하는 오픈 소스 라이브러리인 SynapseML v0.10.0(이전의 MMLSpark)의 새로운 릴리스입니다. SynapseML의 최신 추가 기능에 대해 자세히 알아보고 SynapseML을 시작합니다.
2022년 8월 .NET 지원 SynapseML v0.10은 C# 및 F#과 같은 .NET 언어에 대한 완전한 지원을 추가합니다. .NET SynapseML 예는 LightGBMClassifier를 사용한 .NET 예를 참조하세요.
2022년 8월 Azure OpenAI Service 지원 이제 SynapseML을 사용하면 사용자가 OpenAI에서 1,750억 개의 GPT-3(매개 변수 언어 모델)을 활용하여 인간의 패리티에 가까운 텍스트와 코드를 생성하고 완료할 수 있습니다. 자세한 내용은 빅 데이터용 Azure OpenAI를 참조하세요.
2022년 8월 MLflow 플랫폼 지원 SynapseML 모델은 이제 저장, 로드, 배포 및 자동 로깅을 완벽하게 지원하는 MLflow와 통합됩니다.
2022년 8월 바인더의 SynapseML Spark가 처음 사용자에게 위협적일 수 있다는 것을 알고 있지만 바인더 기술을 사용하면 설정, 설치, 인프라 또는 Azure 계정이 필요 없이 바인더에서 SynapseML을 탐색하고 실험할 수 있기 때문에 두려워하지 않습니다.
2022년 6월 분산 심층 신경망 학습(미리 보기) Azure Synapse 런타임에는 분산 학습에 일반적으로 사용되는 Petastorm 및 Horovod와 같은 지원 라이브러리도 포함되어 있습니다. 이 기능은 현재 미리 보기에서 사용할 수 있습니다. Apache Spark 3.1 및 3.2용 Azure Synapse Analytics 런타임에는 이제 TensorFlow 및 PyTorch와 같은 가장 일반적인 딥 러닝 라이브러리에 대한 지원도 포함됩니다. Azure Synapse Analytics GPU 가속 풀 내에서 이러한 라이브러리를 활용하는 방법에 대해 자세히 알아보려면 딥 러닝 자습서을 참조하세요.

샘플 및 지침

이 섹션에서는 Azure Synapse Analytics에 대한 새로운 지침 및 샘플 프로젝트 리소스를 요약합니다.

월 기능 자세한 정보
2023년 5월 Synapse를 사용하여 느린 변경 차원 구현 서버리스 SQL 풀을 사용하여 데이터 레이크 위에 느린 변경 차원 형식 2를 구현하는 방법을 보여 줍니다.
2023년 5월 Azure Synapse 전용 SQL 풀이 포함된 CI 및 CD 이 블로그 문서를 통해 버전 제어, 연속 통합, 배포 및 모범 사례를 사용하여 Azure Synapse 데이터 웨어하우스의 ALM 수명 주기를 관리합니다.
2023년 3월 Snapshot Serengeti를 사용하여 Azure Synapse Analytics에서 데이터 솔루션 만들기 이는 Azure Synapse Analytics에서 엔드투엔드 데이터 분석 및 기계 학습 솔루션을 빌드하는 방법에 대한 4부작 시리즈입니다. 이 솔루션에 사용된 데이터 세트는 대규모 카메라 트랩 이미지 컬렉션으로 구성된 Snapshot Serengeti 데이터 세트입니다.
2023년 3월 KQL(Kusto 쿼리 언어) 소개 이 고객 성공 엔지니어링 블로그 게시물에서는 대량의 구조화, 반구조화, 비구조화(자유 텍스트) 데이터를 분석하는 강력한 쿼리 언어인 KQL(Kusto 쿼리 언어) 소개를 제공합니다.
2023년 3월 Synapse 작업 영역에 대한 사용자 지정 재해 복구 계획 만들기 Synapse 작업 영역에 대한 재해 복구 계획을 만드는 방법에 대한 여러 부분으로 구성된 블로그 시리즈입니다.
2023년 3월 Azure Synapse 연결: 퍼블릭 엔드포인트, 프라이빗 엔드포인트, 관리형 VNet 및 관리형 프라이빗 엔드포인트 인바운드 전용 풀 퍼블릭 엔드포인트 연결, Azure Synapse 프라이빗 엔드포인트, 관리형 VNet 및 관리형 프라이빗 엔드포인트를 포함하여 다양한 네트워킹 옵션에 대한 Azure Synapse 연결에 대해 전문가가 쓴 3부로 구성된 블로그 시리즈입니다.
2023년 2월 Azure Synapse 전용 SQL 풀에 대한 기록 모니터링 대시보드 Azure Metrics 및 Azure Log Analytics를 기반으로 Azure Monitor 통합 문서 템플릿을 사용하여 기록 모니터링을 사용하도록 설정하는 단계의 연습입니다.
2023년 1월 Synapse 서버리스 풀을 사용하여 Data Lake 읽기 OPENROWSET을 사용하여 레이크 내의 경로를 쿼리하거나 외부 테이블을 사용하여 레이크 내의 경로를 쿼리하는 방법에 대한 두 부분으로 구성된 가이드입니다.
2023년 1월 Synapse Spark의 구조적 스트리밍 IoT 디바이스에서 Synapse Spark로 IoT 온도 데이터를 스트리밍 방법의 자세한 예제입니다.
2023년 1월 재해 복구를 위한 Synapse 작업 영역에서 전용 SQL 풀에 대한 DNS 별칭 만들기 전용 SQL 풀(이전의 SQL DW)에 대한 사용자 지정 DNS는 재해 발생 시 클라이언트 프로그램으로 리디렉션을 제공할 수 있습니다.
2022년 12월 Azure Synapse - Data Lake vs. Delta Lake vs. 데이터 레이크하우스 데이터 레이크, 델타 레이크 및 데이터 레이크하우스 용어를 설명하는 새로운 성공 엔지니어링 블로그 게시물을 읽어보세요.
2022년 11월 DEP(데이터 반출 보호)가 Azure Synapse Analytics 파이프라인에 미치는 영향 DEP(데이터 반출 보호)는 Azure Synapse Analytics가 다른 서비스에 연결하는 기능에 대한 추가 제한을 적용할 수 있는 기능입니다.
2022년 11월 Azure Synapse Analytics용 REST API 시작 - Apache Spark 풀 Synapse REST 엔드포인트를 설정 및 사용하는 방법에 대한 지침을 제공하고 REST API에서 지원하는 Apache Spark 풀 작업을 설명합니다.
2022년 11월 Azure Synapse Data Explorer 설명 두 부분으로 구성된 설명자는 Azure Synapse의 Data Explorer 및 Azure Synapse Data Explorer를 사용한 데이터 수집을 설명합니다.
2022년 11월 Synapse Spark Delta 시간 이동 Delta Lake 시간 이동을 사용하면 특정 시점 쿼리 스냅샷을 수행할 수 있거나 잘못된 업데이트를 롤백할 수 있습니다.
2022년 9월 Synapse 전용 SQL 풀(이전의 SQL DW)과 서버리스 SQL 풀의 차이점은 무엇인가요? 전용 및 서버리스 풀과 해당 동시성을 이해합니다. 전용 SQL 풀 및 서버리스 SQL 풀의 기본 개념에서 자세히 알아보세요.
2022년 9월 전용 SQL 풀에서 Delta Lake 읽기 Delta Lake 파일을 전용 SQL 풀로 직접 가져오고 시간 이동과 같은 기능을 지원하는 샘플 스크립트입니다. 자세한 내용은 전용 SQL 풀에서 Delta Lake 읽기를 참조하세요.
2022년 9월 Azure Synapse 고객 성공 엔지니어링 블로그 시리즈 새로운 Azure Synapse 고객 성공 엔지니어링 블로그 시리즈는 Lakehouse 빌드 - Azure Synapse로 Data Lake 전략 구현에 대한 자세한 소개와 함께 시작됩니다.
2022년 6월 Synapse Analytics를 사용한 Azure Orbital 분석 이제 Azure Synapse Analytics와 함께 지리 공간 라이브러리 및 AI 모델을 사용하여 우주 데이터를 추출, 로드, 변환 및 분석하는 엔드투엔드 구현을 보여 주는 Azure Orbital 분석 샘플 솔루션을 제공합니다. 또한 샘플 솔루션은 지리 공간적별 Azure AI 서비스 모델, 파트너의 AI 모델 및 자체 데이터 가져오기 모델을 통합하는 방법을 보여 줍니다.
2022년 6월 Oracle용 마이그레이션 가이드 이제 Oracle에서 Azure Synapse Analytics로의 Microsoft 작성 마이그레이션 가이드를 사용할 수 있습니다. Oracle 마이그레이션을 위한 디자인 및 성능.
2022년 6월 Azure Synapse의 성공적인 설계 Azure Synapse 개념 증명 플레이북은 SQL 또는 Spark 워크로드의 개념 증명 범위, 디자인, 실행 및 평가에 대한 가이드를 제공합니다.
2022년 6월 Teradata용 마이그레이션 가이드 이제 Teradata에서 Azure Synapse Analytics로의 Microsoft 작성 마이그레이션 가이드를 사용할 수 있습니다. Teradata 마이그레이션을 위한 디자인 및 성능.
2022년 6월 IBM Netezza용 마이그레이션 가이드 이제 IBM Netezza에서 Azure Synapse Analytics로의 새로운 Microsoft 작성 마이그레이션 가이드를 사용할 수 있습니다. IBM Netezza 마이그레이션을 위한 디자인 및 성능.

보안

이 섹션에서는 Azure Synapse Analytics의 최근 새로운 보안 기능 및 설정을 요약합니다.

월 기능 자세한 정보
2022년 12월 DEP(데이터 반출 보호)가 Azure Synapse Analytics 파이프라인에 미치는 영향 DEP(데이터 반출 보호)는 Azure Synapse Analytics가 다른 서비스에 연결하는 기능에 대한 추가 제한을 적용할 수 있는 기능입니다.
2022년 8월 시스템 할당 관리 ID를 사용하여 Azure Synapse Spark Notebook 실행 이제 구성 세션 메뉴에서 관리 ID로 실행을 사용하도록 설정하여 시스템 할당 관리 ID(또는 작업 영역 관리 ID)로 Spark Notebooks를 실행할 수 있습니다. 이 기능을 사용하면 파이프라인에서 Notebook을 사용하기 전에 시스템이 할당한 관리 ID를 사용할 때 Notebook이 예상대로 작동하는지에 대한 유효성을 검사할 수 있습니다. 자세한 내용은 Azure Synapse용 관리 ID를 참조하세요.
2022년 7월 Git에 게시하는 데 필요한 권한 변경 이제 Git 모드에서 변경 내용을 커밋하려면 Git 권한과 Synapse Artifact Publisher(Synapse RBAC) 역할만 필요합니다. 자세한 내용은 Synapse Studio의 액세스 제어 적용을 참조하세요.

Azure Synapse 데이터 탐색기(미리 보기)

ADX(Azure Data Explorer)는 로그 및 원격 분석 데이터에 사용 가능한 빠르고 확장성이 우수한 데이터 탐색 서비스입니다. Event Hubs, IoT Hub, Blob 컨테이너에 작성된 Blob 및 Azure Stream Analytics 작업에서 수집을 제공합니다. 이 섹션에서는 Azure Synapse Data Explorer 및 KQL(Kusto 쿼리 언어)의 최근 새로운 기능을 요약합니다. Azure Synapse Data Explorer와 Azure Data Explorer의 차이점은 무엇인가요?에 대해 자세히 알아봅니다.

월 기능 자세한 정보
2023년 4월 Cosmos DB 연결을 통해 Azure Data Explorer DB를 배포하기 위한 ARM 템플릿 이제 시스템 할당 ID, 데이터베이스, Azure Cosmos DB 계정(NoSql), Azure Cosmos DB 데이터베이스, Azure Cosmos DB 컨테이너 및 Cosmos DB 컨테이너와 Kusto 데이터베이스 간의 데이터 연결(시스템 할당 ID 사용)을 사용하여 Azure Data Explorer 클러스터를 신속하게 배포할 수 있는 ARM 템플릿을 사용할 수 있습니다.
2023년 4월 Azure Events Hub에서 ADX 무료 계층으로 데이터 수집 이제 Azure Data Explorer는 ADX 무료 계층에서 Events Hub와의 통합을 지원합니다. 자세한 내용은 Azure Data Explorer를 사용한 무료 Event Hub 데이터 분석을 참조하세요.
2023년 3월 Kusto Data Explorer에서 클러스터 기록 보기 이제 .show queries 및 .show commands-and-queries를 사용하여 Kusto 클러스터에서 실행되는 쿼리 및 명령 기록을 추적하는 것이 더 쉬워졌습니다. 
2023년 3월 Kusto 웹 탐색기의 Amazon S3 지원 이제 KWE(Kusto Web Explorer)의 수집 허브를 통해 원활하게 Amazon S3에서 데이터를 수집할 수 있습니다.
2023년 3월 Plotly 시각적 개체 지원 Plotly 그래프 라이브러리를 사용하여 '렌더링' 연산자를 사용하여 KQL 쿼리에 대한 시각화를 만들거나 ADX 대시보드 빌드 시 대화형으로 만들 수 있습니다.
2023년 2월 ADX 대시보드 정식 출시 Azure Data Explorer 웹 UI를 사용하는 이제 정식 출시된 Azure Data Explorer 대시보드는 데이터 수집부터 시작하여 쿼리를 실행하고 궁극적으로 대시보드를 빌드하는 등 엔드투엔드 데이터를 탐색할 수 있습니다.
2023년 2월 ADX 파일 수집은 최대 1,000개의 파일을 지원합니다 이제 ADX 수집 마법사는 한 번에 최대 1,000개의 파일(이전 10개)을 지원합니다.
2023년 1월 Azure Data Explorer용 Apache Log4j 2 커넥터 Azure Data Explorer용 Apache Log4J 2 싱크는 Log4j 2 로그 데이터를 Azure Data Explorer로 쉽게 스트리밍하도록 개발되었으며, 여기서 실시간으로 로그를 분석, 시각화 및 경고할 수 있습니다. 자세한 내용은 Apache Log4j 및 Azure Data Explorer 시작을 참조하세요.
2023년 1월 ADX에 기존 이벤트 허브 이벤트 수집 이제 ADX는 이벤트 검색 시작 날짜를 통해 ADX 클러스터에서 Event Hubs 데이터 연결을 만들기 전에 존재한 Event Hubs 데이터를 수집할 수 있습니다.
2023년 1월 다변량 변칙 검색 ADX에는 series_decompose_anomalies() 함수를 사용하여 여러 시계열에서 변칙을 검색하기 위한 네이티브 지원이 포함되어 있습니다. 자세한 내용은 다변량 변칙 검색을 참조하세요.
2023년 1월 대시보드에서 조건부 서식 향상 조건부 서식은 변칙 또는 이상값 데이터 요소를 시각적으로 나타내는 데 도움이 됩니다. 이제 조건을 사용하거나 숫자 열에 테마를 적용하거나 숫자가 아닌 열에 불연속 값을 적용하여 시각적 개체의 서식을 지정할 수 있습니다.
2023년 1월 원형 차트 표시를 위한 새 표시 옵션 대시보드에서 원형 차트 시각화를 위한 새로운 표시 옵션을 사용하여 관심 있는 데이터에 집중합니다.
2022년 12월 ADX KWE(Kusto Web Explorer) JPath 뷰어 JPath 표기법은 JSON 문서에서 하나 이상의 요소에 대한 경로를 설명합니다. 새로운 확장된 보기를 사용하여 JSON 텍스트의 특정 요소를 빠르게 가져와 패스 식을 쉽게 복사할 수 있습니다. 예제는 JPath 뷰어를 참조하세요.
2022년 12월 Azure Synapse Data Explorer를 사용하여 데이터 사용량 표시 Azure Synapse Data Explorer에서 데이터를 검색, 사용 및 시각화하는 다양한 방법에 대한 가이드입니다.
2022년 11월 Azure Data Share를 통한 테이블 수준 공유 지원 이제 데이터베이스에서 특정 테이블을 공유할 수 있는 Azure Data Share 인터페이스를 통한 테이블 수준 공유 지원을 추가했습니다. 이러한 지원을 통해 회사 또는 외부 파트너의 사람들과 쉽고 안전하게 데이터를 공유할 수 있습니다.
2022년 11월 Azure Stream Analytics에서 Synapse Data Explorer로 데이터 수집 이제 Streaming Analytics 작업을 사용하여 이벤트 허브에서 데이터를 수집하고 Azure Data Explorer 클러스터로 보내는 기능이 일반 공급됩니다. 자세한 내용은 Azure Stream Analytics에서 Azure Data Explorer로 데이터 수집 및 Azure Stream Analytics에서 ADX 출력을 참조하세요.
2022년 11월 Parse-kv 연산자 새로운 parse-kv 연산자는 문자열 식에서 구조화된 정보를 추출하고 키/값 형식으로 정보를 나타냅니다. RE2 정규식을 통해 지정된 구분 기호, 지정되지 않은 구분 기호 또는 Regex를 사용할 수 있습니다.
2022년 10월 ADX 클러스터의 리더 및 팔로워 Azure Portal의 데이터베이스 페이지를 사용하여 리더를 따르는 팔로워 데이터베이스와 지정된 팔로워의 리더를 쉽게 식별합니다.
2022년 10월 팔로워 데이터베이스 별칭 지정 팔로워 데이터베이스 기능을 사용하면 다른 클러스터에 있는 데이터베이스를 Azure Data Explorer 클러스터에 연결할 수 있습니다. 이제 팔로워 관계를 설정하면서 데이터베이스 이름을 재정의할 수 있습니다.
2022년 10월 OpenTelemetry에서 데이터 수집 OpenTelemetry(OTel)는 공급업체 중립적인 오픈 소스 애플리케이션 가시성 프레임워크입니다. OpenTelemetry 내보내기는 많은 수신기에서 Azure Data Explorer로 데이터 수집을 지원합니다.
2022년 10월 Telegraf에서 데이터 수집 Telegraf는 로그, 메트릭 및 IoT 데이터를 포함한 원격 분석 데이터를 수집, 처리 및 작성하기 위한 오픈 소스, 경량, 최소 메모리 공간 에이전트입니다. Azure Data Explorer 출력 플러그 인은 Telegraf의 커넥터 역할을 하며 다양한 유형의 입력 플러그인에서 Azure Data Explorer로의 데이터 수집을 지원합니다.
2022년 9월 Azure Data Explorer Kusto 에뮬레이터 ADX 에뮬레이터는 ADX 쿼리 엔진 엔드포인트를 공개하는 Docker 이미지입니다. 데이터베이스를 만들고 데이터를 수집하고 쿼리하는 데 이 에뮬레이터를 사용할 수 있습니다. 이 에뮬레이터는 Azure 서비스와 동일한 방식으로 KQL(Kusto 쿼리 언어)을 이해합니다.
2022년 9월 Logstash 커넥터 프록시 구성 ADX(Azure Data Explorer) Logstash 플러그 인을 사용하면 분석을 위해 Logstash의 이벤트를 ADX 데이터베이스로 처리할 수 있습니다. 버전 1.0.5는 이제 HTTP/HTTPS 프록시를 지원합니다.
2022년 9월 Protobuf 형식에 대한 Kafka 지원 ADX Kafka 싱크 커넥터는 Kafka Connect 프레임워크를 활용하고, 최신 업데이트에서 Kafka의 데이터를 JSON, Avro, String 및 Protobuf 형식으로 수집하는 어댑터를 제공합니다. Kafka에서 Azure Data Explorer로 Protobuf 데이터 수집에 대해 자세히 알아보세요.
2022년 9월 깔때기 시각적 개체 깔때기는 고객으로부터 받은 피드백에 따라 Azure Data Explorer 대시보드에 추가한 최신 시각적 개체입니다.
2022년 9월 샘플 앱 생성기의 .NET 및 Node.js 지원 ADX(Azure Data Explorer) 샘플 앱 생성기 마법사는 데이터를 기본 설정 프로그래밍 언어로 수집하고 쿼리하는 작동 앱을 만들 수 있는 도구입니다. 이제 .NET 및 Node.js에서 샘플 앱을 생성하는 기능은 이전에 사용 가능한 옵션인 Java 및 Python과 함께 지원됩니다.
2022년 8월 Kafka 싱크의 Protobuf 지원 Azure Data Explorer Kafka 싱크 - 골드 인증 Confluent 커넥터 - Kafka에서 Azure Data Explorer로 데이터 수집을 지원합니다. 고객이 Protobuf 데이터를 ADX로 가져올 수 있도록 커넥터에 Protobuf 지원이 추가되었습니다.
2022년 8월 Amazon S3에 대한 네이티브 지원 .ingest into ADX 명령은 하나 이상의 클라우드 스토리지 파일에서 데이터를 “끌어와서” 테이블에 데이터를 수집합니다. 이제 명령은 Amazon S3 URL을 지원합니다. 예를 들어 S3에서 연속 데이터 수집을 발표하는 블로그 게시물을 참조하세요.
2022년 8월 ADX 대시보드 포함 ADX 웹 UI 및 대시보드는 IFrame에 포함되고 타사 앱에서 호스트됩니다.
2022년 8월 무료 클러스터 업그레이드 옵션 이제 Azure Data Explorer 무료 클러스터를 전체 클러스터로 업그레이드할 수 있어 저장 한도를 제거하여 데이터를 늘릴 수 있는 더 많은 용량을 확보할 수 있습니다.
2022년 8월 Excel 피벗 테이블에서 최신 ADX 데이터 분석 이제 좋아하는 분석 도구인 Excel 피벗 테이블의 최신 ADX 데이터(Kusto)를 무제한으로 사용할 수 있습니다. 피벗 코드에 의해 생성된 MDX 쿼리는 KQL 문으로 Kusto 백 엔드로 이동하여 피벗에서 필요에 따라 데이터를 집계하고 다시 Excel로 돌아갑니다.
2022년 8월 쿼리 결과 - 값별 색상 지정 쿼리 결과에서 고유한 데이터를 한 눈에 강조 표시하여 특정 열에 대해 동일한 값을 공유하는 행을 시각적으로 그룹화합니다. 결과 탐색 및 값별 색상 지정을 사용하여 선택한 열을 기반으로 행에 색상을 적용합니다.
2022년 8월 웹 탐색기 - 차트에 대한 십자형 지원 ysplit 속성은 이제 많은 차트에 대해 십자형 표시(마우스 포인터를 따라 움직이는 수직선)를 지원합니다.
2022년 7월 Scan 연산자 강력한 scan 연산자는 ADX에서 효율적이고 확장 가능한 프로세스 마이닝 및 시퀀스 분석 및 사용자 분석을 가능하게 합니다. scan를 사용하는 일반적인 시나리오에는 IoT 디바이스에 대한 예방 유지 관리, 유입 경로 분석, 재귀 계산, 알려진 공격 단계를 찾는 보안 시나리오 등이 있습니다.
2022년 7월 Azure Stream Analytics에서 Synapse Data Explorer로 데이터 수집(미리 보기) 이제 Streaming Analytics 작업을 사용하여 이벤트 허브에서 데이터를 수집하고 Azure Portal 또는 ARM 템플릿을 사용하여 Azure Data Explorer 클러스터로 보낼 수 있습니다. 자세한 내용은 Azure Stream Analytics에서 Azure Data Explorer로 데이터 수집을 참조하세요.
2022년 7월 각 y 열에 대한 차트 렌더링 Synapse Web Data Explorer는 이제 각 y 열에 대한 렌더링 차트를 지원합니다. 예제는 Azure Synapse Analytics 2022년 7월 업데이트를 참조하세요.
2022년 6월 Web Explorer 새 홈페이지 새로운 Azure Synapse Web Explorer 홈페이지를 통해 Synapse Web Explorer를 훨씬 더 쉽게 시작할 수 있습니다.
2022년 6월 Web Explorer 샘플 갤러리 Web Explorer 샘플 갤러리는 고객이 로그 데이터, 메트릭 데이터, IoT 데이터 및 기본 빅 데이터 예와 같은 자주 사용되는 Synapse Data Explorer 사용 사례를 활용하는 방법에 대한 엔드투엔드 샘플을 제공합니다.
2022년 6월 Web Explorer 대시보드 드릴스루 기능 이제 Synapse Web Explorer 대시보드에서 드릴스루를 매개 변수로 사용할 수 있습니다.
2022년 6월 Web Explorer의 표준 시간대 설정 이제 Web Explorer의 표준 시간대 설정이 쿼리 결과와 대시보드 모두에 적용됩니다. 표준 시간대를 변경하면 대시보드가 자동으로 새로 고쳐져 선택한 표준 시간대의 데이터가 표시됩니다.

Azure Synapse Link는 데이터를 SQL Server 또는 Azure SQL Database, Azure Cosmos DB 또는 Dataverse에서 Azure Synapse Analytics로 복제하도록 자동화된 시스템입니다. 이 섹션에서는 Azure Synapse Link 기능에 대한 최근 뉴스를 요약합니다.

월 기능 자세한 정보
2023년 3월 Azure Data Explorer GA용 Cosmos DB Synapse Link Azure Data Explorer는 변경 피드를 사용하여 Azure Cosmos DB에서 완전 관리형 데이터 수집을 지원합니다. 이제 관리 프라이빗 엔드포인트 뒤의 Cosmos DB 계정 또는 서비스 엔드포인트를 지원합니다. 자세한 내용은 Azure Cosmos DB에서 Azure Data Explorer로 데이터 수집을 참조하세요.
2023년 1월 Azure Data Explorer 미리 보기용 Cosmos DB Synapse Link Azure Data Explorer는 변경 피드를 사용하여 Azure Cosmos DB에서 완전 관리형 데이터 수집을 지원합니다. 자세한 내용은 Azure Cosmos DB에서 Azure Data Explorer(미리 보기)로 데이터 수집을 참조하세요.
2022년 11월 SQL용 Azure Synapse Link SQL용 Azure Synapse Link는 이제 SQL Server 2022 및 Azure SQL Database 모두에 대해 일반 공급됩니다. SQL용 Azure Synapse Link 기능은 로우 코드를 사용하거나 코드가 없는 거의 실시간 데이터 복제를 SQL 기반 작업 저장소에서 Azure Synapse Analytics로 제공합니다. 운영 저장소에 미치는 영향을 최소화하면서 작동 데이터에 대한 BI 보고를 거의 실시간으로 제공합니다. 자세한 내용은 SQL용 Azure Synapse Link란?을 참조하세요.
2022년 7월 일괄 처리 모드 데이터를 복제하기 위해 연속 또는 일괄 처리 모드를 선택하여 SQL용 Azure Synapse Link에서 비용과 대기 시간 사이에서 결정합니다. 일괄 처리 모드를 사용하면 수집 서비스가 계속 켜져 있는 대신 일괄 처리 로드 중에만 비용을 지불하여 비용을 훨씬 더 절약할 수 있습니다. 일괄 처리는 20분에서 60분 사이에서 선택할 수 있습니다.

Synapse SQL

이 섹션에서는 Azure Synapse Analytics의 SQL 풀에 대한 최근 개선 사항 및 기능을 요약합니다.

월 기능 자세한 정보
2023년 6월 업데이트된 진단 설정 필드 9개의 필드가 전용 SQL 풀 진단 설정 로그에 추가되었습니다.
2023년 3월 Azure Synapse 전용 SQL 풀에 대한 경고 만들기 이 고객 성공 엔지니어링 블로그 게시물에서는 Azure Synapse 전용 SQL 풀에 대한 경고를 구성하는 단계를 제공하고 시작하는 데 도움이 되는 권장 경고를 제공합니다.
2023년 3월 성능 튜닝 Synapse 전용 풀 - 쿼리 수명 주기 이해 이 고객 성공 엔지니어링 블로그 게시물은 성능 최대화를 위한 쿼리 수명 주기 이해에 대해 자세히 설명합니다.
2023년 3월 가장 훌륭하고 최소의 T-SQL 구문 지원 이제 서버리스 SQL 풀과 전용 SQL 풀 모두에서 GREATEST 및 LEAST 함수를 사용할 수 있습니다. 이러한 스칼라 값 함수는 하나 이상의 식 목록에서 최댓값과 최솟값을 반환합니다.
2023년 3월 전용 SQL 풀 GA의 다중 열 배포 이제 기본 테이블을 보다 균일하게 배포하기 위해 여러 열에 테이블을 해시 배포하여 시간 경과에 따른 데이터 기울이기를 줄이고 쿼리 성능을 개선할 수 있습니다. 일반적으로 사용 가능한 기능에 대한 자세한 내용은 CREATE MATERIALIZED VIEW, CREATE TABLE 배포 옵션 또는 CREATE TABLE AS SELECT 배포 옵션의 세 가지 옵션을 참조하세요.
2023년 3월 SSDT를 사용하여 Synapse SQL 서버리스 배포 SqlPackage의 Azure Synapse Analytics 서버리스 SQL 풀에 대한 대망의 지원이 이제 161.8089.0 SqlPackage부터 사용할 수 있습니다. 서버리스 SQL 풀은 추출 및 게시 작업 모두에 대해 지원됩니다.
2023년 2월 전용 SQL 풀에 대한 UTF-8 및 일본어 데이터 정렬 지원 이제 UTF-8 지원과 일본어 데이터 정렬이 모두 전용 SQL 풀에 일반 공급됩니다.
2022년 9월 CSV 데이터 세트의 OPENROWSET에 대한 자동 통계 서버리스 SQL 풀은 OPENROWSET 쿼리에 대한 최적의 쿼리 실행 계획을 보장하기 위해 필요한 경우 CSV 데이터 세트에 대한 통계를 자동으로 만듭니다.
2022년 9월 MERGE T-SQL 구문 T-SQL MERGE 구문은 Synapse T-SQL 라이브러리에 많이 요청된 추가 구문입니다. MERGE는 INSERT/UPDATE/DELETE를 단일 명령문으로 캡슐화합니다. 버전 10.0.17829 이상의 전용 SQL 풀에서 사용할 수 있습니다. 자세한 내용은 MERGE T-SQL 공지 블로그를 참조하세요.
2022년 8월 서버리스 SQL 풀의 Apache Spark Delta Lake 테이블 서버리스 SQL 풀이 Spark 데이터베이스에서 만들어진 Delta Lake 테이블에 액세스하는 기능은 미리 보기 상태입니다. 자세한 내용은 Azure Synapse Analytics 공유 메타데이터 테이블을 참조하세요.
2022년 8월 전용 SQL 풀의 다중 열 배포 이제 기본 테이블을 보다 균일하게 배포하기 위해 여러 열에 테이블을 해시 배포하여 시간 경과에 따른 데이터 기울이기를 줄이고 쿼리 성능을 개선할 수 있습니다. 미리 보기 선택에 대한 자세한 내용은 CREATE TABLE 배포 옵션 또는 CREATE TABLE AS SELECT 배포 옵션을 참조하세요.
2022년 8월 배포 관리자 배포 관리자는 쿼리를 분석하고 쿼리 성능을 개선하기 위해 테이블에 대한 최상의 배포 전략을 권장하는 Azure Synapse 전용 SQL 풀 Gen2의 새로운 미리 보기 기능입니다. 자세한 내용은 Azure Synapse SQL의 배포 관리자를 참조하세요.
2022년 8월 레이크 데이터베이스에 SQL 개체 및 사용자 추가 서버리스 SQL 풀의 레이크 데이터베이스에 대해 새로운 기능(스키마, 뷰, 프로시저, 인라인 테이블 반환 함수 만들기)이 발표되었습니다. Azure Active Directory 도메인의 사용자를 데이터베이스화하고 db_datareader 역할에 할당할 수도 있습니다. 자세한 내용은 Azure Synapse Analytics에서 서버리스 SQL 풀을 사용하여 레이크 데이터베이스 액세스 및 Azure Synapse Analytics에서 SQL 풀을 사용하여 네이티브 외부 테이블 만들기 및 사용을 참조하세요.

자세한 정보

이전 업데이트의 경우 지난 Azure Synapse Analytics 블로그 게시물 또는 Azure Synapse Analytics의 이전 업데이트를 검토합니다.

다음 단계