Apa itu Azure Machine Learning?

Azure Pembelajaran Mesin adalah layanan cloud untuk mempercepat dan mengelola siklus hidup proyek pembelajaran mesin (ML). Profesional ML, ilmuwan data, dan insinyur dapat menggunakannya dalam alur kerja sehari-hari mereka untuk melatih dan menyebarkan model dan mengelola operasi pembelajaran mesin (MLOps).

Anda dapat membuat model di Pembelajaran Mesin atau menggunakan model yang dibangun dari platform sumber terbuka, seperti PyTorch, TensorFlow, atau scikit-learn. Alat MLOps membantu Anda memantau, melatih ulang, dan menyebarkan ulang model.

Azure Machine Learning dimaksudkan untuk siapa?

Pembelajaran Mesin adalah untuk individu dan tim yang menerapkan MLOps dalam organisasi mereka untuk membawa model ML ke dalam produksi di lingkungan produksi yang aman dan dapat diaudit.

Ilmuwan data dan insinyur ML dapat menggunakan alat untuk mempercepat dan mengotomatiskan alur kerja sehari-hari mereka. Pengembang aplikasi dapat menggunakan alat untuk mengintegrasikan model ke dalam aplikasi atau layanan. Pengembang platform dapat menggunakan sekumpulan alat yang kuat, didukung oleh API Azure Resource Manager yang tahan lama, untuk membangun alat ML tingkat lanjut.

Perusahaan yang bekerja di cloud Microsoft Azure dapat menggunakan keamanan yang familier dan kontrol akses berbasis peran untuk infrastruktur. Anda dapat menyiapkan proyek untuk menolak akses ke data yang dilindungi dan memilih operasi.

Produktivitas untuk semua orang di tim

Proyek ML sering memerlukan tim dengan set keterampilan yang bervariasi untuk membangun dan memelihara. Pembelajaran Mesin memiliki alat yang membantu Memungkinkan Anda untuk:

• Berkolaborasi dengan tim Anda melalui notebook bersama, sumber daya komputasi, komputasi tanpa server, data, dan lingkungan

• Mengembangkan model untuk kewajaran dan keterjelaskan, pelacakan dan auditabilitas untuk memenuhi persyaratan kepatuhan silsilah data dan audit

• Menyebarkan model ML dengan cepat dan mudah dalam skala besar, serta mengelola dan mengaturnya secara efisien dengan MLOps

• Menjalankan beban kerja pembelajaran mesin di mana saja dengan tata kelola, keamanan, dan kepatuhan bawaan

Alat platform yang kompatibel silang yang memenuhi kebutuhan Anda

Siapa pun di tim ML dapat menggunakan alat pilihan mereka untuk menyelesaikan pekerjaan. Baik Anda menjalankan eksperimen cepat, penyetelan hiperparameter, membangun alur, atau mengelola inferensi, Anda dapat menggunakan antarmuka yang sudah dikenal termasuk:

• Studio Azure Pembelajaran Mesin
• Python SDK (v2)
• Azure CLI (v2)
• REST API Azure Resource Manager

Saat Menyempurnakan model dan berkolaborasi dengan orang lain di seluruh siklus pengembangan Pembelajaran Mesin lainnya, Anda dapat berbagi dan menemukan aset, sumber daya, dan metrik untuk proyek Anda di antarmuka pengguna studio Pembelajaran Mesin.

Studio

Pembelajaran Mesin studio menawarkan beberapa pengalaman penulisan tergantung pada jenis proyek dan tingkat pengalaman ML Anda sebelumnya, tanpa harus menginstal apa pun.

• Notebooks: Tulis dan jalankan kode Anda sendiri di server Jupyter Notebook terkelola yang terintegrasi langsung di studio.

• Memvisualisasikan metrik eksekusi: Menganalisis dan mengoptimalkan eksperimen Anda dengan visualisasi.

  

• Perancang Azure Pembelajaran Mesin: Gunakan perancang untuk melatih dan menyebarkan model ML tanpa menulis kode apa pun. Seret dan letakkan himpunan data serta komponen untuk membuat alur ML.

• UI pembelajaran mesin otomatis: Pelajari cara membuat eksperimen ML otomatis dengan antarmuka yang mudah digunakan.

• Pelabelan data: Gunakan pelabelan data Pembelajaran Mesin untuk mengoordinasikan pelabelan gambar atau proyek pelabelan teks secara efisien.

Kesiapan perusahaan dan keamanan

Pembelajaran Mesin terintegrasi dengan platform cloud Azure untuk menambahkan keamanan ke proyek ML.

Integrasi keamanan meliputi:

• Azure Virtual Networks dengan kelompok keamanan jaringan.
• Azure Key Vault, tempat Anda dapat menyimpan rahasia keamanan, seperti informasi akses untuk akun penyimpanan.
• Azure Container Registry disiapkan di belakang jaringan virtual.

Untuk informasi selengkapnya, lihat Tutorial: Menyiapkan ruang kerja yang aman.

Integrasi Azure untuk solusi lengkap

Integrasi lain dengan layanan Azure mendukung proyek ML dari ujung ke ujung. Meliputi:

• Azure Synapse Analytics, yang digunakan untuk memproses dan mengalirkan data dengan Spark.
• Azure Arc, tempat Anda dapat menjalankan layanan Azure di lingkungan Kubernetes.
• Opsi penyimpanan dan database, seperti Azure SQL Database dan Azure Blob Storage.
• Azure App Service, yang dapat Anda gunakan untuk menyebarkan dan mengelola aplikasi yang didukung ML.
• Microsoft Purview, yang memungkinkan Anda menemukan dan membuat katalog aset data di seluruh organisasi Anda.

Alur kerja proyek pembelajaran mesin

Biasanya, model dikembangkan sebagai bagian dari proyek dengan tujuan dan tujuan. Proyek sering kali melibatkan lebih dari satu orang. Saat Anda bereksperimen dengan data, algoritma, dan model, pengembangan bersifat berulang.

Siklus hidup proyek

Siklus hidup proyek dapat bervariasi menurut proyek, tetapi sering terlihat seperti diagram ini.

Ruang kerja mengatur proyek dan memungkinkan kolaborasi bagi banyak pengguna yang bekerja beriringan untuk mencapai tujuan bersama. Pengguna di ruang kerja dapat dengan mudah berbagi hasil eksekusi mereka dari eksperimen di antarmuka pengguna studio. Atau mereka dapat menggunakan aset versi untuk pekerjaan seperti lingkungan dan referensi penyimpanan.

Untuk informasi lebih lanjut, lihat Mengelola ruang kerja Azure Machine Learning.

Ketika proyek siap untuk operasionalisasi, pekerjaan pengguna dapat diotomatisasi dalam alur ML dan dipicu sesuai jadwal atau permintaan HTTPS.

Anda dapat menyebarkan model ke solusi inferensi terkelola, untuk penyebaran real time dan batch, mengabstraksi manajemen infrastruktur yang biasanya diperlukan untuk menyebarkan model.

Latih model

Dalam Azure Machine Learning, Anda dapat menjalankan skrip pelatihan di cloud atau membangun model dari awal. Pelanggan sering membawa model yang telah mereka bangun dan latih dalam kerangka kerja sumber terbuka sehingga mereka dapat mengoprasionalkannya di cloud.

Terbuka dan dapat dioperasikan

Ilmuwan data dapat menggunakan model pada Azure Machine Learning yang telah mereka buat dalam kerangka kerja Python umum, seperti:

• PyTorch
• TensorFlow
• scikit-learn
• XGBoost
• LightGBM

Bahasa dan kerangka kerja lain juga didukung:

• R
• .NET

Untuk informasi selengkapnya, lihat Integrasi sumber terbuka dengan Azure Pembelajaran Mesin.

Fiturisasi dan pilihan algoritma otomatis

Dalam proses berulang yang memakan waktu, dalam ML klasik, ilmuwan data menggunakan pengalaman dan intuisi sebelumnya untuk memilih fiturisasi dan algoritma data yang tepat untuk pelatihan. ML Otomatis (AutoML) mempercepat proses ini. Anda dapat menggunakannya melalui antarmuka pengguna studio Pembelajaran Mesin atau Python SDK.

Untuk informasi selengkapnya, lihat Apa itu pembelajaran mesin otomatis?.

Optimasi hiperparameter

Optimasi hiperparameter, atau penyetelan hiperparameter, dapat menjadi tugas yang membosankan. Pembelajaran Mesin dapat mengotomatiskan tugas ini untuk perintah berparameter arbitrer dengan sedikit modifikasi pada definisi pekerjaan Anda. Hasilnya divisualisasikan di studio.

Untuk informasi selengkapnya, lihat Menyetel hiperparameter.

Pelatihan terdistribusi multinode

Efisiensi pelatihan untuk pembelajaran mendalam dan terkadang pekerjaan pelatihan pembelajaran mesin klasik dapat ditingkatkan secara drastis melalui pelatihan terdistribusi multinode. Azure Pembelajaran Mesin kluster komputasi dan komputasi tanpa server menawarkan opsi GPU terbaru.

Didukung melalui Azure Pembelajaran Mesin Kubernetes, azure Pembelajaran Mesin kluster komputasi, dan komputasi tanpa server:

• PyTorch
• TensorFlow
• MPI

Anda dapat menggunakan distribusi MPI untuk Horovod atau logika multinode kustom. Apache Spark didukung melalui komputasi Spark tanpa server dan kumpulan Synapse Spark terlampir yang menggunakan kluster Azure Synapse Analytics Spark.

Untuk informasi selengkapnya, lihat Pelatihan terdistribusi dengan Azure Pembelajaran Mesin.

Pelatihan yang benar-benar paralel

Penskalaan proyek ML mungkin memerlukan penskalaan pelatihan model paralel yang memalukan. Pola ini umum untuk skenario seperti permintaan prakiraan, di mana model mungkin dilatih untuk banyak toko.

Terapkan model

Untuk membawa model ke dalam produksi, Anda menyebarkan model. Titik akhir terkelola Azure Pembelajaran Mesin mengabstraksi infrastruktur yang diperlukan untuk penilaian model batch atau real-time (online) (inferensi).

Penskoran real time dan batch (inferensi)

Penskoran batch, atau inferensi batch, melibatkan permintaan titik akhir dengan referensi ke data. Titik akhir batch menjalankan pekerjaan secara asinkron untuk memroses data secara paralel pada kluster komputasi dan menyimpan data untuk analisis lebih lanjut.

Penilaian real time, atau inferensi online, melibatkan pemanggilan titik akhir dengan satu atau beberapa penyebaran model dan menerima respons mendekati real time melalui HTTPS. Lalu lintas dapat dibagi di beberapa penyebaran, memungkinkan pengujian versi model baru dengan mengalihkan beberapa jumlah lalu lintas awalnya dan meningkat setelah keyakinan pada model baru ditetapkan.

Untuk informasi selengkapnya, lihat:

• Menyebarkan model dengan titik akhir terkelola real time
• Menggunakan titik akhir batch untuk penskoran

MLOps: DevOps untuk pembelajaran mesin

DevOps untuk model ML, sering disebut MLOps, adalah proses untuk mengembangkan model untuk produksi. Siklus hidup model dari pelatihan hingga penyebaran harus bersifat dapat diaudit jika tidak dapat direproduksi.

Siklus hidup model ML

Pelajari lebih lanjut MLOps dalam Azure Machine Learning.

MLOPs yang mengaktifkan integrasi

Pembelajaran Mesin dibangun dengan mengingat siklus hidup model. Anda dapat mengaudit siklus hidup model hingga ke penerapan dan lingkungan tertentu.

Beberapa fitur utama yang mengaktifkan MLOps meliputi:

• git Integrasi.
• Integrasi MLflow.
• Penjadwalan alur pembelajaran mesin.
• Integrasi Azure Event Grid untuk pemicu kustom.
• Kemudahan penggunaan dengan alat CI/CD seperti GitHub Actions atau Azure DevOps.

Pembelajaran Mesin juga mencakup fitur untuk pemantauan dan audit:

• Artefak pekerjaan, seperti rekam jepret kode, log, dan output lainnya.
• Silsilah data antara pekerjaan dan aset, seperti kontainer, data, dan sumber daya komputasi.

Jika Anda menggunakan Apache Airflow, paket airflow-provider-azure-machinelearning adalah penyedia yang memungkinkan Anda mengirimkan alur kerja ke Azure Pembelajaran Mesin dari Apache AirFlow.

Langkah berikutnya

Memulai menggunakan Azure Machine Learning:

• Menyiapkan ruang kerja Azure Machine Learning
• Tutorial: Membangun proyek pembelajaran mesin pertama
• Menjalankan pekerjaan pelatihan