Copy Metadata FileSystem Dalam Sebuah Folder Ke Tabel Azure SQL Dengan Azure Data Factory

Masalah

Terkadang user dari kita ingin memonitor sumber data yang sudah mereka berikan kepada kita. biasanya dari mereka memonitoring data tersebut ada 2 jenis yaitu nama file dan last modified.

Solusi

Ini pengalaman saya untuk membuatnya dengan Azure Data Factory (ADF). Dalam aktivitas tersebut saya menggunakan beberapa aktivitas yaitu Metadata, For Each, dan Stored Procedure.

• Metadata

aktivitas ini digunakan apabila ingin mengambil Metadata suatu file. metadata sendiri biasanya kita dapatkan seperti dari link ini dan detail seperti dibawah ini:

Get Metadata activity - Azure Data Factory & Azure Synapse

Tipe dari Metada

dalam aktivitas ini kita menggunakan “childItems” dan “lastModified”. sebelumnya membuat “Metadata”,”For Each”, dan “Store Procedure”.

• di ADF membuat activity seperti gambar dibawah ini:

Metada activity and For Each

• in “GetMetadataFile”

END