Microsoft Fabric の AutoML で機械学習を行ってみる #MicrosoftFabric

1. ノートブックの作成

   Fabric 上で [ノートブック] を選択して新しいノートブックを作成します

   

2. レイクハウスの連携

   [エクスプローラー] から [データ項目の追加] を選択し、AutoML での生成物の保存を行うため、レイクハウスを選択します。

   

3. 　Python の入力

   ノートブックのセルに以下のコードを貼り付け、データのロードを行います。合わせてデータを加工します。ここではニューヨークの電力使用量の時系列データを利用しています。

   # Welcome to your new notebook
   # Type here in the cell editor to add code!
   import pandas as pd
   
   # pd.set_option("display.max_rows", None, "display.max_columns", None)
   multi_df = pd.read_csv(
       "https://raw.githubusercontent.com/srivatsan88/YouTubeLI/master/dataset/nyc_energy_consumption.csv"
   )
   
   # preprocessing data
   multi_df["timeStamp"] = pd.to_datetime(multi_df["timeStamp"])
   multi_df = multi_df.set_index("timeStamp")
   multi_df = multi_df.resample("D").mean()
   multi_df["temp"] = multi_df["temp"].fillna(method="ffill")
   multi_df["precip"] = multi_df["precip"].fillna(method="ffill")
   multi_df = multi_df[:-2]  # last two rows are NaN for 'demand' column so remove them
   multi_df = multi_df.reset_index()
   
   
   # Using temperature values create categorical values
   # where 1 denotes daily tempurature is above monthly average and 0 is below.
   def get_monthly_avg(data):
       data["month"] = data["timeStamp"].dt.month
       data = data[["month", "temp"]].groupby("month")
       data = data.agg({"temp": "mean"})
       return data
   
   
   monthly_avg = get_monthly_avg(multi_df).to_dict().get("temp")
   
   
   def above_monthly_avg(date, temp):
       month = date.month
       if temp > monthly_avg.get(month):
           return 1
       else:
           return 0
   
   
   multi_df["temp_above_monthly_avg"] = multi_df.apply(
       lambda x: above_monthly_avg(x["timeStamp"], x["temp"]), axis=1
   )
   
   del multi_df["month"]  # remove temperature column to reduce redundancy
   
   display(multi_df)
   

   加工したデータをレイクハウスにデルタテーブルとして保存します。

   spark_df = spark.createDataFrame(multi_df)
   spark_df = spark_df.orderBy("timeStamp")
   spark_df.write.mode("overwrite").format("delta").save(f"Tables/nyc_energy_consumption")
   print(f"Spark dataframe saved to delta table: nyc_energy_consumption")
   

   実行後、レイクハウスで [最新の情報に更新] を選択することで、Tables の配下に [nyc_energy_consumption] が作成されていることを確認できます。

   

AutoML の実行