AWSDeepRacer＠Honda杯 #AWS – Qiita

1. とりあえず3Dシミュレータを使って擬似レースを実効してみる

   • 最初はサンプルコードを実行

     • def reward_function(params):
           #############################################################################
           '''
           これは all_wheels_on_track（全ての車輪がトラック上にあるか）と speed（速度）を使った
           シンプルな報酬関数の例
           '''
       
           # 入力パラメータを取得
           # すべての車輪がトラック上にあるかどうか（True/False）
           all_wheels_on_track = params['all_wheels_on_track']
           # 現在の速度（float）
           speed = params['speed']
           
           # この値を基準として、遅すぎる場合にペナルティを与える
           SPEED_THRESHOLD = 1.0
       
           if not all_wheels_on_track:
               # 車がトラック外に出た場合、非常に小さな報酬を与える
               reward = 1e-3
           elif speed 

   • 学習中に出力される動画のスクショ
     
   • 学習のベースコースは大会で使用される「AtoZコース」を使用
     

2. 強化学習の精度を高める

3. 色々試してみる

   • 単純に速度重視、角度重視、操作数重視、センターライン重視と色々を考えて試してみた
   • 結論から言うと、1周あたり10秒以上となりあまりいい効果は得られなかった
   • チームメンバと情報交換し、操作数が少なければ少ないほど最適なコース選択して、最速な自立走行をしてくれる可能性があると話し合った

4. 学習ログの視覚化

   • どこに注目してるか、走行軌跡、イテレーションごとの報酬などがグラフや画像で可視化
     
     
     

大会前日