時系列データとニューラルネットワークを用いたプラントモデリングとSim2Real強化学習による制御器設計 #AI – Qiita

　　　　　図12　DNNモデルを使用した強化学習で設計した制御器による倒立制御

　図11に物理モデルを使用した場合の実験結果，図12に DNN モデルを使用した場合の実験結果となっています．印加電圧を見ると，DNN モデルよりも物理モデルの方が収束した波形を示していることが分かります．
　また，振子の角度に関しては，物理モデルではほぼ 0 radで倒立状態を維持しているのに対し，DNN モデルは-0.025 rad～0.025 radの範囲で倒立状態を維持していることがわかります．
　したがって，倒立状態を維持する制御器としての性能の観点からでは，物理モデルの方が少ない電圧（エネルギー）で安定した倒立を実現しており，物理モデルを用いた制御の方が優れている結果となってしまいました．

　本手法では，制御対象の数理モデルとして DNN を用いたモデリング手法を提示し，既存の物理モデルよりも高い予測精度を示すことができました．
　さらに，DNN を制御対象の数理モデルとして採用したシミュレーション環境を活用し，強化学習による制御器設計が 可能であることを示しめすことができました．これは，ロボットや情報システム，金融システムなど，既存の数理モデルでは構築が困難な実世界のシステムにおいても，時系列データを取得することで制御器設計が可能となる可能性を示唆することができます．
　一方で課題として，強化学習において制御対象の数理モデルとして DNN モデルを使用した場合よりも，既存の物理モデルを使用した方が性能の高い制御器を設計可能が確認されました．したがって，より性能の高い制御器を設計するためには，多様な時系列データの収集を行い，モデルの精度向上を図ることが重要となります．さらに，DNN モデルを用いたさまざまな強化学習手法による制御器設計の検討が今後の課題となっています．
　最終的には，時系列データから何らか制御を行う手法として，DNN モデルを制御対象の数理モデルとしたシミュレーション環境を活用した強化学習による制御器設計手法の一般化を目指し，さまざまな分野への応用を図ることが本手法の最終的な目標です.

最後まで読んでいただき誠にありがとうございました．

回転型倒立振子の運動方程式
　図13に示す回転型倒立振子の物理モデルは古田振子の一般的な運動方程式を用いて表すことができます．
導出過程はこちらのサイトをご覧ください
LEGO 部品を利用した回転型倒立振子のレシピを公開！（第 3 回：運動方程式 ー MATLAB / Symbolic Math Toolbox)

　　　　　　　　　　　　　　図13 回転型倒立振子モデル

まず，印加電圧$V$により発生する回転トルク$\tau$は次式で表されます．

$$
\tau = k_t \left( \frac{V – k_m \dot{\theta}}{R_m} \right) \quad (4)
$$

回転トルクは印加電圧に比例して増加し，回転アームの角速度$\dot\theta$と逆起電力定数$k_m$の情報による逆起電力により減少します．
次に，ラグランジュの運動方程式を基に得られた回転型倒立振子の運動方程式を次式に示します．

\begin{cases}
\left(J_r + m_p L_r^2 + J_p \sin^2 \alpha \right)\ddot{\theta} 
+ \left(m_p L_r l_p \cos \alpha \right)\ddot{\alpha}
=  \\
\;　　　　　\tau - 2 J_p \dot{\theta} \dot{\alpha} \sin \alpha \cos \alpha
+ m_p L_r l_p \dot{\alpha}^2 \sin \alpha
+ - c_r \dot{\theta}\\
\left(m_p L_r l_p \cos \alpha \right) \ddot{\theta}+ J_p \ddot{\alpha} = \\
\;　　　　　J_p \dot{\theta}^2 \sin \alpha \cos \alpha + m_p g l_p \sin \alpha - c_p \dot{\alpha}
\end{cases}　 
\quad (5)

なお，物理パラメータは製造元Quanserが公表している特性表を参照しています．

　　　　　　　　　表2　回転型倒立振子システムの物理パラメータ