概要
強化学習の基礎理論からDQN、さらにはDouble DQNやDRQNといった発展的手法までを、数式と直感的な概念の両面から整理した学習記録。
詳細内容
本書の読書メモとして、強化学習の根幹となる概念が体系的にまとめられています。主な内容は以下の通りです。まず4〜5章では、報酬和の最大化という目的や、ベルマン方程式に基づくQ学習のアルゴリズム（更新則、イプシロン・グリーディー法）を解説。6〜7章では、ニューラルネットワークを用いたnetQ（DQNの原型）における教師データ作成の特異点や、学習の不安定さを解消するためのExperience Replay（データの偏り抑制）とTarget Network（目標値の固定）の重要性を説いています。8章では、Q値の過大評価を防ぐDouble DQNや、部分観測マルコフ決定過程（POMDP）に対応するためのDRQN（LSTMの導入）といった実用的な改良手法に触れており、モデルフリー強化学習の基礎から応用への流れを俯瞰できる内容となっています。