針對強化學習的關鍵概念和演算法，提供清晰而簡單的說明

　　什麼是強化學習
　　強化學習是學習該做什麼（如何將當前情形映射到動作上），以便最大化一個獎勵訊號數值。學習者不會被告知要採取哪些動作，而是必須透過嘗試來發現哪些動作會產生最大的回報。在最有趣和最具挑戰性的案例中，動作不僅會影響當下的獎勵，同時也會影響下一個情境，並且影響後續所有的獎勵。試誤搜尋和延遲獎勵這兩個特性，是強化學習中的兩個最重要的區別特徵。

　　本書精采內容包括：
　　．涵蓋所有強化學習演算法的核心概念
　　．解決有限馬可夫決策問題的三種基本方法
　　．近似最佳策略進行控制的方式
　　．介紹並分析資格痕跡演算法的機制
　　．強化學習與心理學和神經科學之間的關係
　　．強化學習的相關應用與未來強化學習研究中一些正在進行的前瞻技術

專家推薦

　　＂這本書是強化學習的聖經，鑑於該領域的蓬勃發展，新版特別及時。不管是學生、研究人員、從業人是，只要對強化學習感興趣的人，都應該收藏一本。＂ -Pedro Domingos, 華盛頓大學教授、《大演算》作者

　　＂所有研究強化學習的學者，都曾受到本書第一版的啟發，第二版保證讓大家更滿意。新版的內容大幅增加，新版涵蓋的內容更深更廣，而且依然保留解說簡單直接的特色。＂ -Csaba Szepesvari, 阿爾伯塔大學教授、DeepMind研究科學家

　　＂我推薦這本書給所有想要認識機器學習的人。第二版涵蓋了當今最關鍵的演算法與理論，以實際的應用來解說概念，範圍從控制機器人到如何打敗世界頂尖的棋手，並從心理學與神經科學的角度探討演算法與人類學習之間的基本關連。＂ -Tom Mitchell, 卡內基梅隆大學教授

　　＂強化學習領域的經典之作，強化學習是現代人工智慧的發展基礎。這是一本想要認真研究AI科技的人必讀的書。＂ - Demis Hassabis, DeepMind聯合創始人兼CEO

　　＂第二版的問世恰逢其時，如果您想了解強化學習這個領域，本書是最好的起點。我肯定會將這本書推薦給我的學生以及其他想要了解強化學習的研究人員＂ -- Yoshua Bengio, 《深度學習》作者、蒙特婁大學教授
 

作者簡介

Richard S. Sutton

　　強化學習之父。阿爾伯塔大學計算科學教授和AITF強化學習和人工智能主席，同時也是DeepMind的傑出研究科學家。

Andrew G. Barto

　　馬薩諸塞大學阿姆赫斯特分校電腦與資訊科學學院的榮譽教授。

第二版前言
第一版前言
符號摘要

第1章 導論

Part I 表格式解決方法
第2章 多搖臂式拉霸機
第3章 有限馬可夫決策過程
第4章 動態規劃
第5章 蒙地卡羅方法
第6章 時序差分學習
第7章 n 步自助法
第8章 表格式方法的規劃和學習

Part II 近似解決方法
第9章 on-policy 預測的近似方法
第10章 on-policy 控制的近似方法
第11章 *off-policy 的近似方法
第12章 資格痕跡
第13章 策略梯度方法

Part III 深入觀察
第14章 心理學
第15章 神經科學
第16章 應用和案例研究
第17章 前瞻技術

參考資料與文獻

 

序

　　由本書的第一版出版至今的二十年見證了人工智慧領域的巨大進步, 這在很大程度上得益於機器學習的進步，也包括了強化學習的進步。雖然計算能力的突破是這些進步中的一部分，但理論與演算法上的新進展同樣功不可沒。面對這樣的進步，相較於1998年版本的再版顯得刻不容緩，於是我們在2012年開始了改版計畫。本書第二版的目標與第一版是一致的：針對強化學習的關鍵概念和演算法提供清晰而簡單的說明。這個版本依然是將重點專注於核心線上學習演算法，同時涵蓋一些日漸重要的新主題。