這是一部從基礎理論、核心原理、前沿演算法等多個維度系統、全面講解Auto ML、Auto DL、Auto NAS和元學習的著作。

作者是資深的人工智慧專家，大型金融集團科技公司深度學習平臺和Auto ML平臺負責人。

本書得到了IEEE Fellow/ACM傑出科學家/香港科技大學教授楊強教授、騰訊AI Lab副主任俞棟、美國佛羅裡達大學教授李曉林等8位來自企業界、學術界和媒體界的資深專家的一致好評。它既能讓新人理清Auto ML的脈絡，快速上手機器學習，又能讓有經驗的讀者全面掌握Auto ML的知識體系，工作變得更高效。

全書共14章，邏輯上分為四部分：
第一部分（第1~2章）人工智慧基礎
對人工智慧、自動化人工智慧的重要概念、發展歷程及現狀、適用場景、主要的工具和技術等做了全面的介紹，並引出了人工智慧技術未來的發展方向——Auto ML，這部分是閱讀本書的基礎。

第二部分（第3~6章）Auto ML
主要講解機器學習和自動化機器學習，核心是Auto ML，包含自動化特徵工程、自動化模型選擇和自動化超參優化3個方面的內容。

第三部分（第7~13章）Auto DL
主要講解深度學習和自動化深度學習，重點講解了Auto DL的原理、基於強化學習的Auto DL、基於進化演算法的Auto DL、Atuo DL的高階知識、自動化模型壓縮與加速，以及各種核心演算法和前沿演算法。

第四部分（第14章）元學習
元學習是人工智慧的理想目標，這部分對元學習的概念、流程和各種主流的學習方法都進行了詳盡的介紹。
 
 

王健宗
大型金融集團科技公司深度學習平臺和Auto ML平臺負責人，中國人工智慧開源軟體發展聯盟副理事長，美國佛羅裡達大學人工智慧博士後，曾任美國萊斯大學電子與電腦工程系研究員，專注於聯邦學習和人工智慧在金融、保險、投資、銀行和醫療等領域的研發工作，發表聯邦學習、深度學習、雲計算和大資料等領域國際論文30餘篇，以及發明專利200餘項。多屆國內知名大資料、人工智慧、金融科技和聯邦學習會議/論壇主席和出品人。

瞿曉陽
華中科技大學電腦系統結構博士，美國中佛羅裡達大學訪問學者，大型金融集團科技公司資深演算法工程師，一直從事機器學習、大資料、體系結構方面的研究工作，在Auto ML平臺、面向AI的雲原生架構、高性能計算、高效能存儲系統等方面經驗豐富。近幾年，在國際頂級會議和頂級期刊發表過多篇文章，擔任過多個國際頂級期刊的評委。
 
 

讚譽
前言
第1章 人工智慧概述1
1.1 全面瞭解人工智慧1
1.1.1 人工智慧定義1
1.1.2 弱人工智慧、強人工智慧與超人工智慧2
1.1.3 人工智慧三大主義3
1.1.4 機器學習與深度學習4
1.2 人工智慧發展歷程5
1.3 深度學習的崛起之路7
1.3.1 人臉識別的起源7
1.3.2 自動駕駛的福音7
1.3.3 超越人類的AI智慧體8
1.3.4 懂你的AI8
1.3.5 奔跑、飛行以及玩遊戲的AI8
1.3.6 人人都可以創造屬於自己的AI8
1.4 深度學習的發展9
1.4.1 電腦視覺9
1.4.2 自然語言處理10
1.4.3 語音辨識11
1.5 下一代人工智慧11
1.6 參考文獻13

第2章 自動化人工智慧14
2.1 AutoML概述14
2.1.1 什麼是自動化14
2.1.2 AutoML的起源與發展15
2.2 AutoML的研究意義17
2.2.1 AutoML的研究動機17
2.2.2 AutoML的意義和作用18
2.3 現有AutoML平臺產品21
2.3.1 穀歌Cloud AutoML21
2.3.2 百度EasyDL23
2.3.3 阿裡雲PAI24
2.3.4 探智立方DarwinML28
2.3.5 第四範式AI ProphetAutoML29
2.3.6 智易科技30
2.4 參考文獻31

第3章 機器學習概述32
3.1 機器學習的發展32
3.1.1 “機器學習”名字的由來32
3.1.2 “機器學習”的前世今生33
3.1.3 “機器學習”的理論基礎34
3.2 機器學習的實現方法36
3.2.1 分類問題36
3.2.2 回歸問題38
3.2.3 聚類問題39
3.3 自動化機器學習40
3.3.1 機器學習面臨的問題40
3.3.2 為什麼會產生AutoML41
3.4 參考文獻41

第4章 自動化特徵工程43
4.1 特徵工程43
4.1.1 什麼是特徵43
4.1.2 什麼是特徵工程44
4.2 特徵工程處理方法45
4.2.1 特徵選擇45
4.2.2 數據預處理47
4.2.3 特徵壓縮48
4.3 手工特徵工程存在的問題49
4.4 自動化特徵工程50
4.4.1 什麼是自動化特徵工程50
4.4.2 機器學習和深度學習的特徵工程51
4.5 自動化特徵工程生成方法52
4.5.1 深度特徵合成演算法52
4.5.2 Featuretools自動特徵提取52
4.5.3 基於時序資料的自動化特徵工程56
4.6 自動化特徵工程工具67
4.6.1 自動化特徵工程系統67
4.6.2 自動化特徵工程平臺71
4.7 參考文獻75

第5章 自動化模型選擇76
5.1 模型選擇76
5.2 自動化模型選擇77
5.2.1 基於貝葉斯優化的自動化模型選擇78
5.2.2 基於進化演算法的自動化模型選擇84
5.2.3 分散式自動化模型選擇86
5.2.4 自動化模型選擇的相關平臺92
5.3 自動集成學習94
5.3.1 集成學習基礎94
5.3.2 集成學習之結合策略97
5.3.3 自動化模型集成98
5.4 參考文獻99

第6章 自動化超參優化101
6.1 概述101
6.1.1 問題定義103
6.1.2 搜索空間103
6.1.3 搜索策略103
6.1.4 評價預估104
6.1.5 經驗遷移加速105
6.2 基本方法105
6.2.1 網格搜索105
6.2.2 隨機搜索105
6.3 基於模型的序列超參優化106
6.3.1 代理模型的選擇108
6.3.2 代理模型的更新108
6.3.3 新超參組的選擇109
6.3.4 基於高斯過程回歸的序列超參優化111
6.3.5 基於隨機森林演算法代理的序列超參優化112
6.3.6 基於TPE演算法的序列超參優化114
6.3.7 SMBO的進階技巧114
6.4 基於進化演算法的自動化超參優化115
6.4.1 基於進化策略的自動化超參優化115
6.4.2 基於粒子群演算法的自動化超參優化116
6.5 基於遷移學習的超參優化加速方法117
6.5.1 經驗遷移機制117
6.5.2 經驗遷移衰退機制117
6.5.3 經驗遷移權重機制117
6.5.4 優化過程的試點機制118
6.6 參考文獻118

第7章 深度學習基礎120
7.1 深度學習簡介120
7.1.1 什麼是神經元120
7.1.2 人工神經網路的發展歷程121
7.1.3 深度學習方法123
7.2 卷積神經網路簡介123
7.2.1 卷積層123
7.2.2 池化層125
7.2.3 全連接層126
7.3 CNN經典模型126
7.3.1 LeNet126
7.3.2 AlexNet127
7.3.3 VGGNet128
7.3.4 GoogLeNet129
7.3.5 ResNet130
7.3.6 DenseNet131
7.4 迴圈神經網路132
7.4.1 基本迴圈神經模型132
7.4.2 LSTM模型133
7.4.3 GRU模型134
7.5 參考文獻134

第8章 自動化深度學習概述136
8.1 深度學習vs自動化深度學習136
8.2 什麼是NAS136
8.2.1 問題定義137
8.2.2 搜索策略139
8.2.3 加速方案140
8.3 NAS方法分類140

第9章 基於強化學習的AutoDL142
9.1 強化學習基礎142
9.1.1 強化學習簡介142
9.1.2 基本要素及問題定義144
9.1.3 發展歷史144
9.1.4 基本方法146
9.2 兩類基本模型147
9.2.1 TD經典演算法148
9.2.2 DQN系列演算法149
9.2.3 策略梯度演算法152
9.3 強化學習之Actor-Critic系列154
9.3.1 Actor-Critic演算法154
9.3.2 確定性策略梯度155
9.3.3 深度確定性策略梯度157
9.3.4 非同步優勢Actor-Critic演算法158
9.3.5 近端策略優化160
9.3.6 分散式近端策略優化164
9.4 基於強化學習的自動搜索166
9.5 基本搜索方法166
9.5.1 基於層的搜索166
9.5.2 基於塊的搜索169
9.5.3 基於連接的搜索171
9.6 進階搜索方法173
9.6.1 逆強化學習173
9.6.2 圖超網路174
9.6.3 蒙特卡洛樹搜索175
9.6.4 知識提煉（教師網路）177
9.7 參考文獻179

第10章 基於進化演算法的AutoDL181
10.1 啟發式演算法181
10.1.1 隨機搜索182
10.1.2 近鄰搜索183
10.1.3 進化計算187
10.1.4 啟發式演算法的局限性189
10.2 初代進化演算法190
10.2.1 基本術語190
10.2.2 基礎運算元191
10.2.3 遺傳演算法196
10.2.4 進化策略198
10.2.5 進化規劃199
10.3 其他近代進化演算法200
10.3.1 遺傳程式設計演算法簇200
10.3.2 群體演算法—以PSO為例205
10.3.3 文化基因演算法207
10.3.4 差分進化演算法208
10.3.5 分佈估計演算法208
10.4 進化神經網路209
10.4.1 簡介209
10.4.2 神經網路編碼方式210
10.4.3 競爭約定211
10.4.4 網路結構的創新性212
10.4.5 NAS之進化演算法212
10.5 細細微性的神經進化（NEAT演算法）213
10.5.1 基因編碼214
10.5.2 基因的可追溯性216
10.5.3 通過物種形成保護創新結構216
10.6 粗細微性的神經進化（CoDeep-NEAT演算法）218
10.6.1 DeepNEAT演算法218
10.6.2 CoDeepNEAT演算法219
10.7 block-level的進化220
10.7.1 Genetic CNN演算法220
10.7.2 CGP-CNN方法222
10.8 基於node-level的網路架構進化224
10.8.1 思想簡介224
10.8.2 基本演算法設計225
10.8.3 資訊複用與加速226
10.9 基於NAS搜索空間的網路架構進化227
10.9.1 思想簡介227
10.9.2 基本演算法設計227
10.9.3 資訊複用與加速228
10.10 基於層次拓撲表示的網路進化方法228
10.10.1 思想簡介228
10.10.2 分級表示229
10.10.3 隨機的層次分級進化230
10.11 參考文獻230

第11章 AutoDL高階233
11.1 搜索加速之權值共用法233
11.1.1 ENAS233
11.1.2 基於稀疏優化的NAS235
11.2 基於one-shot模型的架構搜索236
11.2.1 超網路的應用236
11.2.2 基於one-shot的搜索237
11.2.3 實例級架構搜索238
11.2.4 單路徑超網路240
11.3 搜索加速之代理評估模型241
11.3.1 代理模型241
11.3.2 PNAS中的LSTM代理242
11.4 基於網路態射法的神經架構搜索244
11.4.1 網路態射的提出244
11.4.2 什麼是網路態射244
11.4.3 網路態射 迂回爬山法246
11.5 可微分神經架構搜索247
11.5.1 可微分神經架構搜索的來源247
11.5.2 可微分神經架構搜索的方法248
11.6 參考文獻250

第12章 垂直領域的AutoDL252
12.1 AutoCV252
12.1.1 Auto-DeepLab（圖像語義分割）252
12.1.2 隨機連線神經網路257
12.2 AutoVoice261
12.2.1 關鍵字定位問題定義261
12.2.2 隨機自我調整架構搜索原理262
12.2.3 SANAS模型262
12.3 AutoNLP263
12.3.1 什麼是自注意力機制263
12.3.2 初識Transformer模型265
12.3.3 Evolved Transformer結構266
12.4 參考文獻270

第13章 自動化模型壓縮與加速271
13.1 從生物角度看模型壓縮的重要性271
13.1.1 人腦神經元的修剪271
13.1.2 大腦的冗餘性272
13.1.3 修剪的意義273
13.2 模型壓縮發展概述274
13.3 入門級方法：量化技術275
13.3.1 量化技術275
13.3.2 二值化網路276
13.3.3 TensorRT277
13.4 初級方法：修剪法278
13.4.1 修剪法278
13.4.2 修剪與修復279
13.5 中級方法：稀疏化技術281
13.5.1 正則化281
13.5.2 知識精煉281
13.5.3 張量分解281
13.6 高級方法：羽量級模型設計284
13.6.1 簡化卷積操作284
13.6.2 深度可分離卷積285
13.6.3 改進的Inception287
13.7 自動化模型壓縮技術289
13.7.1 AMC演算法289
13.7.2 PocketFlow框架291
13.8 基於AutoDL的羽量級模型292
13.8.1 問題定義292
13.8.2 帕累托最優問題293
13.8.3 進化演算法的應用294
13.8.4 強化學習的應用296
13.8.5 可微分架構搜索298
13.9 參考文獻300

第14章 元學習302
14.1 什麼是元學習302
14.1.1 基本介紹302
14.1.2 經典案例303
14.1.3 深入瞭解元學習304
14.1.4 元學習應用的發展306
14.2 元學習的通用流程306
14.2.1 基本定義306
14.2.2 流程框架306
14.3 從模型評估中學習307
14.3.1 任務無關推薦308
14.3.2 參數空間設計308
14.3.3 參數轉換309
14.3.4 學習曲線310
14.4 從任務屬性中學習310
14.4.1 元特徵310
14.4.2 學習元特徵311
14.4.3 相似任務的暖開機優化311
14.4.4 元模型311
14.4.5 管道合成312
14.4.6 是否調整312
14.5 從先前模型中學習312
14.5.1 遷移學習313
14.5.2 神經網路中的元學習313
14.5.3 小樣本學習314
14.5.4 監督學習之外的方法315
14.6 基於模型的方法316
14.6.1 記憶增強神經網路316
14.6.2 元網路317
14.6.3 模型無關的元學習方法317
14.6.4 利用注意力機制的方法319
14.6.5 基於時間卷積的方法320
14.6.6 基於損失預測的方法321
14.6.7 元強化學習321
14.7 基於度量的方法322
14.7.1 Siamese網路322
14.7.2 匹配網路324
14.7.3 關係網絡324
14.7.4 原型網路325
14.8 基於優化的方法326
14.8.1 基於LSTM網路的元學習者326
14.8.2 未知模型的元學習326
14.8.3 Reptile：可擴展元學習方法327
14.8.4 基於梯度預測的方法327
14.9 參考文獻329
結束語332