本書是一本易學易懂的神經網絡教材，主要討論網絡結構、學習規則、訓練技巧和工程應用，緊緊圍繞“設計”這一視角組織材料和展開講解，強調基本原理和訓練方法，概念清晰，數學論述嚴謹，包含豐富的實例和練習，並配有課件和MATLAB演示程序。本書要求讀者俱備線性代數、概率論和微分方程的基礎知識，可作為高年級本科生或一年級研究生的神經網絡導論課程教材，也可供有興趣的讀者自學或參考。

 


馬丁 T.哈根（Martin T.Hagan），俄克拉荷馬州立大學電子與計算機工程學院教授，MATLAB神經網絡工具箱的開發者之一。
 

霍華德 B.德姆斯（Howard B.Demuth），曾任職於洛斯阿拉莫斯國家實驗室，參與設計了世界上最早的計算機之一MANIAC。
 

馬克 H.比勒（Mark H.Beala），專注人工智能算法和軟件開發技術的軟件工程師，同時提供相關技術諮詢服務。
 

奧蘭多·德·赫蘇斯（Orlando De Jesus），資深工程顧問，他的論文為MATLAB工具箱的動態網絡訓練算法奠定了基礎。


譯者序

前言

第1章引言1

1.1目標1

1.2歷史1

1.3應用3

1.4生物學啟示4

1.5擴展閱讀5

第2章神經元模型及網絡結構8

2.1目標8

2.2理論與例子8

2.2.1記號8

2.2.2神經元模型8

2.2.3網絡結構11

2.3小結15

2.4例題17

2.5結束語18

2.6習題18

第3章一個說明性的實例20

3.1目標20

3.2理論與例子20

3.2.1問題描述20

3.2.2感知機21

3.2.3Hamming網絡23

3.2.4Hopfield網絡26

3.3結束語27

3.4習題28

第4章感知機學習規則31

4.1目標31

4.2理論與例子31

4.2.1學習規則31

4.2.2感知機結構32

4.2.3感知機的學習規則35

4.2.4收斂性證明39

4.3小結41

4.4例題42

4.5結束語48

4.6擴展閱讀49

4.7習題49

第5章信號與權值向量空間53

5.1目標53

5.2理論與例子53

5.2.1線性向量空間53

5.2.2線性無關54

5.2.3生成空間55

5.2.4內積56

5.2.5範數56

5.2.6正交性56

5.2.7向量展開式58

5.3小結60

5.4例題61

5.5結束語66

5.6擴展閱讀67

5.7習題67

第6章神經網絡中的線性變換71

6.1目標71

6.2理論與例子71

6.2.1線性變換71

6.2.2矩陣表示72

6.2.3基變換74

6.2.4特徵值與特徵向量76

6.3小結79

6.4例題79

6.5結束語85

6.6擴展閱讀85

6.7習題86

第7章有監督的Hebb學習90

7.1目標90

7.2理論與例子90

7.2.1線性聯想器91

7.2.2Hebb規則91

7.2.3偽逆規則93

7.2.4應用95

7.2.5Hebb學習的變形96

7.3小結97

7.4例題98

7.5結束語105

7.6擴展閱讀105

7.7習題106

第8章性能曲面和最優點108

8.1目標108

8.2理論與例子108

8.2.1泰勒級數108

8.2.2方嚮導數110

8.2.3極小點111

8.2.4優化的必要條件113

8.2.5二次函數114

8.3小結119

8.4例題120

8.5結束語127

8.6擴展閱讀127

8.7習題128

第9章性能優化131

9.1目標131

9.2理論與例子131

9.2.1最速下降法131

9.2.2牛頓法136

9.2.3共軛梯度法139

9.3小結142

9.4例題142

9.5結束語150

9.6擴展閱讀150

9.7習題151

第10章Widrow—Hoff學習153

10.1目標153

10.2理論與例子153

10.2.1ADALINE網絡153

10.2.2均方誤差154

10.2.3LMS算法156

10.2.4收斂性分析157

10.2.5自適應濾波器159

10.3小結164

10.4例題165

10.5結束語174

10.6擴展閱讀174

10.7習題175

第11章反向傳播179

11.1目標179

11.2理論與例子179

11.2.1多層感知機179

11.2.2反向傳播算法182

11.2.3例子186

11.2.4批量訓練和增量訓練188

11.2.5使用反向傳播188

11.3小結192

11.4例題193

11.5結束語201

11.6擴展閱讀201

11.7習題202

第12章反向傳播算法的變形210

12.1目標210

12.2理論與例子210

12.2.1反向傳播算法的缺點210

12.2.2反向傳播算法的啟發式改進215

12.2.3數值優化技術218

12.3小結226

12.4例題228

12.5結束語235

12.6擴展閱讀236

12.7習題237

第13章泛化241

13.1目標241

13.2理論與例子241

13.2.1問題描述242

13.2.2提升泛化能力的方法243

13.3小結257

13.4例題258

13.5結束語265

13.6擴展閱讀265

13.7習題266

第14章動態網絡270

14.1目標270

14.2理論與例子270

14.2.1分層數字動態網絡271

14.2.2動態學習的基本原則273

14.2.3動態反向傳播276

14.3小結288

14.4例題290

14.5結束語296

14.6擴展閱讀296

14.7習題297

第15章競爭網絡302

15.1目標302

15.2理論與例子302

15.2.1Hamming網絡303

15.2.2競爭層304

15.2.3生物學中的競爭層307

15.2.4自組織特徵圖308

15.2.5學習向量量化310

15.3小結314

15.4例題315

15.5結束語322

15.6擴展閱讀322

15.7習題323

第16章徑向基網絡329

16.1目標329

16.2理論與例子329

16.2.1徑向基網絡329

16.2.2訓練RBF網絡333

16.3小結343

16.4例題344

16.5結束語347

16.6擴展閱讀347

16.7習題348

第17章實際訓練問題352

17.1目標352

17.2理論與例子352

17.2.1訓練前的步驟353

17.2.2網絡訓練359

17.2.3訓練結果分析362

17.3結束語368

17.4擴展閱讀368

第18章實例研究1：函數逼近370

18.1目標370

18.2理論與例子370

18.2.1智能傳感系統描述370

18.2.2數據收集與預處理371

18.2.3網絡結構選擇372

18.2.4網絡訓練372

18.2.5驗證373

18.2.6數據集374

18.3結束語375

18.4擴展閱讀375

第19章實例研究2：概率估計376

19.1目標376

19.2理論與例子376

19.2.1CVD過程描述376

19.2.2數據收集與預處理377

19.2.3網絡結構選擇378

19.2.4網絡訓練379

19.2.5驗證381

19.2.6數據集382

19.3結束語382

19.4擴展閱讀383

第20章實例研究3：模式識別384

20.1目標384

20.2理論與例子384

20.2.1心肌梗死識別問題描述384

20.2.2數據收集與預處理384

20.2.3網絡結構選擇387

20.2.4網絡訓練387

20.2.5驗證388

20.2.6數據集389

20.3結束語390

20.4擴展閱讀390

第21章實例研究4：聚類391

21.1目標391

21.2理論與例子391

21.2.1森林覆蓋問題描述391

21.2.2數據收集與預處理392

21.2.3網絡結構選擇392

21.2.4網絡訓練393

21.2.5驗證394

21.2.6數據集396

21.3結束語396

21.4擴展閱讀396
 

第22章 實例研究5：預測398

22.1目標398

22.2理論與例子398

22.2.1磁懸浮系統描述398

22.2.2數據收集與預處理399

22.2.3網絡結構選擇399

22.2.4網絡訓練401

22.2.5驗證402

22.2.6數據集404

22.3結束語404

22.4擴展閱讀405
 

附錄A參考文獻406

附錄B記號413

附錄C軟件417

索引420


譯者序Neural Network Design，Second Edition多年前，因要給研究生講授神經網絡這門課，我選擇了本書第1版作為教材。當時神經網絡的書五花八門，要從眾多書中選擇一本合適的教材並非易事。最終選擇這本書的一個重要原因是：本書是難得的數學上比較嚴謹、完整的神經網絡教科書。我們曾用本書為多屆研究生講授神經網絡，許多學生反映該書易學易懂。

本書內容涵蓋了神經網絡領域的許多基礎理論。除了嚴謹的數學論述外，本書另一個重要特點是從神經網絡設計的角度闡述方法，使得學生能夠快速理解神經網絡的本質。書中提供了大量的例題解析、課後練習等。此外，書中還敘述了一些神經網絡的相關歷史，讀來有趣。

感謝機械工業出版社邀請我們翻譯本書第2版。和第1版相比，第2版增加了不少新的內容。同時，第1版優秀的中譯本也為我們翻譯第2版提供了非常有價值的參考。在此，我們要向第1版的譯者致以深深的感謝！

參加本書翻譯的人員有四川大學章毅、陳媛媛、賀喆南、郭際香、於佳麗、彭璽、陳盈科、張海仙、羅川、呂建成、張蕾、彭德中、桑永勝、陳杰、屈鴻、毛華，以及實驗室許多在讀博士生如高振濤、戚曉峰等。本書內容較多，翻譯時間倉促，難免有不足之處，懇請讀者批評指正！

譯者2017年12月於成都