數據密集型應用系統設計 | 被動收入的投資秘訣 - 2024年10月

數據密集型應用系統設計

作者:(美)馬丁·科勒普曼
出版社:中國電力
出版日期:2018年09月01日
ISBN:9787519821968
語言:繁體中文

全書分為三大部分:

第一部分,主要討論有關增強資料密集型應用系統所需的若干基本原則。首先開篇第1章即瞄準目標:可靠性、可擴展性與可維護性,如何認識這些問題以及如何達成目標。第2章我們比較了多種不同的資料模型和查詢語言,討論各自的適用場景。接下來第3章主要針對存儲引擎,即資料庫是如何安排磁片結構從而提高檢索效率。第4章轉向資料編碼(序列化)方面,包括常見模式的演化歷程。

第二部分,我們將從單機的資料存儲轉向跨機器的分散式系統,這是擴展性的重要一步,但隨之而來的是各種挑戰。所以將依次討論資料遠端複製(第5章)、資料分區(第6章)以及事務(第7章)。接下來的第8章包括分散式系統的更多細節,以及分散式環境如何達成一致性與共識(第9章)。

第三部分,主要針對產生派生資料的系統,所謂派生資料主要指在異構系統中,如果無法用一個資料來源來解決所有問題,那麼一種自然的方式就是集成多個不同的資料庫、緩存模組以及索引模組等。首先第10章以批次處理開始來處理派生資料,緊接著第11章採用流式處理。第12章總結之前介紹的多種技術,並分析討論未來構建可靠、可擴展和可維護應用系統可能的新方向或方法。

Martin Kleppmann是英國劍橋大學分散式系統方向的研究員。此前,他曾是LinkedIn和Rapportive等互聯網公司的軟體工程師,負責大規模資料基礎設施建設。在此過程中他遇到過一些困難,因此他希望這本書能夠幫助讀者避免重蹈覆轍。Martin還是一位活躍的會議演講者、博主和開源貢獻者。他認為,每個人都應該學習深刻的技術理念,對技術的深入理解能幫助我們開發出更好的軟體。

譯者簡介
趙軍平, 大資料存儲與分析資深開發者與推廣者(EMC 10餘年),GPU異構計算的親歷者。中國電腦協會專家委員,DELL EMC資深架構師。12年系統研發、創新與團隊管理經驗,擅長資料存儲與保護, 雲計算與大資料即時分析,GPU異構加速優化等。相關領域已申請中、美技術專利100余項,並多次在SNIA,LinuxConf,Hadoop Summit, Nvidia GPU Tech Conf等做技術分享,持續關注資料密集和計算密集相關技術的演進、融合與賦能推廣。

呂雲松,北京大學電腦碩士,碩士及DELL EMC中國研究院實習期間專注於大資料即時流式處理相關的研究。現就職于華為2012中軟院黎曼實驗室,主要從事深度學習的研發。

耿煜,DELL EMC架構師兼GTM負責人,致力於推廣企業級數位化轉型方案。深耕分散式架構以及雲計算12年,先後任職於ChinaCache,Sun Microsystems以及EMC等公司。

李三平,美國麻省大學電腦工程專業博士,DELL EMC中國研究院首席科學家,研究方向為機器學習、深度學習、智慧運維、遙感影像等。已在IEEE Transactions期刊和會議上發表論文數十篇,申請美國專利20余項。推崇簡約,熱衷機器學習。

前言
第一部分 資料系統基礎
第1章 可靠、可擴展與可維護的應用系統
認識資料系統
可靠性
可擴展性
可維護性
小結
 
第2章 資料模型與查詢語言
關係模型與文檔模型
資料查詢語言
圖狀資料模型
小結
 
第3章 資料存儲與檢索
資料庫核心:資料結構
交易處理與分析處理9
列式存儲
小結
 
第4章 資料編碼與演化
資料編碼格式
資料流程模式
小結
 
第二部分 分散式資料系統
第5章 資料複製
主節點與從節點
複製滯後問題
多主節點複製
無主節點複製
小結
 
第6章 數據分區
資料分區與資料複製
鍵-值數據的分區
分區與二級索引
分區再平衡
請求路由
小結
 
第7章 事務
深入理解事務
弱隔離級別
序列化
小結
 
第8章 分散式系統的挑戰
故障與部分失效
不可靠的網路
不可靠的時鐘
知識,真相與謊言
小結
 
第9章 一致性與共識
一致性保證
可線性化
順序保證
分散式事務與共識
小結
 
第三部分 派生資料
第10章 批次處理系統
使用UNIX工具進行批次處理
MapReduce與分散式檔案系統
超越MapReduce
小結
 
第11章 流處理系統
發送事件流
資料庫與流
流處理
小結
 
第12章 資料系統的未來
資料集成
分拆資料庫
端到端的正確性
做正確的事情
小結
術語表
 


相關書籍