線上視頻技術可以算作較為專業的領域，本書重在給出技術的線索、問題背景、認知脈絡以及技術之間的聯繫，而非描述每一技術的細節，旨在説明視頻公司的技術人員構建包括音視頻技術和各類通用技術在內的，較為完整的技術圖景。

本書前半部分著重介紹線上視頻行業的基礎——音視頻技術，從行業的歷史、檔案格式、標準組織開始，依次介紹了音視頻技術的框架、編碼、流媒體、播放等知識，並討論了最近幾年視頻公司所關注的許多前沿技術。
 
後半部分逐一談及技術體系中的其他重要環節和它們在視頻服務中的應用，包括服務與資料、演算法、推薦與廣告、整體架構，乃至技術團隊建設等話題。

本書適合已具備基本研發技能的工程師、專案經理等讀者閱讀。希望通過本書可以説明讀者快速建立線上視頻領域內所需的知識體系，進一步拓展眼界，上升到新的高度。

曉成，先後供職於摩托羅拉、微軟、Real Networks等知名企業，現任Hulu首席架構師，負責音視頻相關的鏈路設計、資料服務設計、人工智慧演算法與平臺設計等工作。

作者在工程研發上有近二十年經歷，其中超過十三年的音視頻經驗，在職業生涯中參與並主導過多個具有影響的音視頻產品或服務，亦曾領導過服務 數億使用者的開源軟體社區，近年來注重與人工智慧相關的設計與應用，於理念上追求技術深度和梯隊培養，所帶出的工程師中當前已有多人在一二線互聯網公司，軟 件公司擔任音視頻或人工智慧等團隊核心甚至負責人。

第 1章 線上視頻行業 1
1．1 概述 1
1．2 視頻技術：歷史 6
技術與產品驅動 6
服務構建生活 12
中國引領創新 19
形形色色的玩家 23
1．3 常見檔與編碼格式 27
上古時代 28
“現代”格式 33
獨樹一幟 41
1．4 “幕後黑手”：標準組織 43
ISO/IEC MPEG 43
ITU-T VCEG 44
IETF和RFC 45
DASH-IF 46
小結 47
第 2章 音視頻技術：框架 50
2．1 太祖長拳和岳家散手：DIRECTSHOW和MEDIAFOUNDATION 50
GraphEdit，DirectShow架構和常見應用的流程 52
應用和元件開發 56
MediaFoundation 58
2．2 全真武功：HELIX 60
產品系列 60
設計架構 63
特色技術 64
2．3 九陰真經：FFMPEG 67
編譯與安裝 68
FFMpeg工具使用 69
運用FFMpeg進行開發 73
2．4 小無相功：GSTREAMER 74
Gstreamer架構體系 75
Gstreamer的安裝與工具使用 78
應用開發 81
外掛程式開發 82
2．5 圓月彎刀：VIDEOLAN 84
附：x264和x265 87
2．6 倚天劍、屠龍刀：ANDROID MEDIA和AVFOUNDATION 88
Android Media 89
AVFoundation 93
第3章 音視頻技術：編碼 95
3．1 編碼技術概述 95
視頻編碼面臨的問題 95
視頻編碼的思路 99
視頻編碼的發展 105
音訊編碼 107
3．2 從圖像壓縮開始 108
如何表徵圖像 109
那種格式更好？ 111
直接應用 116
3．3 一統江湖：H．264/AVC 117
編碼架構和主要技術 118
網路封裝 122
出色的實現：x264 124
3．4 全面進化：HEVC/H．265 127
3．5 更高、更快與更強：VP9、AV1與H．266 134
另闢蹊徑：VP9 134
最強編碼：AV1 136
暢想未來：H．266 140
3．6 賞善罰惡：編碼品質評估 142
3．7 難尋敵手：AAC/HE-AAC 149
層層遞進的編碼配置 149
多樣化的封裝 151
競爭對手 154
第4章 音視頻技術：流媒體 156
4．1 流媒體技術綜述 156
4．2 不停歇的列車：MPEG2-TS 165
MPEG-TS協議 165
MPEG-TS的應用 169
4．3 雙向多車道：RTSP協議 171
RTSP協議 171
RTP、RTCP與SDP 174
4．4 高速鐵路：RTMP協議 177
RTMP協議 178
RTMP的應用 181
4．5 快遞物流：HLS、HDS與SMOOTH STREAMING協議 183
HLS協議 183
HDS與Smooth Streaming 189
4．6 菜鳥網路：MPEG-DASH 192
MPEG-DASH協議 194
協定應用 202
4．7 物流中心：流媒體伺服器 205
流媒體伺服器的功能與挑戰 206
高性能伺服器技術 212
4．8 物流服務：CDN 220
CDN的基本技術 221
發展趨勢 227
4．9 P2P：小農經濟還是共用經濟？ 228
P2P的基本技術 228
流媒體服務的P2P需求與挑戰 230
第5章 音視頻技術：播放 235
5．1 視頻領域的大保鏢：DRM 235
加密技術 236
DRM原理與應用 238
5．2 新世界的窗口：字幕 245
字幕的格式 246
字幕服務的設計 252
5．3 播放機技術：鳴鑼、開戲！ 253
播放機開發 253
廣泛使用的播放機技術 258
5．4 播放的關鍵指標：QOS 260
QOS的常用指標 261
如何提升QOS 265
第6章 音視頻技術：前沿 268
6．1 新標準、新技術——見兔而顧犬，未為晚也 268
10Bit視頻 268
HDR 269
全景視頻 273
點雲與光場 277
6．2 編碼技術評價——工以利器為助，人以賢友為助 278
PSNR和SSIM的優劣 279
VMAF 281
碼率控制、編解碼速度與測量技術 283
6．3 編碼技術優化——志以成學，學以廣才 288
編碼器的優化使用 288
編碼器改進 293
並行轉碼 295
6．4 流媒體技術優化——千人千面 297
下載策略優化 297
協議與架構優化 301
6．5 編碼與分發，QOS與QOE——不謀全域者，不足謀一城 305
編碼與分發 306
從QOS到QOE 312
6．6 使用影像處理技術——君子善假于物 314
影像處理 314
QC與內容審查 320
第7章 通用技術：服務與資料 324
7．1 伺服器、虛擬化和雲服務：用鳥槍還是排炮？ 324
伺服器與資料中心 324
虛擬化、容器化 328
使用公有雲服務 333
7．2 資料庫與緩存技術：巧婦須為有米之炊 336
追本溯源：什麼是資料庫 336
資料庫的常規使用 339
一個打十個的秘笈：使用緩存 342
7．3 大資料技術：征途是星辰大海 347
大數據的緣起 347
大資料體系的常見方案 352
大資料領域的發展和應用 360
7．4 搜索技術：空氣和水 363
搜尋引擎原理 364
線上視頻服務中的搜索 368
7．5 用戶畫像：知己知彼，百戰不殆 372
概念與來源 373
表達與生成 377
如何搭建用戶畫像體系 380
7．6 資料分析：我思故我在 383
什麼是資料分析 384
資料分析方法 385
資料分析的應用 390
第8章 通用技術：演算法 392
8．1 降維攻擊：機器學習 392
常見的演算法和研究分支 393
機器學習應用 401
8．2 點石成金：深度學習 405
常見的演算法和研究分支 406
深度學習應用 414
8．3 搭建溝通的橋樑：自然語言處理 416
常見的問題和演算法 416
自然語言處理的應用 421
8．4 百聞不如一見：電腦視覺技術 428
常見的問題和演算法 428
電腦視覺的應用 435
8．5 壘土為台：視頻理解 436
面臨的問題和解法 437
視頻理解應用 440
視頻理解系統設計 444
第9章 通用技術：推薦與廣告 449
9．1 推薦技術：天眼窺紅塵 449
傳統推薦技術：協同過濾 450
第二代技術：矩陣分解 454
推薦效果評估 457
第三代技術：基於深度學習的推薦 460
不同的推薦場景 462
構建推薦系統 468
9．2 線上視頻服務中的推薦 471
線上視頻服務的推薦體系 471
Netflix和Youtube的推薦系統 476
他山之石，可以攻玉 482
9．3 線上廣告技術：身是眼中人 484
線上廣告的分類和指標 485
線上廣告的價值鏈條 488
線上廣告的關鍵技術 493
9．4 線上視頻廣告 497
視頻廣告的常見形式 498
視頻廣告的相關技術和標準 499
視頻廣告的後臺架構 504
第 10章 視頻公司技術體系 508
10．1 音視頻方案設計：確立建隊基石 508
選擇方案的原則 508
服務設計的挑戰 511
直播架構設計 514
CDN方案選擇 516
10．2 人工智慧體系：打造明星箭頭 519
人工智慧平臺 520
平臺的主要服務元件 523
大規模人工智慧的挑戰 527
10．3 社交網路與內容獲取：左右護法 531
社交網路 531
內容獲取 537
10．4 視頻服務設計：廟算而勝 540
點播服務流程 541
高水準服務 543
微服務 546
完整的服務體系視圖 552
10．5 研發體系：一切歸因到“人” 554
服務設計與研發體系 555
技術規範 557
服務品質體系 558
安全體系 562
創新 563
第 11章 線上視頻的未來 565
線上視頻的未來 565