手做一個(gè)迷你CDN？http_study之Nginx proxy_cache緩存完整實(shí)戰(zhàn))
如何自己動(dòng)手做一個(gè)迷你CDNhttp_study之Nginx proxy_cache緩存完整實(shí)戰(zhàn)【免費(fèi)下載鏈接】http_studyfollow me to study http項(xiàng)目地址: https://gitcode.com/gh_mirrors/ht/http_studyhttp_study是《透視HTTP協(xié)議》的配套開源項(xiàng)目基于 OpenRestyNginx 的 Lua 版增強(qiáng)體帶你從零搭建一個(gè)可實(shí)測的迷你 CDN用 Nginx 的proxy_cache代理緩存把回源流量擋在邊緣配合共享內(nèi)存統(tǒng)計(jì)實(shí)時(shí)緩存命中率。本文帶你完整走一遍環(huán)境準(zhǔn)備 → 配置 CDN 緩存 → 驗(yàn)證 HIT/MISS的全流程。什么是迷你CDN緩存原理一圖看懂真實(shí) CDN 的本質(zhì)是邊緣節(jié)點(diǎn)緩存源站內(nèi)容用戶就近訪問緩存副本。http_study 用一臺機(jī)器模擬了這套架構(gòu)角色域名職責(zé)CDN 邊緣節(jié)點(diǎn)www.chrono.com接收用戶請求proxy_cache緩存命中則直接返回源站Originorigin.io生成帶服務(wù)器 ID的內(nèi)容只有緩存未命中時(shí)才會被打到 兩個(gè)域名都解析到127.0.0.1見項(xiàng)目根目錄hosts文件用本地回環(huán) 域名區(qū)分模擬真實(shí)的邊緣 源站部署這正是理解 CDN 最快的方式。環(huán)境準(zhǔn)備最快啟動(dòng) OpenResty 環(huán)境項(xiàng)目內(nèi)置 Docker 方案基于 ubuntu 18.04 openresty 1.17.8.2兩種啟動(dòng)方式任選其一方式一Docker 一鍵啟動(dòng)推薦新手git clone https://gitcode.com/gh_mirrors/ht/http_study cd http_study docker pull chronolaw/http_study docker run -it --rm chronolaw/http_study bash # 容器內(nèi)執(zhí)行 cat ~/http_study/hosts /etc/hosts cd ~/http_study/www ./run.sh start方式二本機(jī) OpenResty# 將項(xiàng)目根目錄 hosts 文件中的域名追加到 /etc/hosts cd http_study/www ./run.sh start # 封裝了 openresty 啟動(dòng)見 www/run.sh啟動(dòng)后訪問http://www.chrono.com能看到歡迎頁說明 CDN 節(jié)點(diǎn)就緒 ?核心配置詳解proxy_cache 三步開啟緩存整個(gè)迷你 CDN 的緩存能力由三處配置協(xié)作完成配置總?cè)肟谑莣ww/conf/nginx.conf自動(dòng) includewww/conf/http/下所有 conf。第 1 步聲明緩存區(qū)域cache zone文件www/conf/http/cache.conf# 緩存區(qū)域磁盤目錄 cache 64k 共享內(nèi)存索引10 秒未訪問即清理 proxy_cache_path cache keys_zonewww_cache:64k inactive10s; proxy_cache_lock on; # 并發(fā)回源只放一個(gè)請求其余等待復(fù)用 proxy_cache_revalidate on; # 緩存過期后先條件請求驗(yàn)證減少無效回源 proxy_force_ranges on; # 支持 Range 分片讀取大文件第 2 步CDN 節(jié)點(diǎn)開啟緩存代理文件www/conf/http/servers/locations.inc中的/proxy_cache/段location /proxy_cache/ { internal; # 內(nèi)部 location只能被 ngx.exec 跳轉(zhuǎn)進(jìn)來 proxy_cache www_cache; # 掛上第 1 步定義的緩存區(qū) proxy_cache_use_stale error timeout; # 源站出錯(cuò)/超時(shí)時(shí)返回舊緩存保命關(guān)鍵 proxy_pass http://origin.io; # 未命中時(shí)回源 }對比同文件中的/proxy/段——它只有proxy_pass沒有proxy_cache正好可以演示開緩存 vs 不開緩存的差異非常適合做對照實(shí)驗(yàn) 第 3 步源站配合發(fā)送緩存響應(yīng)頭源站定義在www/conf/http/servers/origin.conf響應(yīng)邏輯在www/lua/origin.lua。關(guān)鍵行為URI 中含cache時(shí)源站返回Cache-Control: public, max-age10, s-maxage30和ETag告訴 CDN緩存我 30 秒每個(gè)域名首次回源時(shí)生成一個(gè) ID取當(dāng)前時(shí)間戳后 4 位30 秒內(nèi)保持同一 ID——ID 不變即證明你命中了緩存。動(dòng)手驗(yàn)證用 curl 親眼看到 MISS → HIT測試入口是兩個(gè) Lua 腳本通過curl 域名/腳本名觸發(fā)入口腳本行為http://www.chrono.com/21-1www/lua/21-1.lua內(nèi)部跳轉(zhuǎn)到/proxy/純代理、不走緩存http://www.chrono.com/22-1www/lua/22-1.lua內(nèi)部跳轉(zhuǎn)到/proxy_cache/走 proxy_cache 緩存連續(xù)兩次請求 22-1觀察響應(yīng)頭curl -I http://www.chrono.com/22-1 # X-Cache: MISS ← 首次回源拿到 ID 例如 ID is 3719 curl -I http://www.chrono.com/22-1 # X-Cache: HIT ← 緩存命中ID 保持不變源站零壓力響應(yīng)頭由www/lua/cache_filter.lua在 header_filter 階段注入它做了三件很專業(yè)的事X-Cache輸出 Nginx 原生的upstream_cache_statusHIT/MISS/STALE…X-Accel標(biāo)記請求命中的是哪臺 CDN 節(jié)點(diǎn)真實(shí) CDN 靠它做多節(jié)點(diǎn)排障X-Hit利用www/conf/http/resty.conf中定義的misc共享內(nèi)存字典lua_shared_dict misc 64k累加總請求數(shù)和 HIT 數(shù)實(shí)時(shí)算出緩存命中率百分比——這是生產(chǎn) CDN 監(jiān)控的最小實(shí)現(xiàn)。再看源站側(cè)logs/origin_access.log緩存生效期間日志不再增長說明回源請求被邊緣成功攔截 常見坑與調(diào)優(yōu)清單?忘了配 hostsorigin.io無法解析OpenResty 直接解析失敗origin.conf頂部有醒目注釋提醒?源站不發(fā) Cache-Control/ETagproxy_cache默認(rèn)只緩存 200/204/301/302 且無緩存頭的響應(yīng) 0 秒等于沒緩存?命中率低調(diào)大s-maxage或按 URI 用proxy_cache_key優(yōu)化緩存鍵?源站宕機(jī)頁面全掛保留proxy_cache_use_stale error timeout讓舊緩存續(xù)命?回源風(fēng)暴proxy_cache_lock on保證同一 key 并發(fā)只回源一次。小結(jié)這套迷你CDN教會了什么用不到 30 行核心配置http_study 就把真實(shí) CDN 的骨架完整復(fù)刻了一遍proxy_cache_path定義緩存區(qū)域內(nèi)存索引 磁盤文件proxy_cache把代理 location 掛到緩存區(qū)配合use_stale做可用性兜底緩存響應(yīng)頭Cache-Control / ETag決定緩存多久、如何驗(yàn)證共享內(nèi)存 響應(yīng)頭實(shí)現(xiàn)命中率觀測。掌握這套流程后把proxy_pass指向你的真實(shí)源站你就擁有了第一臺屬于自己的 CDN 節(jié)點(diǎn)。想繼續(xù)深挖可以結(jié)合項(xiàng)目wireshark/目錄下的抓包文件如21-1.pcapng、22-1相關(guān)報(bào)文觀察回源請求在協(xié)議層的真實(shí)流轉(zhuǎn)。【免費(fèi)下載鏈接】http_studyfollow me to study http項(xiàng)目地址: https://gitcode.com/gh_mirrors/ht/http_study創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何自己動(dòng)手做一個(gè)迷你CDN？http_study之Nginx proxy_cache緩存完整實(shí)戰(zhàn)
如何自己動(dòng)手做一個(gè)迷你CDNhttp_study之Nginx proxy_cache緩存完整實(shí)戰(zhàn)【免費(fèi)下載鏈接】http_studyfollow me to study http項(xiàng)目地址: https://gitcode.com/gh_mirrors/ht/http_studyhttp_study是《透視HTTP協(xié)議》的配套開源項(xiàng)目基于 OpenRestyNginx 的 Lua 版增強(qiáng)體帶你從零搭建一個(gè)可實(shí)測的迷你 CDN用 Nginx 的proxy_cache代理緩存把回源流量擋在邊緣配合共享內(nèi)存統(tǒng)計(jì)實(shí)時(shí)緩存命中率。本文帶你完整走一遍環(huán)境準(zhǔn)備 → 配置 CDN 緩存 → 驗(yàn)證 HIT/MISS的全流程。什么是迷你CDN緩存原理一圖看懂真實(shí) CDN 的本質(zhì)是邊緣節(jié)點(diǎn)緩存源站內(nèi)容用戶就近訪問緩存副本。http_study 用一臺機(jī)器模擬了這套架構(gòu)角色域名職責(zé)CDN 邊緣節(jié)點(diǎn)www.chrono.com接收用戶請求proxy_cache緩存命中則直接返回源站Originorigin.io生成帶服務(wù)器 ID的內(nèi)容只有緩存未命中時(shí)才會被打到 兩個(gè)域名都解析到127.0.0.1見項(xiàng)目根目錄hosts文件用本地回環(huán) 域名區(qū)分模擬真實(shí)的邊緣 源站部署這正是理解 CDN 最快的方式。環(huán)境準(zhǔn)備最快啟動(dòng) OpenResty 環(huán)境項(xiàng)目內(nèi)置 Docker 方案基于 ubuntu 18.04 openresty 1.17.8.2兩種啟動(dòng)方式任選其一方式一Docker 一鍵啟動(dòng)推薦新手git clone https://gitcode.com/gh_mirrors/ht/http_study cd http_study docker pull chronolaw/http_study docker run -it --rm chronolaw/http_study bash # 容器內(nèi)執(zhí)行 cat ~/http_study/hosts /etc/hosts cd ~/http_study/www ./run.sh start方式二本機(jī) OpenResty# 將項(xiàng)目根目錄 hosts 文件中的域名追加到 /etc/hosts cd http_study/www ./run.sh start # 封裝了 openresty 啟動(dòng)見 www/run.sh啟動(dòng)后訪問http://www.chrono.com能看到歡迎頁說明 CDN 節(jié)點(diǎn)就緒 ?核心配置詳解proxy_cache 三步開啟緩存整個(gè)迷你 CDN 的緩存能力由三處配置協(xié)作完成配置總?cè)肟谑莣ww/conf/nginx.conf自動(dòng) includewww/conf/http/下所有 conf。第 1 步聲明緩存區(qū)域cache zone文件www/conf/http/cache.conf# 緩存區(qū)域磁盤目錄 cache 64k 共享內(nèi)存索引10 秒未訪問即清理 proxy_cache_path cache keys_zonewww_cache:64k inactive10s; proxy_cache_lock on; # 并發(fā)回源只放一個(gè)請求其余等待復(fù)用 proxy_cache_revalidate on; # 緩存過期后先條件請求驗(yàn)證減少無效回源 proxy_force_ranges on; # 支持 Range 分片讀取大文件第 2 步CDN 節(jié)點(diǎn)開啟緩存代理文件www/conf/http/servers/locations.inc中的/proxy_cache/段location /proxy_cache/ { internal; # 內(nèi)部 location只能被 ngx.exec 跳轉(zhuǎn)進(jìn)來 proxy_cache www_cache; # 掛上第 1 步定義的緩存區(qū) proxy_cache_use_stale error timeout; # 源站出錯(cuò)/超時(shí)時(shí)返回舊緩存保命關(guān)鍵 proxy_pass http://origin.io; # 未命中時(shí)回源 }對比同文件中的/proxy/段——它只有proxy_pass沒有proxy_cache正好可以演示開緩存 vs 不開緩存的差異非常適合做對照實(shí)驗(yàn) 第 3 步源站配合發(fā)送緩存響應(yīng)頭源站定義在www/conf/http/servers/origin.conf響應(yīng)邏輯在www/lua/origin.lua。關(guān)鍵行為URI 中含cache時(shí)源站返回Cache-Control: public, max-age10, s-maxage30和ETag告訴 CDN緩存我 30 秒每個(gè)域名首次回源時(shí)生成一個(gè) ID取當(dāng)前時(shí)間戳后 4 位30 秒內(nèi)保持同一 ID——ID 不變即證明你命中了緩存。動(dòng)手驗(yàn)證用 curl 親眼看到 MISS → HIT測試入口是兩個(gè) Lua 腳本通過curl 域名/腳本名觸發(fā)入口腳本行為http://www.chrono.com/21-1www/lua/21-1.lua內(nèi)部跳轉(zhuǎn)到/proxy/純代理、不走緩存http://www.chrono.com/22-1www/lua/22-1.lua內(nèi)部跳轉(zhuǎn)到/proxy_cache/走 proxy_cache 緩存連續(xù)兩次請求 22-1觀察響應(yīng)頭curl -I http://www.chrono.com/22-1 # X-Cache: MISS ← 首次回源拿到 ID 例如 ID is 3719 curl -I http://www.chrono.com/22-1 # X-Cache: HIT ← 緩存命中ID 保持不變源站零壓力響應(yīng)頭由www/lua/cache_filter.lua在 header_filter 階段注入它做了三件很專業(yè)的事X-Cache輸出 Nginx 原生的upstream_cache_statusHIT/MISS/STALE…X-Accel標(biāo)記請求命中的是哪臺 CDN 節(jié)點(diǎn)真實(shí) CDN 靠它做多節(jié)點(diǎn)排障X-Hit利用www/conf/http/resty.conf中定義的misc共享內(nèi)存字典lua_shared_dict misc 64k累加總請求數(shù)和 HIT 數(shù)實(shí)時(shí)算出緩存命中率百分比——這是生產(chǎn) CDN 監(jiān)控的最小實(shí)現(xiàn)。再看源站側(cè)logs/origin_access.log緩存生效期間日志不再增長說明回源請求被邊緣成功攔截 常見坑與調(diào)優(yōu)清單?忘了配 hostsorigin.io無法解析OpenResty 直接解析失敗origin.conf頂部有醒目注釋提醒?源站不發(fā) Cache-Control/ETagproxy_cache默認(rèn)只緩存 200/204/301/302 且無緩存頭的響應(yīng) 0 秒等于沒緩存?命中率低調(diào)大s-maxage或按 URI 用proxy_cache_key優(yōu)化緩存鍵?源站宕機(jī)頁面全掛保留proxy_cache_use_stale error timeout讓舊緩存續(xù)命?回源風(fēng)暴proxy_cache_lock on保證同一 key 并發(fā)只回源一次。小結(jié)這套迷你CDN教會了什么用不到 30 行核心配置http_study 就把真實(shí) CDN 的骨架完整復(fù)刻了一遍proxy_cache_path定義緩存區(qū)域內(nèi)存索引 磁盤文件proxy_cache把代理 location 掛到緩存區(qū)配合use_stale做可用性兜底緩存響應(yīng)頭Cache-Control / ETag決定緩存多久、如何驗(yàn)證共享內(nèi)存 響應(yīng)頭實(shí)現(xiàn)命中率觀測。掌握這套流程后把proxy_pass指向你的真實(shí)源站你就擁有了第一臺屬于自己的 CDN 節(jié)點(diǎn)。想繼續(xù)深挖可以結(jié)合項(xiàng)目wireshark/目錄下的抓包文件如21-1.pcapng、22-1相關(guān)報(bào)文觀察回源請求在協(xié)議層的真實(shí)流轉(zhuǎn)。【免費(fèi)下載鏈接】http_studyfollow me to study http項(xiàng)目地址: https://gitcode.com/gh_mirrors/ht/http_study創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考