CDN核心原理完整揭秘5分鐘用 http_study 搭建反向代理追蹤 X-Forwarded-For 頭鏈條【免費(fèi)下載鏈接】http_studyfollow me to study http項(xiàng)目地址: https://gitcode.com/gh_mirrors/ht/http_studyCDN內(nèi)容分發(fā)網(wǎng)絡(luò)的本質(zhì)就是反向代理 緩存而它記錄客戶(hù)端真實(shí)信息的秘密武器正是 X-Forwarded-For 請(qǐng)求頭。本文用 http_study 這個(gè) OpenResty 實(shí)戰(zhàn)環(huán)境幫你在本地 5 分鐘搭起一套「模擬 CDN → 源站」的反向代理親眼追蹤 X-Forwarded 頭鏈條是如何一層層傳遞的徹底搞懂 CDN 轉(zhuǎn)發(fā)原理。一、CDN 為什么離不開(kāi)反向代理想象你訪(fǎng)問(wèn)一個(gè)網(wǎng)站客戶(hù)端瀏覽器 ──? 邊緣節(jié)點(diǎn)CDN反向代理──? 源站服務(wù)器邊緣節(jié)點(diǎn)離用戶(hù)更近收到請(qǐng)求后有兩種選擇命中緩存就直接返回未命中就轉(zhuǎn)發(fā)給源站轉(zhuǎn)發(fā)時(shí)源站看到的 IP 是 CDN 節(jié)點(diǎn)的 IP用戶(hù)的真實(shí) IP 丟失了。為了解決這個(gè)問(wèn)題CDN 在轉(zhuǎn)發(fā)請(qǐng)求時(shí)會(huì)主動(dòng)加上幾個(gè)請(qǐng)求頭把我是誰(shuí)、我經(jīng)過(guò)了哪里寫(xiě)進(jìn)去這就是X-Forwarded 頭鏈條。搞清楚這條鏈CDN 的原理就理解了一大半。 http_study 就是一個(gè)為《透視HTTP協(xié)議》配套的 HTTP 學(xué)習(xí)沙箱用 OpenResty 在本地模擬出「接入層 緩存代理 源站」三層結(jié)構(gòu)非常適合新手動(dòng)手實(shí)驗(yàn)。二、環(huán)境準(zhǔn)備快速拉起 http_study 實(shí)驗(yàn)環(huán)境克隆倉(cāng)庫(kù)后有兩種啟動(dòng)方式方式 1Docker最省事docker pull chronolaw/http_study docker run -it --rm chronolaw/http_study bash進(jìn)入容器后執(zhí)行cat ~/http_study/hosts /etc/hosts cd ~/http_study/www ./run.sh start方式 2本地 OpenResty在www/目錄下執(zhí)行./run.sh start即可支持 start / stop / reload / list 四個(gè)命令見(jiàn) run.sh。?? 關(guān)鍵一步把 hosts 文件內(nèi)容追加到系統(tǒng)的 /etc/hosts否則 OpenResty 會(huì)解析失敗。hosts 文件將三個(gè)域名都指向 127.0.0.1www.chrono.com接入層、www.metroid.net、origin.io源站。三、3 步看懂反向代理是如何配置的第 1 步接入層接收請(qǐng)求接入層配置在www/conf/http/servers/http.conf監(jiān)聽(tīng) 80/8080 端口server_name 為www.chrono.com并 include 了核心路由文件 locations.inc。第 2 步/proxy/ 路由負(fù)責(zé)轉(zhuǎn)發(fā) 加頭這是全文最核心的配置位于www/conf/http/servers/locations.inc的/proxy/locationlocation /proxy/ { internal; add_header Via $host:$server_port; proxy_set_header X-Real-IP $remote_addr:$remote_port; proxy_set_header X-Forwarded-Host $http_host; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://origin.io; }注意最后一行proxy_pass http://origin.io;——這就是反向代理的靈魂把請(qǐng)求原樣轉(zhuǎn)發(fā)給源站同時(shí)用proxy_set_header把客戶(hù)端信息打包進(jìn)請(qǐng)求頭。第 3 步源站把收到的頭原樣回顯源站配置在www/conf/http/servers/origin.conf只監(jiān)聽(tīng) 80 端口、只允許 127.0.0.1 訪(fǎng)問(wèn)并拒絕其他來(lái)源模擬真實(shí)源站只信任 CDN 內(nèi)網(wǎng)的做法。其響應(yīng)內(nèi)容由www/lua/origin.lua生成邏輯非常簡(jiǎn)單——讀取請(qǐng)求里的 4 個(gè) X 頭并打印出來(lái)相當(dāng)于給新手裝了一臺(tái)透視鏡。四、動(dòng)手實(shí)驗(yàn)一條 curl 命令追蹤頭鏈條啟動(dòng)環(huán)境后在瀏覽器或終端訪(fǎng)問(wèn)http://www.chrono.com/proxy/源站會(huì)回顯類(lèi)似這樣的內(nèi)容HTTP Original Server ID is 6521 X-Real-IP 127.0.0.1:51234 X-Forwarded-For 127.0.0.1 X-Forwarded-Host www.chrono.com X-Forwarded-Proto http 恭喜你已經(jīng)完成了一次完整的CDN 轉(zhuǎn)發(fā)實(shí)驗(yàn)。來(lái)拆解一下每個(gè)頭的含義請(qǐng)求頭含義上面的值說(shuō)明X-Real-IP直連客戶(hù)端的真實(shí) IP本機(jī) curl所以是 127.0.0.1X-Forwarded-For經(jīng)過(guò)的代理鏈核心中的核心只有 1 跳所以只有 1 個(gè) IPX-Forwarded-Host客戶(hù)端請(qǐng)求的 Hostwww.chrono.comX-Forwarded-Proto客戶(hù)端使用的協(xié)議http/https本機(jī)是 http什么是頭鏈條假設(shè)請(qǐng)求經(jīng)過(guò)了 2 級(jí) CDNX-Forwarded-For 的值就會(huì)變成客戶(hù)端IP, 一級(jí)CDN的IP, 二級(jí)CDN的IP——每級(jí)代理都往末尾追加一個(gè) IP。這就是為什么proxy_set_header里用的是$proxy_add_x_forwarded_for追加而不是直接賦值。 實(shí)際排查中源站取第一個(gè) IP通常是真實(shí)用戶(hù)取最后一個(gè)則是最靠近源站的那級(jí)代理。這個(gè)細(xì)節(jié)在很多 CDN 廠(chǎng)商的文檔里都會(huì)反復(fù)出現(xiàn)。五、進(jìn)階玩法一鍵開(kāi)啟代理緩存體驗(yàn)真正的 CDNhttp_study 還準(zhǔn)備了/proxy_cache/路由只需 3 行配置就變身緩存型 CDN同樣在 locations.inc 中l(wèi)ocation /proxy_cache/ { internal; proxy_cache www_cache; proxy_pass http://origin.io; header_filter_by_lua_file lua/cache_filter.lua; }其中www_cache緩存區(qū)定義在www/conf/http/cache.conf。訪(fǎng)問(wèn)http://www.chrono.com/proxy_cache/時(shí)lua/cache_filter.lua會(huì)在響應(yīng)里額外加上 3 個(gè)頭X-CacheHIT命中緩存或MISS回源取回X-Accel請(qǐng)求經(jīng)過(guò)的節(jié)點(diǎn)名X-Hit實(shí)時(shí)緩存命中率用共享內(nèi)存統(tǒng)計(jì)。連續(xù)訪(fǎng)問(wèn)兩次第一次 MISS、第二次 HIT——這就是 CDN就近命中緩存、減少回源的全部秘密。六、新手常見(jiàn)問(wèn)題 FAQQ1為什么不直接用 X-Forwarded-For 取用戶(hù) IP因?yàn)樗梢员豢蛻?hù)端偽造你 curl 時(shí)手動(dòng)加上就會(huì)被追加。所以生產(chǎn)環(huán)境會(huì)用ngx_http_realip_module或信任鏈機(jī)制只信任最后一跳代理寫(xiě)入的值。Q2Via 頭和 X-Forwarded 頭什么關(guān)系Via 記錄請(qǐng)求經(jīng)過(guò)的代理服務(wù)器響應(yīng)頭里也能看到X-Forwarded 記錄客戶(hù)端的上下文信息兩者是互補(bǔ)的。Q3X- 前綴的頭不正規(guī)嗎確實(shí)RFC 6648 已建議棄用 X- 前綴但出于兼容性考慮業(yè)界至今仍在用標(biāo)準(zhǔn)組織也計(jì)劃將其正式標(biāo)準(zhǔn)化。Q4日志里怎么利用 X-Forwarded-For看www/conf/http/common.conf中的 log_format$http_x_forwarded_for已被寫(xiě)進(jìn)訪(fǎng)問(wèn)日志方便按真實(shí)用戶(hù) IP 統(tǒng)計(jì)與排障。七、總結(jié)5 行話(huà)回顧 CDN 核心原理CDN 邊緣節(jié)點(diǎn) 反向代理 本地緩存/proxy/與/proxy_cache/兩套路由轉(zhuǎn)發(fā)時(shí)通過(guò)proxy_set_header注入X-Real-IP / X-Forwarded-For / Host / ProtoX-Forwarded-For 每經(jīng)過(guò)一級(jí)代理追加一個(gè) IP形成頭鏈條緩存命中HIT直接返回未命中MISS回源cache_filter.lua可實(shí)時(shí)觀(guān)測(cè)命中率http_study 把這三層拆得清清楚楚是理解 CDN/反向代理的最佳入門(mén)沙箱。本文涉及的核心文件清單相對(duì)倉(cāng)庫(kù)根目錄www/conf/http/servers/locations.inc—— 反向代理與代理緩存路由全文核心www/conf/http/servers/origin.conf—— 源站配置www/lua/origin.lua—— 源站回顯 X-Forwarded 頭的透視鏡www/conf/http/cache.conf—— 代理緩存區(qū)定義www/lua/cache_filter.lua—— X-Cache / X-Hit 命中率統(tǒng)計(jì)www/conf/http/common.conf—— 日志格式含 x_forwarded_forhosts—— 本地域名映射文件www/run.sh—— 一鍵啟動(dòng)腳本【免費(fèi)下載鏈接】http_studyfollow me to study http項(xiàng)目地址: https://gitcode.com/gh_mirrors/ht/http_study創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 CDN核心原理完整揭秘：5分鐘用 http_study 搭建反向代理，追蹤 X-Forwarded-For 頭鏈條
CDN核心原理完整揭秘5分鐘用 http_study 搭建反向代理追蹤 X-Forwarded-For 頭鏈條【免費(fèi)下載鏈接】http_studyfollow me to study http項(xiàng)目地址: https://gitcode.com/gh_mirrors/ht/http_studyCDN內(nèi)容分發(fā)網(wǎng)絡(luò)的本質(zhì)就是反向代理 緩存而它記錄客戶(hù)端真實(shí)信息的秘密武器正是 X-Forwarded-For 請(qǐng)求頭。本文用 http_study 這個(gè) OpenResty 實(shí)戰(zhàn)環(huán)境幫你在本地 5 分鐘搭起一套「模擬 CDN → 源站」的反向代理親眼追蹤 X-Forwarded 頭鏈條是如何一層層傳遞的徹底搞懂 CDN 轉(zhuǎn)發(fā)原理。一、CDN 為什么離不開(kāi)反向代理想象你訪(fǎng)問(wèn)一個(gè)網(wǎng)站客戶(hù)端瀏覽器 ──? 邊緣節(jié)點(diǎn)CDN反向代理──? 源站服務(wù)器邊緣節(jié)點(diǎn)離用戶(hù)更近收到請(qǐng)求后有兩種選擇命中緩存就直接返回未命中就轉(zhuǎn)發(fā)給源站轉(zhuǎn)發(fā)時(shí)源站看到的 IP 是 CDN 節(jié)點(diǎn)的 IP用戶(hù)的真實(shí) IP 丟失了。為了解決這個(gè)問(wèn)題CDN 在轉(zhuǎn)發(fā)請(qǐng)求時(shí)會(huì)主動(dòng)加上幾個(gè)請(qǐng)求頭把我是誰(shuí)、我經(jīng)過(guò)了哪里寫(xiě)進(jìn)去這就是X-Forwarded 頭鏈條。搞清楚這條鏈CDN 的原理就理解了一大半。 http_study 就是一個(gè)為《透視HTTP協(xié)議》配套的 HTTP 學(xué)習(xí)沙箱用 OpenResty 在本地模擬出「接入層 緩存代理 源站」三層結(jié)構(gòu)非常適合新手動(dòng)手實(shí)驗(yàn)。二、環(huán)境準(zhǔn)備快速拉起 http_study 實(shí)驗(yàn)環(huán)境克隆倉(cāng)庫(kù)后有兩種啟動(dòng)方式方式 1Docker最省事docker pull chronolaw/http_study docker run -it --rm chronolaw/http_study bash進(jìn)入容器后執(zhí)行cat ~/http_study/hosts /etc/hosts cd ~/http_study/www ./run.sh start方式 2本地 OpenResty在www/目錄下執(zhí)行./run.sh start即可支持 start / stop / reload / list 四個(gè)命令見(jiàn) run.sh。?? 關(guān)鍵一步把 hosts 文件內(nèi)容追加到系統(tǒng)的 /etc/hosts否則 OpenResty 會(huì)解析失敗。hosts 文件將三個(gè)域名都指向 127.0.0.1www.chrono.com接入層、www.metroid.net、origin.io源站。三、3 步看懂反向代理是如何配置的第 1 步接入層接收請(qǐng)求接入層配置在www/conf/http/servers/http.conf監(jiān)聽(tīng) 80/8080 端口server_name 為www.chrono.com并 include 了核心路由文件 locations.inc。第 2 步/proxy/ 路由負(fù)責(zé)轉(zhuǎn)發(fā) 加頭這是全文最核心的配置位于www/conf/http/servers/locations.inc的/proxy/locationlocation /proxy/ { internal; add_header Via $host:$server_port; proxy_set_header X-Real-IP $remote_addr:$remote_port; proxy_set_header X-Forwarded-Host $http_host; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://origin.io; }注意最后一行proxy_pass http://origin.io;——這就是反向代理的靈魂把請(qǐng)求原樣轉(zhuǎn)發(fā)給源站同時(shí)用proxy_set_header把客戶(hù)端信息打包進(jìn)請(qǐng)求頭。第 3 步源站把收到的頭原樣回顯源站配置在www/conf/http/servers/origin.conf只監(jiān)聽(tīng) 80 端口、只允許 127.0.0.1 訪(fǎng)問(wèn)并拒絕其他來(lái)源模擬真實(shí)源站只信任 CDN 內(nèi)網(wǎng)的做法。其響應(yīng)內(nèi)容由www/lua/origin.lua生成邏輯非常簡(jiǎn)單——讀取請(qǐng)求里的 4 個(gè) X 頭并打印出來(lái)相當(dāng)于給新手裝了一臺(tái)透視鏡。四、動(dòng)手實(shí)驗(yàn)一條 curl 命令追蹤頭鏈條啟動(dòng)環(huán)境后在瀏覽器或終端訪(fǎng)問(wèn)http://www.chrono.com/proxy/源站會(huì)回顯類(lèi)似這樣的內(nèi)容HTTP Original Server ID is 6521 X-Real-IP 127.0.0.1:51234 X-Forwarded-For 127.0.0.1 X-Forwarded-Host www.chrono.com X-Forwarded-Proto http 恭喜你已經(jīng)完成了一次完整的CDN 轉(zhuǎn)發(fā)實(shí)驗(yàn)。來(lái)拆解一下每個(gè)頭的含義請(qǐng)求頭含義上面的值說(shuō)明X-Real-IP直連客戶(hù)端的真實(shí) IP本機(jī) curl所以是 127.0.0.1X-Forwarded-For經(jīng)過(guò)的代理鏈核心中的核心只有 1 跳所以只有 1 個(gè) IPX-Forwarded-Host客戶(hù)端請(qǐng)求的 Hostwww.chrono.comX-Forwarded-Proto客戶(hù)端使用的協(xié)議http/https本機(jī)是 http什么是頭鏈條假設(shè)請(qǐng)求經(jīng)過(guò)了 2 級(jí) CDNX-Forwarded-For 的值就會(huì)變成客戶(hù)端IP, 一級(jí)CDN的IP, 二級(jí)CDN的IP——每級(jí)代理都往末尾追加一個(gè) IP。這就是為什么proxy_set_header里用的是$proxy_add_x_forwarded_for追加而不是直接賦值。 實(shí)際排查中源站取第一個(gè) IP通常是真實(shí)用戶(hù)取最后一個(gè)則是最靠近源站的那級(jí)代理。這個(gè)細(xì)節(jié)在很多 CDN 廠(chǎng)商的文檔里都會(huì)反復(fù)出現(xiàn)。五、進(jìn)階玩法一鍵開(kāi)啟代理緩存體驗(yàn)真正的 CDNhttp_study 還準(zhǔn)備了/proxy_cache/路由只需 3 行配置就變身緩存型 CDN同樣在 locations.inc 中l(wèi)ocation /proxy_cache/ { internal; proxy_cache www_cache; proxy_pass http://origin.io; header_filter_by_lua_file lua/cache_filter.lua; }其中www_cache緩存區(qū)定義在www/conf/http/cache.conf。訪(fǎng)問(wèn)http://www.chrono.com/proxy_cache/時(shí)lua/cache_filter.lua會(huì)在響應(yīng)里額外加上 3 個(gè)頭X-CacheHIT命中緩存或MISS回源取回X-Accel請(qǐng)求經(jīng)過(guò)的節(jié)點(diǎn)名X-Hit實(shí)時(shí)緩存命中率用共享內(nèi)存統(tǒng)計(jì)。連續(xù)訪(fǎng)問(wèn)兩次第一次 MISS、第二次 HIT——這就是 CDN就近命中緩存、減少回源的全部秘密。六、新手常見(jiàn)問(wèn)題 FAQQ1為什么不直接用 X-Forwarded-For 取用戶(hù) IP因?yàn)樗梢员豢蛻?hù)端偽造你 curl 時(shí)手動(dòng)加上就會(huì)被追加。所以生產(chǎn)環(huán)境會(huì)用ngx_http_realip_module或信任鏈機(jī)制只信任最后一跳代理寫(xiě)入的值。Q2Via 頭和 X-Forwarded 頭什么關(guān)系Via 記錄請(qǐng)求經(jīng)過(guò)的代理服務(wù)器響應(yīng)頭里也能看到X-Forwarded 記錄客戶(hù)端的上下文信息兩者是互補(bǔ)的。Q3X- 前綴的頭不正規(guī)嗎確實(shí)RFC 6648 已建議棄用 X- 前綴但出于兼容性考慮業(yè)界至今仍在用標(biāo)準(zhǔn)組織也計(jì)劃將其正式標(biāo)準(zhǔn)化。Q4日志里怎么利用 X-Forwarded-For看www/conf/http/common.conf中的 log_format$http_x_forwarded_for已被寫(xiě)進(jìn)訪(fǎng)問(wèn)日志方便按真實(shí)用戶(hù) IP 統(tǒng)計(jì)與排障。七、總結(jié)5 行話(huà)回顧 CDN 核心原理CDN 邊緣節(jié)點(diǎn) 反向代理 本地緩存/proxy/與/proxy_cache/兩套路由轉(zhuǎn)發(fā)時(shí)通過(guò)proxy_set_header注入X-Real-IP / X-Forwarded-For / Host / ProtoX-Forwarded-For 每經(jīng)過(guò)一級(jí)代理追加一個(gè) IP形成頭鏈條緩存命中HIT直接返回未命中MISS回源cache_filter.lua可實(shí)時(shí)觀(guān)測(cè)命中率http_study 把這三層拆得清清楚楚是理解 CDN/反向代理的最佳入門(mén)沙箱。本文涉及的核心文件清單相對(duì)倉(cāng)庫(kù)根目錄www/conf/http/servers/locations.inc—— 反向代理與代理緩存路由全文核心www/conf/http/servers/origin.conf—— 源站配置www/lua/origin.lua—— 源站回顯 X-Forwarded 頭的透視鏡www/conf/http/cache.conf—— 代理緩存區(qū)定義www/lua/cache_filter.lua—— X-Cache / X-Hit 命中率統(tǒng)計(jì)www/conf/http/common.conf—— 日志格式含 x_forwarded_forhosts—— 本地域名映射文件www/run.sh—— 一鍵啟動(dòng)腳本【免費(fèi)下載鏈接】http_studyfollow me to study http項(xiàng)目地址: https://gitcode.com/gh_mirrors/ht/http_study創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考