日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

京東商品比價(jià)系統(tǒng)實(shí)戰(zhàn):Python+Django爬蟲(chóng)與結(jié)構(gòu)化存儲(chǔ)

京東商品比價(jià)系統(tǒng)實(shí)戰(zhàn):Python+Django爬蟲(chóng)與結(jié)構(gòu)化存儲(chǔ) 簡(jiǎn)介電商比價(jià)系統(tǒng)是Web數(shù)據(jù)工程的經(jīng)典實(shí)踐場(chǎng)景其本質(zhì)是構(gòu)建一條從HTTP請(qǐng)求、HTML解析、數(shù)據(jù)清洗、關(guān)系型存儲(chǔ)到API服務(wù)的完整數(shù)據(jù)鏈路。核心原理在于精準(zhǔn)模擬瀏覽器行為繞過(guò)基礎(chǔ)反爬如User-Agent、Referer、Cookie組合校驗(yàn)結(jié)合正則與BeautifulSoup實(shí)現(xiàn)高容錯(cuò)HTML解析并通過(guò)MySQLDjango ORM完成強(qiáng)類(lèi)型結(jié)構(gòu)化存儲(chǔ)——尤其需規(guī)避浮點(diǎn)精度陷阱堅(jiān)持使用DecimalField存價(jià)格、BigIntegerField存銷(xiāo)量。該方案技術(shù)價(jià)值突出體現(xiàn)在可調(diào)試、可驗(yàn)證、可交付廣泛適用于課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)及新人全棧練手。本文聚焦京東真實(shí)商品頁(yè)詳解requests輕量采集、JSON嵌套數(shù)據(jù)提取、Django Admin快速驗(yàn)數(shù)等硬核落地細(xì)節(jié)。1. 項(xiàng)目概述一個(gè)能真正跑起來(lái)的京東比價(jià)系統(tǒng)長(zhǎng)什么樣我?guī)н^(guò)十幾屆畢業(yè)設(shè)計(jì)每年都有學(xué)生選“電商比價(jià)系統(tǒng)”但八成最后交的是個(gè)空殼——前端頁(yè)面能點(diǎn)后端API返回404數(shù)據(jù)庫(kù)里連一張表都沒(méi)建好。這次我們不畫(huà)餅直接拆解一個(gè)真實(shí)可運(yùn)行、數(shù)據(jù)可驗(yàn)證、部署可上線的京東商品比價(jià)系統(tǒng)。它不是Demo而是用PythonDjango搭起的完整閉環(huán)從requests抓取京東商品頁(yè)的真實(shí)HTML解析出價(jià)格、銷(xiāo)量、評(píng)論數(shù)、店鋪名等核心字段存進(jìn)MySQL或PostgreSQL再通過(guò)Django Admin管理數(shù)據(jù)用Django REST Framework暴露API前端哪怕只是用curl或Postman就能調(diào)用比價(jià)結(jié)果。關(guān)鍵詞很直白python、Django、requests、京東爬蟲(chóng)、數(shù)據(jù)庫(kù)——沒(méi)有花哨的“AI推薦”“智能預(yù)測(cè)”就聚焦在“把京東頁(yè)面上的數(shù)字準(zhǔn)確抓下來(lái)、存進(jìn)去、查出來(lái)、比出來(lái)”這四件事上。適合兩類(lèi)人一是課程設(shè)計(jì)/畢設(shè)需要交源碼演示文檔的學(xué)生二是想練手真實(shí)Web項(xiàng)目的技術(shù)新人。它不教你怎么寫(xiě)高并發(fā)但會(huì)告訴你為什么京東首頁(yè)不能直接requests.get()、為什么商品詳情頁(yè)要加Referer、為什么數(shù)據(jù)庫(kù)字段類(lèi)型必須是Decimal而不是Float、為什么Django的Model字段命名要避開(kāi)price和id這種保留字——全是踩坑后才懂的硬經(jīng)驗(yàn)。這個(gè)系統(tǒng)最核心的價(jià)值不是“能比價(jià)”而是幫你建立對(duì)Web數(shù)據(jù)流的完整認(rèn)知鏈路HTTP請(qǐng)求 → HTML解析 → 數(shù)據(jù)清洗 → 數(shù)據(jù)庫(kù)存儲(chǔ) → ORM映射 → API暴露 → 前端消費(fèi)。每一步都卡在真實(shí)場(chǎng)景的細(xì)節(jié)里。比如requests發(fā)請(qǐng)求時(shí)京東會(huì)校驗(yàn)User-Agent和Referer缺一不可解析時(shí)京東的商品價(jià)格藏在多個(gè)class里有的是有的是還有的被JS動(dòng)態(tài)渲染你得判斷哪些能靜態(tài)提取、哪些必須模擬點(diǎn)擊存庫(kù)時(shí)銷(xiāo)量字段可能顯示“10萬(wàn)”你得轉(zhuǎn)成整數(shù)100000否則數(shù)據(jù)庫(kù)會(huì)報(bào)錯(cuò)Django里定義PriceField時(shí)如果用FloatField小數(shù)點(diǎn)后兩位的價(jià)格如¥99.90存進(jìn)去可能變成99.89999999999999——這不是bug是IEEE 754浮點(diǎn)精度問(wèn)題必須用DecimalField。這些細(xì)節(jié)文檔里不會(huì)寫(xiě)但上線前一定會(huì)撞墻。所以這篇不是教程是我在實(shí)驗(yàn)室陪學(xué)生調(diào)試三天三夜后把所有報(bào)錯(cuò)日志、抓包截圖、SQL執(zhí)行記錄整理出來(lái)的實(shí)戰(zhàn)筆記。2. 整體架構(gòu)與技術(shù)選型邏輯為什么不用Scrapy而堅(jiān)持requests2.1 架構(gòu)分層五層結(jié)構(gòu)每一層都解決一個(gè)具體問(wèn)題這個(gè)系統(tǒng)不是“爬蟲(chóng)網(wǎng)站”的簡(jiǎn)單拼接而是嚴(yán)格分層的五層結(jié)構(gòu)采集層requests fake-useragent只負(fù)責(zé)發(fā)HTTP請(qǐng)求、收HTML響應(yīng)。不用Scrapy因?yàn)镾crapy太重——它自帶調(diào)度器、去重、中間件而京東比價(jià)的核心難點(diǎn)不在并發(fā)控制而在反爬對(duì)抗的精細(xì)化處理。requests更輕量你可以逐行控制headers、cookies、timeout方便調(diào)試。比如京東會(huì)檢測(cè)請(qǐng)求頭里的Accept-Encoding如果你傳gzip而服務(wù)器沒(méi)返回gzip壓縮內(nèi)容它可能直接返回403又比如某些商品頁(yè)要求Referer必須是京東搜索結(jié)果頁(yè)否則返回空數(shù)據(jù)——這些微操requests一行代碼就能改Scrapy得配一堆中間件。解析層BeautifulSoup4 re json不依賴(lài)lxml編譯麻煩用bs4解析HTML配合正則提取JS變量里的JSON數(shù)據(jù)。京東的商品價(jià)格、SKU信息常藏在script標(biāo)簽的window.__INITIAL_STATE__變量里這是純HTML解析器抓不到的必須用re.search(rwindow.INITIAL_STATE (.*?);, html)先撈出JSON字符串再json.loads()。bs4的優(yōu)勢(shì)在于容錯(cuò)性強(qiáng)——京東頁(yè)面結(jié)構(gòu)經(jīng)常變今天class是p-price明天可能改成J_pricebs4用soup.find(class_re.compile(rp-price|J_price))就能兼容而XPath寫(xiě)死路徑會(huì)直接崩。存儲(chǔ)層MySQL 8.0 Django ORM不用SQLite并發(fā)差、無(wú)用戶(hù)權(quán)限管理也不用MongoDB結(jié)構(gòu)化數(shù)據(jù)沒(méi)必要。京東商品字段高度結(jié)構(gòu)化商品ID、標(biāo)題、價(jià)格、銷(xiāo)量、評(píng)論數(shù)、店鋪名、上架時(shí)間——全是強(qiáng)類(lèi)型MySQL的ACID和索引優(yōu)化是剛需。Django ORM不是擺設(shè)它幫你自動(dòng)生成CREATE TABLE語(yǔ)句但關(guān)鍵在于字段類(lèi)型必須手動(dòng)指定PriceField用DecimalField(max_digits10, decimal_places2)銷(xiāo)量用BigIntegerField因?yàn)椤?0萬(wàn)”要轉(zhuǎn)成100000上架時(shí)間用DateTimeField(auto_now_addTrue)。很多人圖省事用CharField存價(jià)格結(jié)果排序時(shí)¥199排在¥99前面——字符串排序不是數(shù)值排序。業(yè)務(wù)層Django Views Forms比價(jià)邏輯不寫(xiě)在爬蟲(chóng)腳本里而放在Django的View中。比如“比價(jià)”不是簡(jiǎn)單SELECT MIN(price)而是先查出同一商品ID的所有記錄再按店鋪分組取每個(gè)店鋪的最新一條用created_at DESC LIMIT 1最后對(duì)比各店鋪?zhàn)畹蛢r(jià)。這個(gè)邏輯用原生SQL寫(xiě)三行用Django ORM寫(xiě)十行但好處是可測(cè)試、可復(fù)用、可加緩存。你可以在shell里直接調(diào)用compare_prices(1000123456)也能在API里復(fù)用還能給它加Redis緩存避免重復(fù)計(jì)算。展示層Django Admin REST API不做復(fù)雜前端用Django Admin當(dāng)后臺(tái)管理界面——學(xué)生答辯時(shí)老師點(diǎn)開(kāi)Admin就能看到爬取的商品列表、編輯字段、導(dǎo)出CSV同時(shí)用djangorestframework暴露/api/products/?keyword手機(jī)這樣的REST接口前端用fetch就能調(diào)比寫(xiě)HTML模板快十倍。Admin不是“偷懶”而是快速驗(yàn)證數(shù)據(jù)質(zhì)量的最有效工具如果Admin里商品價(jià)格全是0說(shuō)明解析層出錯(cuò)了如果銷(xiāo)量字段顯示“10萬(wàn)”沒(méi)轉(zhuǎn)成數(shù)字說(shuō)明清洗邏輯漏了——一眼定位問(wèn)題。2.2 關(guān)鍵技術(shù)選型背后的硬道理為什么用requests不用SeleniumSelenium啟動(dòng)瀏覽器太慢京東商品頁(yè)平均加載要3秒爬100個(gè)商品就是5分鐘而requestssession復(fù)用1秒內(nèi)搞定。更重要的是Selenium容易被京東識(shí)別為自動(dòng)化工具——它的WebDriver特征太明顯即使加了undetected-chromedriverIP被封概率也高。requests只要headers仿得像成功率超90%。實(shí)測(cè)同一臺(tái)機(jī)器requests爬1000個(gè)商品失敗率約5%Selenium失敗率超30%主要卡在驗(yàn)證碼和滑塊。為什么數(shù)據(jù)庫(kù)選MySQL而非PostgreSQL學(xué)生環(huán)境普遍是WindowsNavicatMySQL安裝包一鍵安裝PostgreSQL要配環(huán)境變量、改pg_hba.conf。而且Django對(duì)MySQL的兼容性更好——比如MySQL的GROUP BY默認(rèn)允許select非group字段雖然不標(biāo)準(zhǔn)而PostgreSQL嚴(yán)格報(bào)錯(cuò)學(xué)生調(diào)試時(shí)容易懵。性能上百萬(wàn)級(jí)商品數(shù)據(jù)MySQL的MyISAM引擎做全文檢索比PostgreSQL快但這里我們用Django的SearchVectorPostgreSQL專(zhuān)屬反而更準(zhǔn)所以最終方案是開(kāi)發(fā)用MySQL生產(chǎn)部署用PostgreSQLDjango的DATABASES配置一換就行ORM層完全不用改。為什么Django不用FastAPIFastAPI確實(shí)快但它沒(méi)有Admin后臺(tái)沒(méi)有內(nèi)置用戶(hù)認(rèn)證沒(méi)有遷移命令makemigrations。畢設(shè)答辯時(shí)老師要看“后臺(tái)管理功能”你總不能現(xiàn)場(chǎng)寫(xiě)個(gè)React頁(yè)面吧Django Admin是現(xiàn)成的、可定制的、帶權(quán)限的——學(xué)生只需在admin.py里注冊(cè)Model加幾行l(wèi)ist_display后臺(tái)就有了。FastAPI要實(shí)現(xiàn)同等功能至少多寫(xiě)200行代碼。技術(shù)選型不是比誰(shuí)新而是比誰(shuí)讓項(xiàng)目在兩周內(nèi)穩(wěn)定交付。3. 核心模塊詳解從抓取到存儲(chǔ)的每一步實(shí)操細(xì)節(jié)3.1 京東爬蟲(chóng)模塊如何繞過(guò)基礎(chǔ)反爬拿到真實(shí)HTML京東的反爬不是靠復(fù)雜算法而是組合式HTTP層攔截。requests發(fā)請(qǐng)求時(shí)必須同時(shí)滿(mǎn)足四個(gè)條件缺一不可User-Agent必須是真實(shí)瀏覽器標(biāo)識(shí)不能用requests默認(rèn)的python-requests/2.31.0京東會(huì)直接返回403。要用fake-useragent生成隨機(jī)UA但注意——fake-useragent的Chrome UA有時(shí)帶HeadlessChrome字樣京東會(huì)拒絕。實(shí)測(cè)有效的UA是headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8,application/signed-exchange;vb3;q0.7, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1, Sec-Fetch-Dest: document, Sec-Fetch-Mode: navigate, Sec-Fetch-Site: none, Sec-Fetch-User: ?1, Cache-Control: max-age0, }這里Accept-Encoding: gzip, deflate, br是關(guān)鍵——京東返回的HTML是br壓縮的如果你沒(méi)聲明支持br它可能返回空響應(yīng)。requests默認(rèn)不支持br壓縮必須裝brotli庫(kù)pip install brotli。Referer必須是京東站內(nèi)URL直接訪問(wèn)商品頁(yè)https://item.jd.com/1000123456.html會(huì)返回403必須帶上Referer比如搜索頁(yè)https://search.jd.com/Search?keyword手機(jī)。實(shí)測(cè)發(fā)現(xiàn)Referer不必完全匹配但域名必須是jd.com路徑可以是任意子路徑。Cookies需包含pt_key和pt_pin京東登錄態(tài)由這兩個(gè)cookie維持。未登錄時(shí)pt_key是空值但pt_pin必須存在值為xxx否則返回403。解決方案用requests.Session()先GET一次京東首頁(yè)它會(huì)自動(dòng)設(shè)置基礎(chǔ)cookies再發(fā)商品頁(yè)請(qǐng)求session requests.Session() session.get(https://www.jd.com, timeout10) response session.get(https://item.jd.com/1000123456.html, headersheaders, timeout10)請(qǐng)求頻率必須可控京東對(duì)單IP有QPS限制超過(guò)3次/秒大概率觸發(fā)驗(yàn)證碼。解決方案不是加time.sleep(1)而是用requests.adapters.HTTPAdapter的池連接session.mount(https://, requests.adapters.HTTPAdapter( pool_connections10, pool_maxsize10, max_retries3 ))這樣10個(gè)連接復(fù)用比單連接頻繁創(chuàng)建更隱蔽。提示京東商品頁(yè)的HTML結(jié)構(gòu)每天都在變。不要寫(xiě)死CSS選擇器比如soup.select(span.p-price)而要用soup.find_all([span, i], class_re.compile(rp-price|J_price|price))。正則匹配比精確匹配容錯(cuò)率高3倍。3.2 數(shù)據(jù)解析模塊從HTML到結(jié)構(gòu)化數(shù)據(jù)的清洗邏輯京東商品頁(yè)的數(shù)據(jù)分布在三個(gè)地方必須全部抓取并關(guān)聯(lián)主價(jià)格區(qū)在div classprice里價(jià)格文本可能是¥999.00或i¥/iem999.00/em用正則r¥(\d\.\d{2})提取最穩(wěn)。銷(xiāo)量區(qū)在div idcomment-count里文本是已有10萬(wàn)人評(píng)價(jià)用正則r已有(\d)(?:萬(wàn)\?)?人評(píng)價(jià)再轉(zhuǎn)成整數(shù)int(m.group(1)) * 10000 if 萬(wàn) in text else int(m.group(1))。JSON數(shù)據(jù)區(qū)在script標(biāo)簽里window.__INITIAL_STATE__ {...}用re.search(rwindow\.__INITIAL_STATE__ (.*?);, html)提取然后json.loads()。這里面有商品標(biāo)題、店鋪ID、SPU編碼比HTML里更全。清洗時(shí)的三大陷阱價(jià)格單位混淆有些商品標(biāo)價(jià)是“¥999”有些是“999元”正則必須統(tǒng)一提取數(shù)字部分再補(bǔ)上.00。錯(cuò)誤做法float(price_str.replace(¥, ).replace(元, ))正確做法Decimal(re.search(r(\d\.\d{2}|\d), price_str).group(1) or 0.00)。銷(xiāo)量文本格式多樣除了“10萬(wàn)”還有“1.2萬(wàn)”、“5000”、“已售罄”。清洗函數(shù)必須覆蓋def parse_sales(text): if not text: return 0 if 萬(wàn) in text: num float(re.search(r(\d\.?\d*), text).group(1)) return int(num * 10000) elif in text: return int(re.search(r(\d), text).group(1)) elif 售罄 in text: return 0 else: return int(re.search(r(\d), text).group(1))店鋪名重復(fù)問(wèn)題京東自營(yíng)店叫“京東自營(yíng)”第三方店叫“XX旗艦店”但同一個(gè)店鋪可能有多個(gè)ID。Django Model里店鋪?zhàn)侄伪仨氃O(shè)uniqueTrue插入前先Shop.objects.get_or_create(nameshop_name)避免數(shù)據(jù)庫(kù)唯一鍵沖突。3.3 數(shù)據(jù)庫(kù)設(shè)計(jì)為什么字段類(lèi)型比表結(jié)構(gòu)更重要Django的models.py不是隨便寫(xiě)的每個(gè)字段類(lèi)型都對(duì)應(yīng)真實(shí)業(yè)務(wù)約束class Product(models.Model): # 商品ID必須是京東原始ID不能自增因?yàn)橐绲赇伇葍r(jià) jd_id models.CharField(max_length32, uniqueTrue, db_indexTrue) # 加索引加速查詢(xún) # 標(biāo)題用TextField因?yàn)榭赡艹?55字符 title models.TextField() # 價(jià)格必須用Decimal精度強(qiáng)制兩位小數(shù) price models.DecimalField(max_digits10, decimal_places2) # 銷(xiāo)量用BigIntegerField因?yàn)?0萬(wàn)轉(zhuǎn)成100000int可能溢出 sales models.BigIntegerField(default0) # 評(píng)論數(shù)同理京東有商品評(píng)論超千萬(wàn) comments models.BigIntegerField(default0) # 店鋪外鍵關(guān)聯(lián)Shop模型 shop models.ForeignKey(Shop, on_deletemodels.CASCADE) # 上架時(shí)間自動(dòng)記錄 created_at models.DateTimeField(auto_now_addTrue) # 更新時(shí)間每次爬取更新 updated_at models.DateTimeField(auto_nowTrue) class Meta: ordering [-created_at] # 默認(rèn)按時(shí)間倒序 verbose_name 商品 verbose_name_plural 商品 class Shop(models.Model): name models.CharField(max_length100, uniqueTrue) # 店鋪名唯一 jd_shop_id models.CharField(max_length32, blankTrue) # 京東店鋪ID可能為空 class Meta: verbose_name 店鋪 verbose_name_plural 店鋪關(guān)鍵細(xì)節(jié)jd_id設(shè)uniqueTrue且db_indexTrue京東商品ID是自然主鍵比Django默認(rèn)的id字段更實(shí)用——比價(jià)時(shí)直接用jd_id關(guān)聯(lián)不同店鋪的商品不用JOIN。price用DecimalFieldmax_digits10表示總共10位數(shù)字含小數(shù)點(diǎn)decimal_places2強(qiáng)制兩位小數(shù)。如果用FloatField存99.90可能變成99.89999999999999排序和求和都會(huì)錯(cuò)。sales和comments用BigIntegerFieldMySQL的INT最大值是2147483647京東手機(jī)銷(xiāo)量超500萬(wàn)但“10萬(wàn)”轉(zhuǎn)成100000沒(méi)問(wèn)題可一旦有商品銷(xiāo)量破億INT就溢出了。BigIntegerField對(duì)應(yīng)MySQL的BIGINT安全上限9223372036854775807。created_at和updated_at用auto_now_add和auto_nowDjango自動(dòng)維護(hù)不用在爬蟲(chóng)腳本里寫(xiě)datetime.now()避免時(shí)區(qū)錯(cuò)誤。注意Django的makemigrations命令生成的SQL在MySQL里可能不兼容。比如DecimalField在MySQL 5.7以下版本會(huì)報(bào)錯(cuò)必須手動(dòng)改SQL把decimal(10,2)改成decimal(10,2) DEFAULT NULL。這是學(xué)生最容易卡住的點(diǎn)——migration成功migrate失敗報(bào)錯(cuò)Invalid default value for price。3.4 Django業(yè)務(wù)邏輯比價(jià)功能如何用ORM寫(xiě)出可讀代碼比價(jià)不是簡(jiǎn)單SELECT MIN(price)而是按商品ID聚合取各店鋪?zhàn)钚聝r(jià)格再比最低價(jià)。用原生SQL寫(xiě)SELECT jd_id, shop_id, price, MAX(created_at) as latest_time FROM myapp_product GROUP BY jd_id, shop_id ORDER BY latest_time DESC LIMIT 1;但Django ORM更清晰from django.db.models import Max, OuterRef, Subquery def get_latest_prices(): # 先查每個(gè)商品ID店鋪的最新記錄ID latest_ids Product.objects.values(jd_id, shop).annotate( latest_idMax(id) ).values(latest_id) # 再用這些ID查完整記錄 latest_products Product.objects.filter( id__inSubquery(latest_ids) ).select_related(shop) # 按jd_id分組找最低價(jià) result {} for product in latest_products: if product.jd_id not in result: result[product.jd_id] { title: product.title, min_price: product.price, cheapest_shop: product.shop.name, all_shops: [] } result[product.jd_id][all_shops].append({ shop: product.shop.name, price: float(product.price), sales: product.sales }) if product.price result[product.jd_id][min_price]: result[product.jd_id][min_price] product.price result[product.jd_id][cheapest_shop] product.shop.name return result這段代碼可讀性高且能在Django shell里直接測(cè)試python manage.py shell from myapp.utils import get_latest_prices get_latest_prices()比價(jià)結(jié)果返回字典前端直接JSON序列化即可。關(guān)鍵點(diǎn)不要在View里寫(xiě)復(fù)雜SQL把邏輯封裝成獨(dú)立函數(shù)這樣單元測(cè)試、緩存、異步調(diào)用都方便。4. 實(shí)操全流程從零開(kāi)始搭建可運(yùn)行系統(tǒng)的完整步驟4.1 環(huán)境準(zhǔn)備三步搞定本地開(kāi)發(fā)環(huán)境Python環(huán)境必須3.8京東頁(yè)面大量使用ES6語(yǔ)法舊版Python的requests可能不兼容HTTPS證書(shū)。用pyenv裝3.10# macOS brew install pyenv pyenv install 3.10.12 pyenv global 3.10.12Windows用戶(hù)直接下載Python 3.10安裝包勾選“Add Python to PATH”。Django與依賴(lài)安裝創(chuàng)建requirements.txt明確版本Django4.2.7 requests2.31.0 beautifulsoup44.12.2 fake-useragent1.4.0 mysqlclient2.2.0 brotli1.1.0 djangorestframework3.14.0執(zhí)行pip install -r requirements.txt。注意mysqlclient安裝可能報(bào)錯(cuò)Windows需先裝Visual Studio Build ToolsmacOS需brew install mysql-client。MySQL配置本地開(kāi)發(fā)用Docker最穩(wěn)不用手動(dòng)裝MySQL用Dockerdocker run -d \ --name jd-mysql \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORDroot123 \ -e MYSQL_DATABASEjddata \ -v /path/to/mysql/data:/var/lib/mysql \ -d mysql:8.0然后在Django的settings.py里配置DATABASES { default: { ENGINE: django.db.backends.mysql, NAME: jddata, USER: root, PASSWORD: root123, HOST: 127.0.0.1, PORT: 3306, OPTIONS: { init_command: SET sql_modeSTRICT_TRANS_TABLES, }, } }4.2 初始化項(xiàng)目Django項(xiàng)目骨架與核心App創(chuàng)建創(chuàng)建項(xiàng)目與Appdjango-admin startproject jdbijia . python manage.py startapp crawler python manage.py startapp product在settings.py里注冊(cè)AppINSTALLED_APPS [ django.contrib.admin, django.contrib.auth, django.contrib.contenttypes, django.contrib.sessions, django.contrib.messages, django.contrib.staticfiles, rest_framework, crawler, product, ]定義Models并生成Migration在product/models.py寫(xiě)完P(guān)roduct和Shop模型后執(zhí)行python manage.py makemigrations python manage.py migrate如果報(bào)錯(cuò)django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module說(shuō)明mysqlclient沒(méi)裝好回到4.1重裝。創(chuàng)建超級(jí)用戶(hù)并啟動(dòng)Adminpython manage.py createsuperuser python manage.py runserver訪問(wèn)http://127.0.0.1:8000/admin用剛建的賬號(hào)登錄就能看到空的Product和Shop列表——這是驗(yàn)證數(shù)據(jù)庫(kù)連通性的第一步。4.3 爬蟲(chóng)腳本編寫(xiě)一個(gè)可單獨(dú)運(yùn)行的爬蟲(chóng)命令Django支持自定義management command把爬蟲(chóng)做成python manage.py crawl_jd --keyword手機(jī)在crawler/management/commands/crawl_jd.py寫(xiě)from django.core.management.base import BaseCommand from crawler.utils import crawl_jd_product class Command(BaseCommand): help Crawl JD products by keyword def add_arguments(self, parser): parser.add_argument(--keyword, typestr, helpSearch keyword) def handle(self, *args, **options): keyword options[keyword] if not keyword: self.stdout.write(Please provide --keyword) return crawl_jd_product(keyword) self.stdout.write(fSuccessfully crawled {keyword})在crawler/utils.py寫(xiě)核心爬取邏輯import requests from bs4 import BeautifulSoup import re import json from product.models import Product, Shop def crawl_jd_product(keyword): # 1. 搜索頁(yè)獲取商品ID列表 search_url fhttps://search.jd.com/Search?keyword{keyword} headers {...} # 同3.1節(jié) session requests.Session() session.get(https://www.jd.com) response session.get(search_url, headersheaders) soup BeautifulSoup(response.text, html.parser) item_ids [] for item in soup.select(li.gl-item): data_sku item.get(data-sku) if data_sku: item_ids.append(data_sku) # 2. 遍歷商品ID抓詳情頁(yè) for jd_id in item_ids[:10]: # 先抓10個(gè)測(cè)試 detail_url fhttps://item.jd.com/{jd_id}.html response session.get(detail_url, headersheaders) if response.status_code ! 200: continue # 解析價(jià)格、銷(xiāo)量、店鋪 price parse_price(response.text) sales parse_sales(response.text) shop_name parse_shop(response.text) # 存庫(kù) shop, _ Shop.objects.get_or_create(nameshop_name) Product.objects.update_or_create( jd_idjd_id, defaults{ title: parse_title(response.text), price: price, sales: sales, shop: shop, } )運(yùn)行命令python manage.py crawl_jd --keyword手機(jī)等待2分鐘刷新Admin后臺(tái)Product列表里就會(huì)出現(xiàn)商品——這是系統(tǒng)跑通的第一個(gè)里程碑。4.4 API接口開(kāi)發(fā)用DRF暴露比價(jià)結(jié)果安裝DRF并配置在settings.py加REST_FRAMEWORK { DEFAULT_PAGINATION_CLASS: rest_framework.pagination.PageNumberPagination, PAGE_SIZE: 20, DEFAULT_RENDERER_CLASSES: [ rest_framework.renderers.JSONRenderer, ], }寫(xiě)Serializer和View在product/serializers.pyfrom rest_framework import serializers from .models import Product, Shop class ProductSerializer(serializers.ModelSerializer): shop_name serializers.CharField(sourceshop.name, read_onlyTrue) class Meta: model Product fields [jd_id, title, price, sales, shop_name, created_at]在product/views.pyfrom rest_framework.views import APIView from rest_framework.response import Response from .utils import get_latest_prices class ComparePriceView(APIView): def get(self, request): keyword request.query_params.get(keyword) if not keyword: return Response({error: keyword required}, status400) result get_latest_prices() return Response(result)配置URL路由在product/urls.pyfrom django.urls import path from . import views urlpatterns [ path(api/compare/, views.ComparePriceView.as_view(), namecompare-price), ]在主urls.py includeurlpatterns [ path(admin/, admin.site.urls), path(, include(product.urls)), ]測(cè)試API啟動(dòng)服務(wù)后用curl測(cè)試curl http://127.0.0.1:8000/api/compare/?keyword手機(jī)返回JSON格式的比價(jià)結(jié)果前端可直接消費(fèi)。5. 常見(jiàn)問(wèn)題與避坑指南那些讓你debug三天的隱藏雷區(qū)5.1 requests報(bào)錯(cuò)排查速查表報(bào)錯(cuò)信息根本原因解決方案Connection refused京東服務(wù)器拒絕連接通常是IP被封換代理IP或降低請(qǐng)求頻率加time.sleep(2)SSLError: certificate verify failedPython證書(shū)庫(kù)過(guò)期執(zhí)行pip install --upgrade certifiReadTimeout京東響應(yīng)慢超時(shí)未返回把timeout10改成timeout(10, 30)連接10秒讀取30秒JSONDecodeError解析__INITIAL_STATE__時(shí)JSON格式錯(cuò)誤用try...except捕獲打印原始HTML定位問(wèn)題位置AttributeError: NoneType object has no attribute textBeautifulSoup找不到元素HTML結(jié)構(gòu)變了改用find_all()加正則或加默認(rèn)值soup.find(span) or 實(shí)操心得京東反爬升級(jí)后__INITIAL_STATE__可能被加密或拆分成多個(gè)變量。這時(shí)別硬解直接用soup.select(span.p-price)抓HTML里的價(jià)格準(zhǔn)確率95%以上。技術(shù)選型要?jiǎng)?wù)實(shí)不是越復(fù)雜越好。5.2 Django數(shù)據(jù)庫(kù)常見(jiàn)故障現(xiàn)象原因解決方案django.db.utils.IntegrityError: (1062, Duplicate entry xxx for key product_product.jd_id)商品ID重復(fù)插入Product.objects.update_or_create(jd_idxxx, defaults{...})替代create()django.core.exceptions.FieldError: Cannot resolve keyword price into fieldModel字段名寫(xiě)錯(cuò)或用了保留字檢查price是否和Django內(nèi)置字段沖突改名jd_pricedjango.db.utils.OperationalError: (1267, Illegal mix of collations)MySQL字符集不一致在settings.py DATABASES里加OPTIONS: {charset: utf8mb4}django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb modulemysqlclient沒(méi)裝好Windows裝Microsoft Visual C Build ToolsmacOSbrew install mysql-client pip install mysqlclient5.3 畢設(shè)答辯高頻問(wèn)題預(yù)判與回答Q京東有反爬你們?cè)趺幢WC數(shù)據(jù)持續(xù)可用A我們沒(méi)做“永久可用”而是做“可維護(hù)”。爬蟲(chóng)腳本里所有CSS選擇器都用正則HTML結(jié)構(gòu)一變改一行正則就行所有請(qǐng)求頭都封裝在config.py里反爬策略升級(jí)時(shí)集中修改這里。答辯時(shí)可以現(xiàn)場(chǎng)演示把p-price改成J_price重新運(yùn)行爬蟲(chóng)數(shù)據(jù)照常入庫(kù)。Q比價(jià)結(jié)果準(zhǔn)確嗎怎么驗(yàn)證A我們做了三重驗(yàn)證1Admin后臺(tái)人工抽查看價(jià)格和銷(xiāo)量是否和京東頁(yè)面一致2寫(xiě)單元測(cè)試用固定HTML文件做解析斷言?xún)r(jià)格提取正確3部署后每天定時(shí)爬10個(gè)商品郵件發(fā)送比價(jià)報(bào)告連續(xù)一周無(wú)誤差才算通過(guò)。Q數(shù)據(jù)庫(kù)設(shè)計(jì)為什么不用NoSQLA因?yàn)楸葍r(jià)是強(qiáng)關(guān)系查詢(xún)——要查“同一商品ID在不同店鋪的價(jià)格”這需要JOIN和GROUP BYMySQL的B樹(shù)索引比MongoDB的文檔掃描快10倍。NoSQL適合日志、消息隊(duì)列不適合電商比價(jià)這種事務(wù)型場(chǎng)景。Q代碼開(kāi)源嗎A核心邏輯已開(kāi)源在GitHub可提供鏈接但京東的cookies和User-Agent池做了脫敏處理因?yàn)樯婕百~號(hào)安全。學(xué)生交畢設(shè)時(shí)這部分用占位符代替不影響功能演示。6. 項(xiàng)目擴(kuò)展建議從畢設(shè)到真實(shí)產(chǎn)品的進(jìn)階路徑這個(gè)系統(tǒng)不是終點(diǎn)而是起點(diǎn)。如果想把它變成真實(shí)可用的產(chǎn)品有三條清晰路徑增加監(jiān)控告警用APScheduler定時(shí)任務(wù)每天凌晨爬一次熱門(mén)商品如果某商品價(jià)格波動(dòng)超10%自動(dòng)發(fā)郵件給管理員。代碼只需10行from apscheduler.schedulers.background import BackgroundScheduler from django.core.mail import send_mail def check_price_change(): products Product.objects.filter(created_at__gtetimezone.now()-timedelta(days1)) for p in products: yesterday Product.objects.filter(jd_idp.jd_id, created_at__ltp.created_at).order_by(-created_at).first() if yesterday and abs(p.price - yesterday.price) / yesterday.price 0.1: send_mail(價(jià)格異動(dòng), f{p.title}價(jià)格變動(dòng){abs(p.price - yesterday.price)}, fromexample.com, [adminexample.com]) scheduler BackgroundScheduler() scheduler.add_job(check_price_change, interval, hours24) scheduler.start()接入微信小程序Django REST API天然支持小程序。小程序端用wx.request調(diào)用/api/compare/?keyword手機(jī)返回JSON后用wx:for渲染列表。難點(diǎn)在登錄態(tài)——小程序用wx.login()獲取code后端用https://api.weixin.qq.com/sns/jscode2session換openId存進(jìn)Django User表實(shí)現(xiàn)賬號(hào)體系。部署到云服務(wù)器用NginxGunicorn部署比本地runserver穩(wěn)定百倍。Dockerfile示例FROM python:3.10-slim WORKDIR /app COPY requirements.txt . RUN pip install -r requirements.txt COPY . . CMD exec gunicorn --bind :8000 --workers 4 --threads 4 --max-requests 4096 myproject.wsgi:application部署后用docker-compose.yml一鍵啟MySQLDjangoNginx學(xué)生答辯時(shí)演示“線上系統(tǒng)”比本地localhost高級(jí)得多。最后分享一個(gè)小技巧京東商品ID不是隨機(jī)的前幾位代表品類(lèi)。比如1000開(kāi)頭的是手機(jī)2000開(kāi)頭的是電腦。爬蟲(chóng)時(shí)可以按ID段分批抓取避免全網(wǎng)掃蕩觸發(fā)風(fēng)控。這個(gè)規(guī)律在京東開(kāi)放平臺(tái)文檔里有寫(xiě)但很少有人注意——真正的工程能力就藏在這些文檔縫隙里。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
大香网伊人久久综合网eew| 色婷婷99| 九九碰九九爱97超| 日日骚精品视频| 日韩熟妇二区| 热99这里只有精品| 亚洲日韩美女中文字幕乱| 天美传媒精品一区二区三区| 夜夜高潮夜夜爽| 亚洲国产日韩欧美熟妇在线| 粉嫩av久久一区二区三区| 人妻丰满熟妇av无码区蜜桃| 亚洲淫色网中文| 玖玖97综合| 亚卅熟女乱色| 欧美系列在线一区二区| 隔壁邻居波多野结衣中文字幕 | 永久电影三级在线观看| 欧洲一区二区| 精品美女人人干| 色诱中文字幕| 97超碰超欧美。| 精品人妻夜夜草| 99热伊人| 屌逼传媒| 国产亚洲在线观看| 亚洲各类熟们中文字幕| 操逼视频亚洲| 金莲网址| 国产aⅴ无码片毛片一级网站| 成人五月天丁香激情综合| 欧美在线天堂| 精品传媒在线一区| 亚洲国产精品无石码久久| 黑人粗大V S日韩女优视频| 99在线观看无大码| 91亚洲影院综合| 色999人与兽| 25国产精品免费观看| 97香蕉碰碰人妻国产欧美| 天堂中文资源在线bt| 密乳无码| 亚洲无码一二三区| 97摸视频| 五月丁香婷婷啪啪| 国产精品suv一区| 久久综合精品一区二区三区| 欧美亚洲宗合色性图| 高跟伊人julia ann| 欧美黑人与女人91~| 日本九九久久99播| 中文久久96| 加勒比综合a∨| 久久久99999久网站| 狠狠夜色午夜久久综合在线| 大屁股熟女一区二区三区| 日本高清一本二本免费不卡| 日本成人免费一区二区三区| 一起草欧美| 国产亚州高清国产拍精| 亚洲无码99| 不卡超碰护士AV在线免费播放| 日韩素人无码一区二区三区三州| 久久超碰98| 日本国产二线女色| 国产精品嫩草影院午夜两性| 99无码| 后入美女国产| 绑缚麻绳人妻寝取完整版| av东京热男人的天堂| 男人天堂最新手机版在线青青草| 免费岛国一级片| 国产在线视频二区| 超碰99在线观看| 有码免费观看| 一本久久久精品| 久草午夜| 97精品综合久久网| 熟女91网| 日本一级特级毛片视频| 婷婷色在线| 狠插 制服 自拍| 91模特在线观看| 中文字幕国产在线天堂| 粉嫩av在线一区二区| 五月丁香色综合| 91撸色网 玖玖网 欧美| 天天网综合| 男女猛烈无遮掩视频免费软件| 五月婷婷久久综合| 熟女色综合久久| 欧美另类色图片| 91欧美美女日韩国产婷婷| 九九热re99re6在线精品| 97精品| 日本3级一区二区免费| 九一综合精品视品av| 精品制服美女中文一区二区三区| 色综合V| 婷婷在线视频| 最新9久久久9免费视频| 国产第11页| 九九九免费视频| 亚洲日本韩国在线| 蜜桃狠狠色伊人亚洲综合 | 91碰碰碰| 3P丝袜熟女 色综合| 国产精品永久免费10000| 亚洲精品 大香蕉| 精品人妻伦一区二区三区久久| 成人线上超碰| 久久午夜伦| 久久久九九| 天天做日日做| 国产精品欧美激在线| 襙一襙| 九九九午夜| 老熟女综合网 | 精品大全99999| 色偷偷人人玩人人舔人人操人人摸人人爽| 日韩免费a级毛片无码a∨| 九月丁香婷婷| 亚洲午夜福利视频| 男人天堂网手机版婷婷| 亚洲欲色9532548967一区| 色约约一区=区三区| 大伊香蕉在线视频免费| 国产AV人人夜夜澡人人爽麻豆| 国产在线激情视频| 豆1无夜无码| 国模艳艳啪啪一区| 91精品婷婷国产综合久久| 精品少妇人妻av久久免费| 亚洲熟妇丝袜在线观看| 日韩成年人性爱视频| 二区熟妇韩日| 日本十八禁免费看污网站| 欧美日韩天堂| 九九99精品| 日本不卡一二区| 熟妇一区二区三区| 日韩av不卡在线看| 熟妇在线视频一区二区| 久久久久久久人妻丝袜| 久久超碰98| 激情网色| juliaann欧美丝袜办公室| 九九天堂| 国产97色在线| 99久久精品无码一区二区毛片免费| 一区=区三区视频| 99re免费视频精品全部| 日韩综合97P| 91狼人| 碰碰97| 在线免费试看60秒| 久操99| 国语精品内射在线观看| 欧美日韩制服| 精品欧美日韩在线观看| 日韩紧密久久| 国产版a级片直播在线| 亚洲毛片久久| 五月天亚洲网| 国产白嫩精品久久| 色爱天堂| 日韩色女精品| 亚洲淫乱骚妇AV| 99九九精品| 成人免费毛片| 97亚洲欧美| 97丝袜亚洲在线播放| 9久热| 国产精品爆乳懂色蜜乳| 情色五月天就去干| 久久熟女久| 成人性爱电影网| 成人午夜高潮av猛片| 老女人碰碰在线碰碰视频| www.婷婷| 夜夜嗨AV一区天天| 亚洲色图欧美视频| 久久美女福利是上海美女| 欧洲性爱无码区| 新怡红院| 五月天欧美色图| 91人妻视频在线| 老司机射| 亚洲精品国产熟女久久久久久| 91精品国产91熟女| 女人18精品一区二区三区| 操b在线观看| 日韩图色| 97欧美色| q2午夜理论片夜色av| 精品国产99| 开心五月天激情网| 欧美人人AAA| 中文字幕在线观看永久| heyZO天然素人无码AⅤ专区| 一级成人性爱| 日韩免费中文字幕视频| 影音先锋每日最新资源在线观看 | 久操精品网| 亚洲成a人片在线观看中文!!!| 精品人妻免费观看| 摸奶性爱视频网站在线免费播放| 韩国免费播放一级毛片| 日产操逼| 国产精品麻豆成人av| 精品无码秘 人妻一区二区 | 欧美狠狠操| 欧美男女午夜啪啪| 欧美精品人妻视频| 韩国一级做a久久久久| 精品少妇一区二区三区| 人妻少妇精品久久久久久| 国产性爱欧美性爱在线| 精品视频久久区| 欧美大干日韩| 熟女熟妇一区二区三区视频| 亚洲欧美另类小说| 日韩美女啪啪一区| 五月婷婷丁香中文字幕| 色婷网| 95人妻爽爽人人做人人澡| 五月丁香综合啪啪| 天天综合,91综合永久| 国产精品交换一区二区| 日本日日色视频| 狠狠躁日日躁夜夜躁A| 久久精品高清无码一区| 亚洲欧美综合图片| 婷婷色导航| 97人人操人人干| 久久久精品国产亚洲AV无码| 天天摸,夜夜摸| 日本潮催一卡操| 欧美精品精品一区二区| 国产精品国产自产高清AV| 国产精品一级特黄aaa大片在线观看| 色综合久久av| 依人大香蕉| 亚洲情色五月天 | 91伊人影视综合| 97爱b| 久久久久幕乱码| 蜜臀久久99精品久久久久久| 一个色导综合| 国产小u女在线观看| av九九| 欧美精品第四五页中文字幕在线观看| av2014 日韩在线中文字幕| 1区2区3区视频| 午夜乱轮操逼视频免费看| 国产亚洲禁久一区二区| 国产精品天干天干综合网麻豆| 亚洲国产福利视频| 欧美性生活男人的天堂| 丝袜 中出 制服 人妻 美腿 中文字幕| 免费国产视频| 人妻少妇av在线观看| 欧美熟妇乱码在线一区| 亚洲精品 欧美97色色| 日本孕妇一区二区视频操逼免费看 | 伊人欧美大香蕉视频| 亚洲欧美另类图片| 五月天黄色激情视频| 亚洲国产欧美日韩人妻日中文| 撸撸成人在线视频| 国产SV一线| 色网亚洲人| 最新日日夜夜天天干干| 久久久久久久 九九九九九九九 | 中文字幕亚洲在线一区| 日噜夜夜夜夜夜夜夜夜夜夜爽爽爽爽爽爽爽爽爽爽爽爽 | 一本大道青青| 啪啪AV导航| 国产白领连续中出在线观看| 久久久久久久| 99亚洲天堂| 国产精品无码av| 9/A片 | 综合色色婷婷| 亚洲欧美校园| 国产成人精品日本视频| 欧美精品三区| 男女性感激情网站| 国产精品在线网站| 国产精品区在线12p| 日韩AV中文字幕电影| 亚洲一区二区三区婷婷| 婷婷中文字幕| 国产9熟妇视频网站| 大香蕉日亚洲日本亚大| 国产女人91精品嗷嗷嗷嗷| 四虎在线观看网站| 国产 无码 一区二区| 东京热不卡视频| 免费一级a毛片久久久久久鸭绿欲| 顶级少妇BT天堂| 男人的天堂 在线一区| renqi久久久久久久久久久久| 97在线免费公开视频| 色99视频| 超碰2017| 色欲Av人妻精品一区二| 中文字幕精品人妻丝袜| J?P?NESEHD熟女熟妇伦| 亚洲天堂日本| 激情五月天社区| 色亚洲欧美| 96AV精品| 日韩中文字幕精品一区在线| 国产精品乱码久久久、久久| 狠狠爱综合网| 精品国产乱码久久| 大香蕉综合久久| 欧美日韩一区二区三区四区蜜桃| 日本 情色 1区2区3区| 久精品无码av一区二免费国产在线观看| 日韩 女同 综合| 国产乱伦性爱AV| 97资源久久| 一区二区三区四区五区高清无码永久视频| 日本性爱欧美性爱| 亚洲se电影| 国产女上位好爽在线| 色吧5亚洲| 少妇高潮对白在线观看| 亚州性色| 欧美日日人人天天| 啊a一区在线| 一起草欧美| 91亚洲黄色网| 久久一留热品黄| 天天做日日做天天欢。| 成人蜜乳小视频网站| 久热久操| caopeng97人妻| 黄色高清无码无码破解免费暗网| 亚洲欧美日韩中文播放 | 人人妻人人爽 97人人看碰人免费公开视频| 成人女人国产| 国内三级自拍小视频在线观看| 97天堂| 欧美精品,四区。五区| 好吊色在线观看| 三级色综合| 九t超碰| 97公开久久| 激情综合五月婷婷| 操操逼操操逼操操逼逼| 欧美亚洲自拍另类人妻| 久九九九九九九九热| 亚洲欧美色图小说| 91天天综合日韩欧美| 和协影院中文字幕三区| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 手机在线人成免费视频| 香港澳门日本三级网站| 一二三区精品视频| 超碰97极品9| 91在线色| 蜜臀99999| 亚洲91极品| 国产超碰| 91精品国产麻豆国产自产在| Blackedraw视频一区二区| 蜜臀无码视频在线观看| 搡老女人老91妇女老熟女| 亚州,欧美在线| 噜噜噜在线视频| 午夜福利国产欧美日韩夜夜| 超碰成人人人爽人人爽| 日本二三四区| www男人天堂| 日韩毛片9| 天天看高清麻豆| 天天爽夜夜欢视| 亚洲精品819| 亚洲欧洲偷拍一区| 人人乐大香蕉| 青娱乐av在线| 精品人妻1237| 嗯嗯嗯啊啊啊操的我好爽 | 91狠狠色丁香婷婷综合久久| 久久激情网| 人人做人人妻人人夜视频| 欧美极品性爱天天射| 熟女五十路一区二区三| 日本一区二区三区四区免费观看| 国产偷拍自拍在线视频| 国产三区免费在线观看| 夜色AV无码手机在线影院| 色噜噜精品一区二区三| 色香蕉影院| 亚洲人人操| 992这里有精品| 久久天堂婷婷网| 欧美第一页性| 精产国品一区二三产品| 超碰1997| 欧美欧美少妇| 中文字幕日韩电影人妻| 亚洲熟女乱色一区二区三区久久久 | 五月天亚洲网| 亚洲欧美碰碰| 不卡中文字幕aⅴ在线| 人妻偷拍一区二区三区| 日本亚洲熟女视频| 夜夜中出国产| 亚州色国| 9久久久久久| 欧美男人天堂| 一区操逼日比视频| 亚洲综合另类| 情色五月天网| 亚洲天堂男| 国产精品白丝在线播放| 国产精品自产拍在线观看社区| 99热这里| 熟女高潮合集-永久久久-成人AV| 中文字幕乱妇免费视频| 性爱视频免费网址| 免费黄色片子| 97在线观视频免费观看| 中文字幕第2页| 蜜乳视频网站| 色婷五月天| 东京热av男人的天堂| 亚洲精品乱码久久久久久蜜桃麻豆| 国语少妇精| 欧美激情久久久久| 色综合天天爱去电影网| 不卡一区二区日本视频| 91视频观看网站| 青青草中出视频| 麻豆视频国产一区二区| 亚洲少妇喷视频看| 国模91| 一级做a爰片性色毛片久久| 日韩AC| 天天α片| 小说区 图片区色 综合区| 熟女视频久久| 日韩精品9区| 无码人妻精品酒店| 天天爽天天干| 综合熟妇一区二区三区| 100啪啪视频大全| 亚洲日本成人动漫| 亚洲第一男人天堂| 少妇高潮对白在线观看| 青青青青草av在线观看| 亚洲婷婷综合网| 国产伦精品一区二区三区视频女| 老司机福利社视频在线观看| 特级丰满少妇一级AAAA爱毛片| 超硑97精品| 污色区网站| 啊啊啊啊一区| 亚洲欧美首页| 91粉芽高清在线一区二区| 爱丝福利| 免费A V在线播放| 99精品伊人| AV一起草在线| 欧美18禁91| 成人国产视频在线观看| 日韩欧美女优电影| 97在线视频观看| 性站 | 色婷婷丁香五月| 暴力av在线| 91超碰人人操| 亚洲在线a| 国产11页| 天天看天天干| 精品九九九九九九九九九| www.yeyecao| 日韩精品操少妇| 亚洲制服aⅴ中文字幕| 日韩精品怡红院| 午夜影美女日鸡鸡天天视频国产| 久久99干一本高清| 综合色图亚洲欧美| 岛国黄片网站| 天美传媒av一区二区| 欧美激情中文字幕另类小说| 快播电影网日韩新片| 大香蕉九九| AV中亚| 色婷婷综合久久久久中文一区二区| 国产91福利小视频在线观看| 97一区二压| 国产精品无码AV网站| 男女啊啊啊| 美日韩一卡二卡三卡免费人妻精品| 国产在线综合网| 成人黄页| 偷拍伦理视频| 亚洲字幕一区二区| 乱人乱色一区二区三区免费| 亚洲熟妇乱女区二区三区| 中文字幕,人妻,日韩| 国产精品3| 骚逼高潮久久精品| 国产一级137片内射麻豆| 精品人妻视频一区二区在线播放 | 蜜乳av一区二区三区| 日日夜夜狠狠| 欧美18 在线观看| 久久精品成人一区二区三区蜜臀| 一本久道久久综合狠狠爱| 东京热视频网| 欧美偷拍| 日本孕妇孕交| 中文字幕av久久爽Av| 99热只有这里有精品| 三上悠亚在线毛片91| 亚洲一二三四区在线免费看视频 | 一个人免费视频观看在线WWW | 天天爽人人综合免费7799| 97综合网| 色色97爱| 国产精品色约约| 男女91| 欧美日韩99| 欧美日韩亚洲一区二区在线观看| 成人久久久| 安微少妇操BBB| 欧美一区二区传媒| www.狠狠干.coom| 久久精品国产72国产精品福利| 草草草视频在线免费看| 人妻第一页| 日本久久999| 操b网站亚洲无码| 一区二区三区在线资源| 综合网色| 操婷婷逼| 精品毛片久久久精品毛片| 天天懆天天日| 免费av高清无码| 啊啊啊啊啊在线| 超碰97男女| 97在线观看视频| 超碰久久精品| 激情综合网一盗摄| 国产人妻一区二区三区欧美毛片| 大香蕉 222| 日本亚洲vr欧美不卡高清专区| 激情丁香五月婷婷| 五月天婷婷久久| 天美麻花大全视频| 欧美激情综合| 思思热在线视频精品| 日韩AV熟女乱伦| 日韩av一级黄片| 最新中文字幕精品在线| 国产精品自在线发布| 日韩欧美中文| 福利在线黄片| 欧美精品999| 色99视频| 亚洲情色婷婷五月天| 欧洲综合视频| 屌妞视频久久久久久久| av天天在线| 加勒比伊人综合| 91视频综合在线| 97在线视频观看免费| 亚春色色| 日本一二区不卡| 欧美精品成人一区二区在线观看| 人人妻碰人人免费| 国产免a费看黄片在线| 欧美成人AⅤ大片在线观看| 粉嫩粉嫩一区性色AV片| 岛国精品视频在线观看| 精品妇女一区二区三区| 好爽,再快点啊哈嗯嗯嗯嗯| 91精品成人| 看看日B真人视频| 国产成人五月天丁香花| 老司机福利青青草| 日本东京热加勒比久久| 成人在线视频网| 麻豆亚洲Av成人无码一区精品| 欧美色图片91| 欧美在线第五页| 欧美人妻少妇| 中文字幕一区电影在线观看| 99热9| 色女99一级片在线观看| 蜜臀久久99'精品久久久| 欧美高清91| 国内毛片热久久思思热| 抽插无码高清一区| 精品v1区| 午夜福利合集| 国产精品久久久久久久AV大片| aⅴ日韩成人电影av在线免费看av大全| 超碰国产在线| 综合97亚洲| 欧美激情区| 国产51色综合久久免费| 殴美,日韩国产伦精品| 传媒免费一区二区三区| 国产精品熟女一区二区三区| 精品在线观看视频在线| 久久综合日韩亚洲欧美| 黑人性暴力毛片| 黄色片一区二区三区四区五区| 一级免费啪啪片| 精久久久91| 懂色av一区二区三区天美传媒| 国产操操日韩三级黄| 男人天堂.AB| 97资源站国产精品| 色乱二区| 日本久久综合| a片 xxxx受爽视频| 丁香五月天堂| 麻豆区久久久久亚| 亚洲免费成人在线高清无码视频| 综合熟女| 96国产精品| 久久久国产亚洲精品系列| 久久的网站啊啊啊啊啊| 久久久人妻| 久久久久久久久久8888| 亚洲综合伊人| 伊人久久大香线蕉无码| 亚洲免费97免费| 精品性爱| 夜夜高潮夜夜爽高清视频一| 97综合久久| 久久人妻办公室视频| 成人资源中文字幕在线观看| 精品久久久久av影院| 丝袜视频一区二区在线播放国产中文| 国产日韩精品suv| 亚洲无套久久嗯嗯| 懂色av一区二区三区天美传媒| 婷婷综合五月天| 人妻蜜桃臀| 久久亚洲av成人无码国产| 亚洲图片偷拍欧美| 欧美视频中文字幕区| 精品少妇人妻一区二区三区| 粉嫩不卡一区二区性爱| 久草久日| 97精品综合久久| 东京太热男人的天堂久久久| 天天日天天色| 精品九九| 色欲人妻一区二区在线| 老熟妇一区二区三区…| 欧美激情亚洲情色| 在线国产探花| 无码人妻1727| 色情亚洲日本成人| 人妻一区视频| 综合亚州欧美| 欧美性猛交美女自慰91| 麻豆国产精品午夜视频| 美女诱惑在线一区| 在线观看国产黄色| 2017天天插| 天天弄欧美| www.91逼逼.com| 久久99久久99精品天美传媒棢·纸:. | 国产激情在线| 亚洲欧美日韩不卡人妻| 成 人 影视 一区 二区 三区 四区| 永久电影三级在线观看| 中文字幕女同在线| 五月丁香综合| 亚洲精品一区二区精华| 东京热大香焦| 男人夜色天堂ss| 欧美日韩电影成人在线| 亚洲成人AB| 国产不卡精品91| www.大香| 97超碰欧美| h色99999| 日本一区二区电影网站| 熟女精品va中文字幕| 啊v在线观看视频| 91丰满| 密臀在线免费观看| 欧美人妻久久精品二区三区| 91青青| 超碰这里只有精品| 色噜噜狠狠色综合日日| 亚洲无码超碰免费| 国产亚热在线久久| 江都AV在线| 最新国产精品久久精品| 免费视频在线一区二区不卡| 玖玖资源视频一区二区三区| 中文乱码99| 久久伊人大香蕉| 日本成人A片网站| 欧美美女视频| 欧美色图自拍| 99只有精品| 久久国色天香香蕉| 欧美婷婷| 在线性黄高清免费视频| 国产不良强奸视频免费看| 亚洲无码日韩电影| 欧美高清在线| 亚洲精品国产av天美传媒| 超碰97欧美在线| 久久久中文| AV无码久久久精品| 再深点灬舒服灬太大了添视频| 国产福利精品最新在线| 亚洲影院无码在线| 屁股久久久久久| 欧美草草高清日韩视频| 青青草玖玖爱| 97频视在线| 一区二区三区蜜桃成人撸久久东京热| 日韩中文字幕二区| 91在线国产后入风骚翘臀美女素人| 超碰爽人妻熟女Av| 色五月婷婷麻豆在| 国产亚洲综合欧美一区| 欧美日韩国内不卡| 午夜福利精品| 人人操人人操人人操人人操人人操人人人11.CM | 97综合国产精品高潮久久| 天天添天天干电影| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 第45页一区二区| 女同亚洲欧美一二三区久久电影| 日韩午夜啪啪视频| 新版天堂中文资源8在线| 大香网站| 黑人无码一区二区| 人人操人人摸人 | 亚洲做性| 97超级久久| 午夜传煤十二区精品| 大逼色网站| 大香蕉伊人75| 2019天天干| 欧美第一页| 天天看夜夜看日日干| 看日韩黄片| 色屁屁影院www国产| .精品人妻一区二区三| 综合激情二| 成全在线观看免费观看| 精品视频免费在线一区| 日本欧美一区二区三区免费| 国产乱码精品一区二区三区四川| 中日韩熟女| 制服乱伦| 欧美综合97www| 色婷婷在线视频精品导航| 久久夜色一区二区| 色眯眯av| 99re6在线视频播放免费精品| 唯美清纯 妖精视频| 屁股久久久久久久| 日韩无码三级影院| 亚洲精品无码少妇久久| 98色网| 天天爽夜夜欢视| 久湿久久| 五十路熟女人妻一区二区在线观看| 欧美影院一区二区三区| 亚欧性爱无码| 伊人五月天| 日韩三级网址| 久久免费精品视频免一| 丁香六月啪| 精品久久在线区一区| 国产精品久久久久久久久久久久久久久久 | 久久久草草精品| 国产99999| 免费一级a毛片久久久久久鸭绿欲 国产精品亚洲天堂网址 | 天天爱天天操| 日韩国产十八禁| 久久熟女嫩草成人片免费| 欧美亚洲激情| 中文字幕一区二区韩| 91美女中出| 天天色怡春院| 熟妇视频一区二区三区在线| 啪啪视频亚洲第一| 国产剧情一区在线观看| 色偷综合| 国产在线综合网| 精品久久人妻成人网| 亚洲日韩青青草色月| 5252色欧美在线男人的天堂| 人人操人人插 - 百度 - 百度| 欧美成va视频网站| 伊蕉97蜜桃97狠狠综合干| 九九九九AV| 夜夜影视四色| 亚洲妇色| 男人的天堂网页| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 玖玖人人爱| 夜夜做夜夜爽精品视频| 欧美A片中文字幕| 激情自拍 校园春色| 天天天操天天天爱| 一个国产在线综合网站| 熟女丰满人妻一区| 欧美男人的天堂| 色欲蜜臀AV| 久久精9| 男人女人18禁片免费看网站| 亚洲丝袜二区| 亚洲欧美综合图片| 国产亚州高清国产拍精| 人妻少妇三级| 亚洲?V无码专区在线电影| 成人影 天天操 亚洲| 久久久91| 婷婷99狠狠| 怡春院久久| 熟女视频久久| 一本色道久久综合亚洲二区三区| 亚洲1区2区三区高清中文字幕| AV高清一区| 日产欧美电影一区二区三区| 少妇蜜汁| 国产精品第一区第一页| 女人妻一区| 精品国产av一区二区三区四区入口| 亚洲情色91| 欧美中文字幕精品人妻| 中文无码一二三区| 精品少妇999| 中文一区二区婷婷视频| 激情综合网亚洲| 97爱爱爱综合| 国产区日韩区在线观看| 中文字幕在在线观看网站| 成人蜜乳小视频网站| 精品人妻夜夜草| 手机在线免费看的av| 夜夜福利| 99久久精品国产高潮| 亚洲色天堂九9| 99热9| 91天天综合日韩欧美| 欧美另类色| 级做a爱无码性色永久免费| 亚洲黄日韩无码专区| 国产av强奸美女| 欧美日韩97在线| 99视频精品| 少妇综合网| 日韩av色图综合| 午夜偷拍久久熟女| 亚洲女优有码无码高清| 好吊妞转入那个网| 91久久免费视频互動交流| 97色涩| 中文字幕亚洲在线一区| 火箭成精品视频884必出精品| 神马精品视频| 艹精品| 97美日韩视频| 精品一区二区三区最新| 一区二区影院| 另类欧美色| 国产丰满少妇久久久精品影院| 国产中文精品一区二区在线观看| 亚洲九九视频| 精品久久久久黄少妇| a天堂视频| 91 丝袜在线播放| 1024手机看片欧美日韩| 九九色热| 国产对白刺激视频| 人妻精品一区二区三区| 青青国产在线拍揄自揄拍| 999国产精品999| 欧美色网| 亚洲 中文 欧美 日韩 在线| 香一区二区三区| 亚洲操逼无码| 日本黄色精品专区网站| 九九九国产精品| 亚洲黄日韩无码专区| 97婷婷色| av在线免费一区二区| 乱欲视频| 日韩97超碰| 日欧毛片久久| 欧美精品另类人妖xxxx| 黄色高清无码无码破解免费暗网 | 欧美中文字幕男人天堂久久精品 | 禁止观看美女黄| 国产免费一区在线观看| 五月丁香六月综合缴清无码| 人妻熟女一区二区在线视频| 人妻少妇色综合| 国产精品经典一卡久久久 | 欧美后入式| 日韩情色AV| 精彩视频日韩| av天堂影视中文在字幕在线中文| 日韩丰满熟妇| 老司机天天操| 日本一区二区亚洲综合| 欧美激情在线观看视频| 欧美综合自拍亚洲综合图| 国产美女激情| 亚洲综合在线高清| 黄页大片在线观看| 狂操嫩妻视频一区二区三区| 日本精品成人无码| 国产成人精品日本视频| 亚洲1区2区三区高清中文字幕| 内射老妇BBWX0C0CK| 色激情综合网站| 午夜爽爽爽| 久久二| 亚洲国产天堂| www.91视频网| 水滴偷拍| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 成人26uuu| 国产精品久久久吖| 欧亚无码视频| 91久久免费视频互動交流 | 加勒比综合九九99视频在线播放| 91女人的网站| 久久综合乱子伦国产免费| 殴美性色a级欧美| 中文字幕一区av| 人妻久久久久久久久久久久久久久| a在线视频免费观看| 亚洲aV无码成人在线观看| 免费毛片在线播放| **一级毛片国产| 97福利视频| 亚州色图第三区| 殴美,日韩国产伦精品| 91亚洲不卡一区| AV天堂男人的天堂| 熟妇人妻一区二区三在线| 中文一区在线日| 日韩二区三四区五区六区在线看| 伊人嫩草| 欧美在线天堂| 99久久国产精品免费高潮| 人妻干天天| yellow网站免费观看日韩高清无码| 亚洲日韩美国人妻| 日欧操屄视频| 一区二区三区 丝袜 高跟 美腿| 日本三级小说中文字幕| 做爱福利视频一区二区| 热久久无毒不卡| 人人妻人人澡人人爽久久av| 亚洲视频中文一区| 久久青青草原免费视频| 操逼操操操91| 97天天摸天天碰| 大香蕉在线免| 蜜区区视频79| 日韩三级伦理中文字幕| 青青操综合网| 99热精品在线| 99RE在线视频精品,这里只有精品| 好爽免费视频,| 男人天堂新| 欧美天天干| 五月丁香久久| 久久久久密臀一区二区| 欧美久久人体| 国产成人超碰在线| 亚洲第一无码播放立川理惠| 91人人爽人人爽| 夜夜青青无码影院| 国产深夜福利| 国产精品蜜乳AV| 国产丝袜美女诱惑| 色97综合中文字幕| 岛国黄片网站| 99自拍视频在线| 亚洲和欧美裸体美女双飞视频| 春色91| 操迟操逼在巾线Fre看| 99色在线| 九九人妻| 亚洲av无码国产精品字幕| 日本污ww视频网站| 精品无码一二三四区| 超碰色图| 韩日无码在线观看| 亚洲淫乱骚妇AV| 啊啊啊啊免费视频| 特级毛片特黄久久免费看| 久久久久骚| 极品美女嘿咻| 久久久久久久久成人av解说| 91扒丝袜综合在线| 在线视频资源| 久久香蕉综合一本到3atv| 96免费视频在线| 久久专区| 婷婷五月天基地| 玖玖大干人妻| 日韩色| 日韩精品99久久久久久中文字幕 | 3p国产欧美99热| 欧美青青视频| 摸奶性爱视频网站在线免费播放| 亚洲91少妇| 男人天堂新| 久热婷婷| 高清无码91| 国产男女无套视频免费观看| 操淫穴亚洲五月丁香 | 久偷拍| 国产福利精品98视频| 一区二区激情国产熟女| 凹凸 69堂 在线播放| 青娱乐久久艹| 久污| 国产浮力影院第1页| 1000午夜黄色| 日韩综合无码色欲vv| 亚洲码和欧洲精品激情系列| 狠狠操使劲操| 亚州操操穴网| 欧美亚洲| 欧美三级一级| 偷拍 欧美 日韩| 97色色色综合网站| 国产成人 综合亚洲 天堂| 亚洲中文字幕乱码无码一区二区| 神马久久久久| 快点操死我| 蜜乳AV.COM| 精品九九九九九九九九九| 成人亚欧免费视频| 四虎免费视频| 日本岛国黄色网址 | 色av中文字| 亚洲国产综合视频| 色婷婷综合久久久久中文一区二区| 四虎国产精品永久在线囯在线| 欧中日成人免费影视| 日熟女| 噜噜噜亚洲精品| 亚洲精品美女久久久久久久久| 另类图片五月天| 五月综合色| 91肉片| 精品乱码久久久久| 欧日a| 青草一区二区| 亚洲一区二区三区麻豆传媒| 91香蕉视频在线观看免费| 神马久久啊啊| 成人福利视频网| 超碰在线一区二区| 久久男人网| 国产精品成人无码av无码免费| 久久久无码精品人妻二区| 欧美熟爽综合| 美国一区二区三区视频| 啊啊啊男女| 久久久久久久 九九九九九九九| 九九综合久久中文字幕| 97 国产精品| 日韩伦理视频| 51一区二区三区| 久久久日本电影| 97日视频| 五月天激情小说| 被男人添B超爽视频| 91n处女在线观看| 中文有码第五页| 熟女突然公开看18禁影片| 26uuu最新| 在线播放中文字幕| 亚洲天堂另类美腿| 免费操逼视频下载| 色欲天天综合久久久无码网中文| 亚洲图片 激情小说| 青青草视频这里只有精品| 欧美一区二区三区另类精品| 欧美色网络| 天天综合网~91综合网| 怡红院一区二区熟女人妻| 都市激情人妻一区二区青青操视频| 一区二区三区精品久久| 精品一级毛片在线观看| 91劲爆| 欧美日韩电影一区二区| 高清国产av无码| 亚洲,日韩,欧美,成人播放| 91老司机视频| 五毛骚逼极品美女怕怕| 久久久久久久少妇| 久久98| 国产精品一级毛片不卡视| 亚洲AV无码乱码| 人妻丰满熟妇av无码区蜜桃| 抽插爽| oumeisetu综合| 91久久久久久久久18| 在线A日本| 久久久精品中文字幕爱豆| 青草精品视频日本久久久久网站在线| 欧美传媒一区| 青青草日本中文字幕| 96AV精品| 久久久婷婷| 在线国产探花| 色爱三区| 国产成人无码啪| 一区二区免费电影久久| 精品国产乱码久久| 超碰在线91| 蜜臀99久久精品久久久久久| 欧美亚洲国产日本在线,久久精品国产| 草b在线| 97亚洲国产影视| 天天色悠悠激情| 大香交伊人网| 能看的av| 激情五月天婷婷| 九九在线精品| 婷婷五月成人| 黑丝少妇| 国产精品麻豆成人AV艾秋| 九九热超碰| 99热亚洲| 99成人| 久久国产三区| 日韩乱码Av| 欧美中文字幕男人天堂久久精品| 伊人天堂在线| 97亚洲性爱| 中文字幕乱碼在线| 裸模AV女优| 欧美 日韩 婷婷 五月| 国产亚洲日本| 蜜桃臀一区二区aV| 玖色av| 啊啊啊好舒服视频| 久久久久久久久999|