Mongoose Queries 實(shí)戰(zhàn)指南從 Model 查詢方法到 Query 構(gòu)建器、游標(biāo)流式讀取與排序【免費(fèi)下載鏈接】mongooseMongoDB object modeling designed to work in an asynchronous environment.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/mo/mongooseMongoose 的 Model 提供了find()、findOne()、updateOne()、deleteMany()等一系列靜態(tài)輔助函數(shù)用于對 MongoDB 集合執(zhí)行 CRUD 操作且每一個(gè)函數(shù)都會(huì)返回一個(gè) mongooseQuery對象。本文以倉庫中的官方指南 docs/queries.md 為骨架結(jié)合 lib/query.js 與 lib/cursor/queryCursor.js 的源碼實(shí)現(xiàn)系統(tǒng)講解 Query 的兩種執(zhí)行方式、鏈?zhǔn)綐?gòu)建器、thenable 陷阱、引用填充、游標(biāo)流式讀取、與聚合管道的差異以及多字段排序幫助你寫出可預(yù)測、可調(diào)試、性能正確的查詢代碼。Model 的查詢靜態(tài)方法一覽Mongoose models 提供以下靜態(tài)輔助函數(shù)每個(gè)函數(shù)返回一個(gè) mongooseQuery對象Model.deleteMany()Model.deleteOne()Model.find()Model.findById()Model.findByIdAndDelete()Model.findByIdAndRemove()Model.findByIdAndUpdate()Model.findOne()Model.findOneAndDelete()Model.findOneAndReplace()Model.findOneAndUpdate()Model.replaceOne()Model.updateMany()Model.updateOne()在源碼層面這些靜態(tài)方法最終都會(huì)構(gòu)造一個(gè) Query 實(shí)例并執(zhí)行。以find()為例lib/query.js#L2547-L2564 中Query.prototype.find會(huì)設(shè)置this.op find然后通過merge(conditions)合并查詢條件Query.prototype.findOnelib/query.js#L2829則會(huì)額外處理投影與選項(xiàng)參數(shù)。Query 構(gòu)造函數(shù)lib/query.js#L116內(nèi)部維護(hù)了_transforms、_hooksKareem 中間件容器與_execCount記錄執(zhí)行次數(shù)這些字段是理解下文Query 不是 Promise的關(guān)鍵。執(zhí)行查詢的兩種方式執(zhí)行查詢時(shí)你將查詢條件寫成 JSON 文檔其語法與 MongoDB shell 完全一致const Person mongoose.model(Person, yourSchema); // 查找姓氏為 Ghost 的人只選擇 name 和 occupation 字段 const person await Person.findOne({ name.last: Ghost }, name occupation); // 輸出 Space Ghost is a talk show host console.log(%s %s is a %s., person.name.first, person.name.last, person.occupation);person的形態(tài)取決于具體操作findOne()返回一個(gè)可能為 null 的單個(gè)文檔find()返回文檔列表countDocuments()返回文檔數(shù)量updateOne()返回受影響文檔數(shù)等。更多細(xì)節(jié)見 Model 的 API 文檔。延遲執(zhí)行先用 Query 構(gòu)建再手動(dòng) exec()如果暫不await你會(huì)得到一個(gè)尚未執(zhí)行的 Query// 查找姓氏為 Ghost 的人 const query Person.findOne({ name.last: Ghost }); // 選擇 name 和 occupation 字段 query.select(name occupation); // 在之后的某個(gè)時(shí)刻執(zhí)行該查詢 const person await query.exec(); // 輸出 Space Ghost is a talk show host console.log(%s %s is a %s., person.name.first, person.name.last, person.occupation);上面的query變量類型是 Query。它允許你用鏈?zhǔn)秸Z法逐步構(gòu)建查詢而不是一次性給出完整的 JSON 對象。從源碼看Query.prototype.execlib/query.js#L4744-L4761會(huì)先做三項(xiàng)校驗(yàn)不再接受回調(diào)函數(shù)傳入函數(shù)會(huì)直接拋出Query.prototype.exec() no longer accepts a callback、校驗(yàn)操作類型op與關(guān)聯(lián)的model是否為空隨后通過opToThunk表查找到對應(yīng)操作的執(zhí)行函數(shù)。這也解釋了為什么先構(gòu)建、后執(zhí)行的延遲模式是可行的——Query 對象本身只是條件與選項(xiàng)的容器。JSON 文檔寫法與 Query 構(gòu)建器寫法等價(jià)下面兩個(gè)例子完全等價(jià)你可以按場景自由選擇// 方式一一次性傳入 JSON 文檔 await Person. find({ occupation: /host/, name.last: Ghost, age: { $gt: 17, $lt: 66 }, likes: { $in: [vaporizing, talking] } }). limit(10). sort({ occupation: -1 }). select({ name: 1, occupation: 1 }). exec(); // 方式二使用 Query 構(gòu)建器鏈?zhǔn)浇M裝 await Person. find({ occupation: /host/ }). where(name.last).equals(Ghost). where(age).gt(17).lt(66). where(likes).in([vaporizing, talking]). limit(10). sort(-occupation). select(name occupation). exec();構(gòu)建器模式由一組可鏈?zhǔn)秸{(diào)用的方法支撐。在 lib/query.js 中可以看到它們的實(shí)現(xiàn)輪廓limit(v)lib/query.js#L932會(huì)把值寫入this.options.limit并返回thisselect()lib/query.js#L1128內(nèi)部通過parseProjection解析字段投影并支持sanitizeProjection選項(xiàng)sort(arg, options)lib/query.js#L3135最多接受 2 個(gè)參數(shù)并將排序?qū)懭雝his.options.sort。所有方法都返回this從而形成鏈?zhǔn)秸{(diào)用。完整的方法清單見 Query 的 API 文檔。Queries 不是 Promise但它們是 thenableMongoose 的 Query不是Promise。它們只是 thenable擁有.then()方法的對象為async/await提供便利。關(guān)鍵在于與 Promise 不同調(diào)用 Query 的.then()會(huì)真正執(zhí)行查詢因此對同一個(gè) Query 多次調(diào)用then()會(huì)拋出錯(cuò)誤。const q MyModel.updateMany({}, { isDeleted: true }); await q.then(() console.log(Update 2)); // 拋出 Query was already executed: Test.updateMany({}, { isDeleted: true }) await q.then(() console.log(Update 3));源碼給出了直接證據(jù)。lib/query.js#L4901-L4934 中三個(gè)方法都通過exec()觸發(fā)真正的執(zhí)行Query.prototype.then function(resolve, reject) { return this.exec().then(resolve, reject); }; Query.prototype.catch function(reject) { return this.exec().then(null, reject); }; Query.prototype.finally function(onFinally) { return this.exec().finally(onFinally); };也就是說await query、query.then(...)、query.catch(...)、query.finally(...)都會(huì)各自觸發(fā)一次查詢執(zhí)行。如果想要安全的重復(fù)使用查詢條件請保留原始 Query 并在每次執(zhí)行前通過鏈?zhǔn)椒椒◤?fù)制/重建或者直接對同一條件對象多次調(diào)用 Model 靜態(tài)方法而不是復(fù)用同一個(gè) Query 實(shí)例。引用其他文檔PopulationMongoDB 沒有 join但有時(shí)我們?nèi)匀幌Ｍ樵兘Y(jié)果中能包含其他集合中文檔的引用。這正是 population填充 的用武之地。關(guān)于如何在查詢結(jié)果中引入其他集合的文檔詳見 Query#populate 的 API 文檔。Population 是查詢階段的可選步驟先執(zhí)行原始查詢拿到主文檔再根據(jù)ref與本地外鍵字段批量發(fā)起對目標(biāo)集合的二次查詢從而在業(yè)務(wù)層面模擬出關(guān)聯(lián)查詢的效果。流式讀取Query#cursor() 與 QueryCursor你可以從 MongoDB流式讀取查詢結(jié)果。需要調(diào)用 Query#cursor() 獲取一個(gè) QueryCursor 實(shí)例const cursor Person.find({ occupation: /host/ }).cursor(); for (let doc await cursor.next(); doc ! null; doc await cursor.next()) { console.log(doc); // 逐條打印文檔 }源碼層面Query.prototype.cursorlib/query.js#L5368-L5386在創(chuàng)建游標(biāo)前會(huì)先調(diào)用_castConditions()進(jìn)行條件轉(zhuǎn)換若轉(zhuǎn)換失敗例如過濾器含有sanitizeFilter拒絕的$where會(huì)返回一個(gè)標(biāo)記了錯(cuò)誤的 QueryCursor否則返回new QueryCursor(this)。QueryCursor.prototype.nextlib/cursor/queryCursor.js#L307-L333同樣不再接受回調(diào)內(nèi)部以 Promise 形式逐條取文檔并對已關(guān)閉的游標(biāo)調(diào)用next()拋出Cannot call next() on a closed cursor。使用 async iterators 遍歷使用 async iterators 遍歷 Mongoose 查詢也會(huì)自動(dòng)創(chuàng)建游標(biāo)for await (const doc of Person.find()) { console.log(doc); // 逐條打印文檔 }在 lib/cursor/queryCursor.js#L434-L440 中可以看到實(shí)現(xiàn)當(dāng)Symbol.asyncIterator存在時(shí)QueryCursor.prototype[Symbol.asyncIterator]會(huì)設(shè)置_mongooseOptions._asyncIterator true并返回自身后續(xù)_next回調(diào)會(huì)把結(jié)果包裝成{ value, done }形式lib/cursor/queryCursor.js#L476-L483。測試 test/query.test.js 中也有對應(yīng)的遍歷用例例如使用for await消費(fèi)經(jīng)過transform()處理后的游標(biāo)結(jié)果。游標(biāo)超時(shí)與 noCursorTimeout游標(biāo)受游標(biāo)超時(shí)約束。默認(rèn)情況下MongoDB 會(huì)在 10 分鐘后關(guān)閉游標(biāo)之后的next()調(diào)用會(huì)拋出MongoServerError: cursor id 123 not found。要覆蓋這一行為請為游標(biāo)設(shè)置noCursorTimeout選項(xiàng)// MongoDB 不會(huì)在 10 分鐘后自動(dòng)關(guān)閉該游標(biāo) const cursor Person.find().cursor().addCursorFlag(noCursorTimeout, true);不過游標(biāo)仍然可能因?yàn)闀?huì)話空閑超時(shí)session idle timeouts而失效即使設(shè)置了noCursorTimeout游標(biāo)在空閑 30 分鐘后依然會(huì)超時(shí)。這在 MongoDB 官方文檔中也有明確說明cursor.noCursorTimeout一節(jié)。因此對于長時(shí)間運(yùn)行的批處理任務(wù)更穩(wěn)妥的做法是控制單批處理時(shí)長、及時(shí)關(guān)閉游標(biāo)或?qū)?shù)據(jù)按時(shí)間片拆分查詢而不是無限期依賴noCursorTimeout。何時(shí)使用 aggregate()Queries vs AggregationAggregation聚合 能做很多查詢能做的事情。例如下面是用aggregate()查找name.last Ghost的文檔const docs await Person.aggregate([{ $match: { name.last: Ghost } }]);但能用不等于應(yīng)該用。一般來說能用普通查詢就優(yōu)先用查詢只有確實(shí)需要時(shí)才使用aggregate()。兩者的關(guān)鍵差異有三點(diǎn)1. 聚合結(jié)果不做 hydrate與查詢結(jié)果不同Mongoose不會(huì)對聚合結(jié)果調(diào)用hydrate()。聚合結(jié)果永遠(yuǎn)是普通對象POJO而不是 Mongoose 文檔const docs await Person.aggregate([{ $match: { name.last: Ghost } }]); docs[0] instanceof mongoose.Document; // false這意味著聚合結(jié)果沒有 Mongoose 文檔的實(shí)例方法、getter/setter、虛擬字段與修改追蹤能力如果你需要這些能力必須對結(jié)果自行 hydrate 或做二次查詢。2. 聚合管道不做類型轉(zhuǎn)換cast與查詢過濾器不同Mongoose不會(huì) cast類型轉(zhuǎn)換 聚合管道。也就是說你必須自己保證傳入聚合管道的值類型正確const doc await Person.findOne(); const idString doc._id.toString(); // 能查到這個(gè) Person因?yàn)?Mongoose 把 idString 轉(zhuǎn)換成了 ObjectId const queryRes await Person.findOne({ _id: idString }); // 查不到這個(gè) Person因?yàn)?Mongoose 不轉(zhuǎn)換聚合管道中的類型 const aggRes await Person.aggregate([{ $match: { _id: idString } }]);這是實(shí)踐中非常容易踩坑的地方查詢條件中的字符串 ObjectId 會(huì)被自動(dòng) cast而聚合管道的$match則不會(huì)。從源碼結(jié)構(gòu)看查詢條件在 lib/query.js 的_castConditions/castFilterPath鏈路中會(huì)基于 Schema 類型逐路徑轉(zhuǎn)換而 lib/aggregate.js 對管道階段默認(rèn)不做同樣的 Schema 級 cast。因此在使用聚合時(shí)請先用mongoose.Types.ObjectId(...)等構(gòu)造函數(shù)顯式轉(zhuǎn)換類型。3. 關(guān)于 type casting 的進(jìn)一步閱讀想深入了解 Mongoose 對查詢條件、更新條件與聚合條件的類型轉(zhuǎn)換規(guī)則包括字符串化 ObjectId、數(shù)字與日期的隱式轉(zhuǎn)換邊界請閱讀 查詢類型轉(zhuǎn)換指南。排序保證結(jié)果順序可控Sorting 用于確保查詢結(jié)果按期望的順序返回const personSchema new mongoose.Schema({ age: Number }); const Person mongoose.model(Person, personSchema); for (let i 0; i 10; i) { await Person.create({ age: i }); } await Person.find().sort({ age: -1 }); // 返回結(jié)果以 age10 開頭 await Person.find().sort({ age: 1 }); // 返回結(jié)果以 age0 開頭-1表示降序1表示升序也可以使用字符串形式sort(-age)/sort(age)這也是上文構(gòu)建器示例中sort(-occupation)的寫法。多字段排序鍵的順序決定優(yōu)先級多字段排序時(shí)排序鍵的書寫順序決定了 MongoDB 服務(wù)端先按哪個(gè)字段排序const personSchema new mongoose.Schema({ age: Number, name: String, weight: Number }); const Person mongoose.model(Person, personSchema); const iterations 5; for (let i 0; i iterations; i) { await Person.create({ age: Math.abs(2 - i), name: Test i, weight: Math.floor(Math.random() * 100) 1 }); } await Person.find().sort({ age: 1, weight: -1 }); // 先按 age 升序age 相同時(shí)再按 weight 降序下面是一次實(shí)際運(yùn)行的輸出可以看到 age 從 0 升到 2而在 age 相同的記錄之間則按 weight 降序排列[ { _id: new ObjectId(63a335a6b9b6a7bfc186cb37), age: 0, name: Test2, weight: 67, __v: 0 }, { _id: new ObjectId(63a335a6b9b6a7bfc186cb35), age: 1, name: Test1, weight: 99, __v: 0 }, { _id: new ObjectId(63a335a6b9b6a7bfc186cb39), age: 1, name: Test3, weight: 73, __v: 0 }, { _id: new ObjectId(63a335a6b9b6a7bfc186cb33), age: 2, name: Test0, weight: 65, __v: 0 }, { _id: new ObjectId(63a335a6b9b6a7bfc186cb3b), age: 2, name: Test4, weight: 62, __v: 0 } ];排序在 lib/query.js#L3135 的sort()實(shí)現(xiàn)中被寫入this.options.sort最終以 MongoDB 排序規(guī)范{ field: 1|-1 }對象或field -field字符串下發(fā)給驅(qū)動(dòng)。若需跨字段穩(wěn)定排序請始終顯式給出完整鍵序列不要依賴數(shù)據(jù)庫的自然順序。小結(jié)與下一步Mongoose Query 的核心心法可以概括為四點(diǎn)兩種寫法等價(jià)一次性 JSON 文檔 vs 鏈?zhǔn)?Query 構(gòu)建器選一種并保持一致Query 是 thenable 而非 Promise.then()/await都會(huì)執(zhí)行查詢不要重復(fù)調(diào)用同一個(gè) Query大數(shù)據(jù)量用游標(biāo)cursor()for await逐條處理注意 10 分鐘默認(rèn)超時(shí)與 30 分鐘會(huì)話空閑超時(shí)的邊界查詢優(yōu)先于聚合聚合不 hydrate、不 cast能寫查詢就寫查詢。接下來可以繼續(xù)閱讀 Validation校驗(yàn)學(xué)習(xí)如何在查詢與文檔保存前定義數(shù)據(jù)校驗(yàn)規(guī)則?！久赓M(fèi)下載鏈接】mongooseMongoDB object modeling designed to work in an asynchronous environment.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/mo/mongoose創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考