深度解析：從分層設(shè)計到源碼級實(shí)現(xiàn)的全自動短視頻引擎){kind=tracking}
Pixelle-Video 架構(gòu)深度解析從分層設(shè)計到源碼級實(shí)現(xiàn)的全自動短視頻引擎【免費(fèi)下載鏈接】Pixelle-Video AI 全自動短視頻引擎 | AI Fully Automated Short Video Engine項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pi/Pixelle-VideoPixelle-Video 是一款基于 Python 的全自動短視頻生成引擎其核心能力是輸入一段主題或文案自動產(chǎn)出帶配音、配圖和字幕的完整視頻。本文以官方架構(gòu)文檔為主線結(jié)合倉庫源碼逐層拆解其三層架構(gòu)、核心組件PixelleVideoCore、LLM、Image、TTS、Video Generator與依賴技術(shù)棧幫助讀者理解視頻流水線的調(diào)用鏈與擴(kuò)展方式并能在本地復(fù)現(xiàn)其核心流程。一、整體架構(gòu)清晰的三層分工官方架構(gòu)文檔docs/en/development/architecture.md明確指出Pixelle-Video 采用分層架構(gòu)設(shè)計自上而下分為三層層級職責(zé)倉庫中的落點(diǎn)Web 層Streamlit Web 界面負(fù)責(zé)用戶交互與任務(wù)編排web/app.py、web/pages服務(wù)層核心業(yè)務(wù)邏輯協(xié)調(diào) LLM、TTS、Media 等子服務(wù)pixelle_video/service.py、pixelle_video/servicesComfyUI 層圖像、視頻與 TTS 的 AI 生成后端含自托管 ComfyUI 與 RunningHub 云端兩種模式workflows、pixelle_video/services/api_services從代碼結(jié)構(gòu)看這一分層還有一條隱含的第四層pipeline流水線層。pixelle_video/pipelines 目錄下的standard.py、custom.py、asset_based.py是服務(wù)層之上、負(fù)責(zé)編排生成流程的獨(dú)立抽象它們統(tǒng)一繼承LinearVideoPipeline模板方法基類見 pixelle_video/pipelines/linear.py。三層之間通過異步接口通信Web 層把用戶輸入與參數(shù)交給 pipelinepipeline 調(diào)用服務(wù)層各子服務(wù)服務(wù)層再通過ComfyKit客戶端來自comfykit依賴驅(qū)動 ComfyUI 或 RunningHub 執(zhí)行工作流。整條鏈路上所有 I/O 密集型操作LLM 調(diào)用、TTS 合成、圖像生成、視頻渲染均為異步實(shí)現(xiàn)。二、核心組件逐個拆解2.1 PixelleVideoCore一切能力的統(tǒng)一入口架構(gòu)文檔將PixelleVideoCore定義為核心服務(wù)類職責(zé)是協(xié)調(diào)各個子服務(wù)。其實(shí)現(xiàn)位于 pixelle_video/service.py核心設(shè)計可歸納為三點(diǎn)全局單例模塊底部直接實(shí)例化pixelle_video PixelleVideoCore()service.py全倉庫API 路由、Streamlit Web、pipeline都通過導(dǎo)入這個單例獲得統(tǒng)一能力入口。異步生命周期initialize()一次性完成所有子服務(wù)與 pipeline 的注冊service.pycleanup()負(fù)責(zé)釋放 ComfyKit 會話同時實(shí)現(xiàn)了異步上下文管理器__aenter__/__aexit__支持async with pixelle_video:寫法。按需懶加載ComfyKit 客戶端不在initialize()中創(chuàng)建而是在首次真正執(zhí)行工作流時才創(chuàng)建并通過配置哈希MD5檢測配置變更后自動重建service.py。這保證了修改comfyui配置后無需重啟進(jìn)程即可熱生效。初始化后PixelleVideoCore暴露的能力清單如下均為異步可調(diào)用對象await pixelle_video.initialize() # 文案生成LLM answer await pixelle_video.llm(Explain atomic habits) # 語音合成TTS本地 Edge TTS 或 ComfyUI 工作流 audio await pixelle_video.tts(Hello world) # 圖像 / 視頻生成ComfyUI 工作流 media await pixelle_video.media(prompta cat) # 視頻生成pipeline 分發(fā) result await pixelle_video.generate_video(text如何提高學(xué)習(xí)效率, n_scenes5)其中g(shù)enerate_video是一個向后兼容的包裝器service.py通過pipeline參數(shù)在已注冊的standard、custom、asset_based三個流水線之間分發(fā)未知流水線會拋出ValueError并列出可用選項(xiàng)。2.2 LLM Service文案與分鏡的大腦架構(gòu)文檔指出 LLM Service負(fù)責(zé)調(diào)用大語言模型生成文案。其實(shí)現(xiàn) pixelle_video/services/llm_service.py 采用了直接基于 OpenAI SDKAsyncOpenAI的實(shí)現(xiàn)不再套額外能力層因此天然兼容所有 OpenAI 兼容 API 的廠商包括OpenAIgpt-4o / gpt-4o-mini阿里云百煉 Qwenqwen-max / qwen-plus / qwen-turboDeepSeekdeepseek-chatMoonshot Kimi、Anthropic Claude本地 Ollamallama3.2 / qwen2.5無需真實(shí) API Key兩個值得關(guān)注的源碼特性結(jié)構(gòu)化輸出__call__支持response_type參數(shù)任意 Pydantic 模型。實(shí)現(xiàn)上并非依賴各家廠商的 structured output 接口而是把 Pydantic 生成的 JSON Schema 以指令形式拼接到 prompt 中l(wèi)lm_service.py并在解析階段依次嘗試直接 JSON 解析 → 提取 markdown 代碼塊 → 截取最外層花括號三級兜底llm_service.py最大化跨廠商兼容性。AssetBasedPipeline中的VideoScript/SceneScript結(jié)構(gòu)化分鏡就是它的典型應(yīng)用。配置熱加載每次調(diào)用都從全局config_manager動態(tài)讀取api_key/base_url/model參數(shù)優(yōu)先級為調(diào)用參數(shù) 配置文件 內(nèi)置默認(rèn)值無需重啟即可切換模型。2.3 Image / Media Service圖像與視頻的統(tǒng)一生成架構(gòu)文檔中的 Image Service 在代碼中演化為MediaServicepixelle_video/services/media.py同時支持圖像與視頻兩種產(chǎn)出通過掃描workflows目錄下image_*與video_*前綴的工作流自動識別見 workflows/runninghub 與 workflows/selfhost 下的真實(shí)工作流 JSON。調(diào)用示例media await pixelle_video.media(prompta cat) if media.is_image: print(fGenerated image: {media.url}) elif media.is_video: print(fGenerated video: {media.url} ({media.duration}s))工作流執(zhí)行統(tǒng)一走ComfyBaseService基類pixelle_video/services/comfy_base_service.py由ComfyKit客戶端根據(jù)source字段區(qū)分兩種執(zhí)行模式selfhost傳入本地工作流文件路徑連接自建 ComfyUIcomfyui_urlrunninghub傳入 RunningHub 云端工作流 ID通過runninghub_api_key鑒權(quán)提交到云端執(zhí)行。倉庫同時保留了一條直連 API 提供商的旁路pixelle_video/services/api_services 下的image_dashscope.py、image_gpt.py、video_kling.py等可在不部署 ComfyUI 的情況下直接用 DashScope、OpenAI、Kling 等廠商 API 生成圖/視頻與工作流模式通過配置并存。2.4 TTS Service本地與工作流雙模式語音合成架構(gòu)文檔描述 TTS Service負(fù)責(zé)調(diào)用 ComfyUI 生成語音而實(shí)際實(shí)現(xiàn)pixelle_video/services/tts_service.py支持兩種推理模式通過inference_mode參數(shù)或配置切換local默認(rèn)調(diào)用微軟 Edge TTSedge_tts見 pixelle_video/utils/tts_util.py免費(fèi)、無需 ComfyUI默認(rèn)音色zh-CN-YunjianNeural語速通過 pixelle_video/tts_voices.py 中的speed_to_rate()轉(zhuǎn)換為 Edge TTS 的 rate 參數(shù)。comfyui走selfhost/tts_edge.json等 TTS 工作流支持音色、語速等工作流級參數(shù)結(jié)果從result.audios/result.files/result.outputs三級結(jié)構(gòu)中提取音頻路徑若返回 URL 且指定了output_path會自動下載到本地。調(diào)用示例本地模式audio_path await pixelle_video.tts( textHello, world!, inference_modelocal, voicezh-CN-YunjianNeural, speed1.2 )2.5 Video Generator模板方法模式驅(qū)動的合成流水線架構(gòu)文檔中的 Video Generator 對應(yīng)兩層實(shí)現(xiàn)pipeline 層編排三個流水線均繼承LinearVideoPipelinepixelle_video/pipelines/linear.py采用經(jīng)典的模板方法模式將一次視頻生成固定為 8 個生命周期步驟setup_environment → generate_content → determine_title → plan_visuals → initialize_storyboard → produce_assets → post_production → finalizeStandardPipelinepixelle_video/pipelines/standard.py默認(rèn)流水線支持兩種模式——generateLLM 根據(jù)主題生成 n 條口播文案與fixed把固定腳本按段落/句切分。AssetBasedPipelinepixelle_video/pipelines/asset_based.py基于用戶上傳素材圖片/視頻生成營銷視頻先分析素材、再由 LLM 結(jié)構(gòu)化輸出分鏡并完成素材-場景匹配無需 AI 生成畫面。CustomPipelinepixelle_video/pipelines/custom.py自定義流水線模板演示如何通過繼承BasePipeline擴(kuò)展新工作流。FrameProcessor VideoService 層執(zhí)行FrameProcessorpixelle_video/services/frame_processor.py負(fù)責(zé)逐幀渲染 HTML 模板、合成字幕并產(chǎn)出視頻片段VideoServicepixelle_video/services/video.py通過concat_videos()完成片段拼接并支持可選 BGMbgm_path/bgm_volume/bgm_mode。值得注意的性能設(shè)計當(dāng)使用 RunningHub 工作流時StandardPipeline會依據(jù)runninghub_concurrent_limit配置1-10用asyncio.Semaphore對多幀進(jìn)行并行處理standard.py而自托管 ComfyUI 工作流則退化為串行執(zhí)行同時如果選擇的模板是純靜態(tài)模板static_*整個圖像生成鏈路會被跳過顯著降低耗時與成本。三、技術(shù)棧與運(yùn)行時要求架構(gòu)文檔列出的技術(shù)棧與倉庫實(shí)際依賴pyproject.toml一一對應(yīng)整理如下類別技術(shù)說明語言Python 3.11官方文檔標(biāo)注 3.10但 pyproject.toml 實(shí)際聲明requires-python 3.11以 pyproject 為準(zhǔn)并發(fā)模型AsyncIO全鏈路異步pytest-asyncio自動模式Web 前端Streamlit (1.40.0)交互界面位于 web含多語言 i18nweb/i18n/localesAI 接入OpenAI SDK (2.6.0)、comfykit (0.1.12)LLM 走 OpenAI 兼容協(xié)議ComfyUI 走 ComfyKit 客戶端視頻處理moviepy 1.0.3、ffmpeg-python片段合成、音頻合并、時長探測渲染playwright (1.58.0)HTML 模板截圖渲染配置YAMLpydantic 校驗(yàn)config.example.yaml 為模板需復(fù)制為config.yaml包管理uv見 uv.lock 與 start_web.sh配置加載由單例ConfigManagerpixelle_video/config/manager.py負(fù)責(zé)啟動時通過 pydantic 模型PixelleVideoConfig校驗(yàn)并加載 YAML并會校驗(yàn)?zāi)J(rèn)模板路徑是否存在支持reload()/update()熱更新。核心配置片段config.example.yaml如下# LLM任意 OpenAI 兼容 API llm: api_key: base_url: # 如 https://dashscope.aliyuncs.com/compatible-mode/v1 model: # 如 qwen-max / gpt-4o / deepseek-chat / llama3.2 # ComfyUI自托管 RunningHub 雙模式 comfyui: comfyui_url: http://127.0.0.1:8188 runninghub_api_key: runninghub_concurrent_limit: 1 # 1-10普通會員建議 1 image: default_workflow: runninghub/image_flux.json video: default_workflow: runninghub/video_wan2.1_fusionx.json tts: default_workflow: selfhost/tts_edge.json # 默認(rèn)幀模板決定畫幅與版式 template: default_template: 1080x1920/image_default.html模板按命名約定區(qū)分能力static_*.html無需 AI 媒體、image_*.html需要 AI 生成圖像、video_*.html需要 AI 生成視頻完整清單見 templates 目錄含 1080x1920 豎屏、1080x1080 方形、1920x1080 橫屏三類畫幅。四、一條視頻的完整旅程標(biāo)準(zhǔn)流水線時序結(jié)合 service.py 與 standard.py 的調(diào)用關(guān)系一次標(biāo)準(zhǔn)視頻生成的真實(shí)執(zhí)行時序如下Web/API 層調(diào)用pixelle_video.generate_video(text如何提高學(xué)習(xí)效率, n_scenes5)包裝器分發(fā)到StandardPipelinesetup_environment創(chuàng)建獨(dú)立任務(wù)目錄并生成task_idgenerate_content調(diào)用pixelle_video.llm由 LLM 根據(jù)主題生成 5 條口播文案determine_title調(diào)用 LLM 自動生成標(biāo)題若未指定plan_visuals根據(jù)模板類型決定是否為每條文案生成圖像提示詞LLM 批量調(diào)用并疊加prompt_prefix風(fēng)格前綴initialize_storyboard構(gòu)建StoryboardStoryboardFrame數(shù)據(jù)模型見 pixelle_video/models/storyboard.pyproduce_assets對每一幀依次執(zhí)行TTS 生成音頻 → ComfyUI 生成圖像 → FrameProcessor 渲染模板合成字幕 → 輸出視頻片段RunningHub 模式下按并發(fā)上限并行post_production用VideoService.concat_videos拼接全部片段并按需混入 BGMfinalize統(tǒng)計時長/文件大小通過PersistenceService與HistoryManagerpixelle_video/services/persistence.py、pixelle_video/services/history_manager.py持久化任務(wù)元數(shù)據(jù)與 storyboard供 web/pages/2__History.py 歷史頁回放。整個過程中的進(jìn)度通過ProgressEventpixelle_video/models/progress.py回調(diào)上報Web 端可實(shí)時展示生成進(jìn)度。五、如何擴(kuò)展架構(gòu)架構(gòu)文檔強(qiáng)調(diào)的分層 可擴(kuò)展在代碼中得到了落實(shí)擴(kuò)展入口主要有三處新增視頻流水線復(fù)制 pixelle_video/pipelines/custom.py在__call__中實(shí)現(xiàn)自定義邏輯然后注冊到核心pixelle_video.pipelines[my_custom] CustomPipeline(pixelle_video) result await pixelle_video.generate_video(textyour_content, pipelinemy_custom)接入新工作流在 workflows/runninghub云端或 workflows/selfhost本地放置新的 ComfyUI 工作流 JSON并在 config.example.yaml 的comfyui.image/video/tts段指定default_workflow即可。切換/并行接入新廠商在 pixelle_video/services/api_services 中仿照現(xiàn)有image_dashscope.py、video_kling.py實(shí)現(xiàn)新的直連客戶端并在api_providers配置段補(bǔ)齊廠商鑒權(quán)信息。結(jié)語從本文的源碼級對照可以看出Pixelle-Video 的架構(gòu)文檔雖然簡潔但每一句概述背后都有扎實(shí)的實(shí)現(xiàn)支撐三層架構(gòu)對應(yīng) Web 交互、業(yè)務(wù)編排與 ComfyUI 生成的三段式解耦PixelleVideoCore是異步單例門面LLM/TTS/Media 三個服務(wù)分別承載文案、配音與畫面的生成能力而視頻合成則被抽象為模板方法模式的流水線讓業(yè)務(wù)方可以在不改動底層服務(wù)的前提下定制任意生成流程。理解這套骨架無論是二次開發(fā)、接入新模型還是排查生成鏈路問題都能快速定位到具體模塊。更多背景可參見 docs/zh/development/architecture.md 與 docs/en/development/architecture.md。【免費(fèi)下載鏈接】Pixelle-Video AI 全自動短視頻引擎 | AI Fully Automated Short Video Engine項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pi/Pixelle-Video創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Pixelle-Video 架構(gòu)深度解析：從分層設(shè)計到源碼級實(shí)現(xiàn)的全自動短視頻引擎
Pixelle-Video 架構(gòu)深度解析從分層設(shè)計到源碼級實(shí)現(xiàn)的全自動短視頻引擎【免費(fèi)下載鏈接】Pixelle-Video AI 全自動短視頻引擎 | AI Fully Automated Short Video Engine項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pi/Pixelle-VideoPixelle-Video 是一款基于 Python 的全自動短視頻生成引擎其核心能力是輸入一段主題或文案自動產(chǎn)出帶配音、配圖和字幕的完整視頻。本文以官方架構(gòu)文檔為主線結(jié)合倉庫源碼逐層拆解其三層架構(gòu)、核心組件PixelleVideoCore、LLM、Image、TTS、Video Generator與依賴技術(shù)棧幫助讀者理解視頻流水線的調(diào)用鏈與擴(kuò)展方式并能在本地復(fù)現(xiàn)其核心流程。一、整體架構(gòu)清晰的三層分工官方架構(gòu)文檔docs/en/development/architecture.md明確指出Pixelle-Video 采用分層架構(gòu)設(shè)計自上而下分為三層層級職責(zé)倉庫中的落點(diǎn)Web 層Streamlit Web 界面負(fù)責(zé)用戶交互與任務(wù)編排web/app.py、web/pages服務(wù)層核心業(yè)務(wù)邏輯協(xié)調(diào) LLM、TTS、Media 等子服務(wù)pixelle_video/service.py、pixelle_video/servicesComfyUI 層圖像、視頻與 TTS 的 AI 生成后端含自托管 ComfyUI 與 RunningHub 云端兩種模式workflows、pixelle_video/services/api_services從代碼結(jié)構(gòu)看這一分層還有一條隱含的第四層pipeline流水線層。pixelle_video/pipelines 目錄下的standard.py、custom.py、asset_based.py是服務(wù)層之上、負(fù)責(zé)編排生成流程的獨(dú)立抽象它們統(tǒng)一繼承LinearVideoPipeline模板方法基類見 pixelle_video/pipelines/linear.py。三層之間通過異步接口通信Web 層把用戶輸入與參數(shù)交給 pipelinepipeline 調(diào)用服務(wù)層各子服務(wù)服務(wù)層再通過ComfyKit客戶端來自comfykit依賴驅(qū)動 ComfyUI 或 RunningHub 執(zhí)行工作流。整條鏈路上所有 I/O 密集型操作LLM 調(diào)用、TTS 合成、圖像生成、視頻渲染均為異步實(shí)現(xiàn)。二、核心組件逐個拆解2.1 PixelleVideoCore一切能力的統(tǒng)一入口架構(gòu)文檔將PixelleVideoCore定義為核心服務(wù)類職責(zé)是協(xié)調(diào)各個子服務(wù)。其實(shí)現(xiàn)位于 pixelle_video/service.py核心設(shè)計可歸納為三點(diǎn)全局單例模塊底部直接實(shí)例化pixelle_video PixelleVideoCore()service.py全倉庫API 路由、Streamlit Web、pipeline都通過導(dǎo)入這個單例獲得統(tǒng)一能力入口。異步生命周期initialize()一次性完成所有子服務(wù)與 pipeline 的注冊service.pycleanup()負(fù)責(zé)釋放 ComfyKit 會話同時實(shí)現(xiàn)了異步上下文管理器__aenter__/__aexit__支持async with pixelle_video:寫法。按需懶加載ComfyKit 客戶端不在initialize()中創(chuàng)建而是在首次真正執(zhí)行工作流時才創(chuàng)建并通過配置哈希MD5檢測配置變更后自動重建service.py。這保證了修改comfyui配置后無需重啟進(jìn)程即可熱生效。初始化后PixelleVideoCore暴露的能力清單如下均為異步可調(diào)用對象await pixelle_video.initialize() # 文案生成LLM answer await pixelle_video.llm(Explain atomic habits) # 語音合成TTS本地 Edge TTS 或 ComfyUI 工作流 audio await pixelle_video.tts(Hello world) # 圖像 / 視頻生成ComfyUI 工作流 media await pixelle_video.media(prompta cat) # 視頻生成pipeline 分發(fā) result await pixelle_video.generate_video(text如何提高學(xué)習(xí)效率, n_scenes5)其中g(shù)enerate_video是一個向后兼容的包裝器service.py通過pipeline參數(shù)在已注冊的standard、custom、asset_based三個流水線之間分發(fā)未知流水線會拋出ValueError并列出可用選項(xiàng)。2.2 LLM Service文案與分鏡的大腦架構(gòu)文檔指出 LLM Service負(fù)責(zé)調(diào)用大語言模型生成文案。其實(shí)現(xiàn) pixelle_video/services/llm_service.py 采用了直接基于 OpenAI SDKAsyncOpenAI的實(shí)現(xiàn)不再套額外能力層因此天然兼容所有 OpenAI 兼容 API 的廠商包括OpenAIgpt-4o / gpt-4o-mini阿里云百煉 Qwenqwen-max / qwen-plus / qwen-turboDeepSeekdeepseek-chatMoonshot Kimi、Anthropic Claude本地 Ollamallama3.2 / qwen2.5無需真實(shí) API Key兩個值得關(guān)注的源碼特性結(jié)構(gòu)化輸出__call__支持response_type參數(shù)任意 Pydantic 模型。實(shí)現(xiàn)上并非依賴各家廠商的 structured output 接口而是把 Pydantic 生成的 JSON Schema 以指令形式拼接到 prompt 中l(wèi)lm_service.py并在解析階段依次嘗試直接 JSON 解析 → 提取 markdown 代碼塊 → 截取最外層花括號三級兜底llm_service.py最大化跨廠商兼容性。AssetBasedPipeline中的VideoScript/SceneScript結(jié)構(gòu)化分鏡就是它的典型應(yīng)用。配置熱加載每次調(diào)用都從全局config_manager動態(tài)讀取api_key/base_url/model參數(shù)優(yōu)先級為調(diào)用參數(shù) 配置文件 內(nèi)置默認(rèn)值無需重啟即可切換模型。2.3 Image / Media Service圖像與視頻的統(tǒng)一生成架構(gòu)文檔中的 Image Service 在代碼中演化為MediaServicepixelle_video/services/media.py同時支持圖像與視頻兩種產(chǎn)出通過掃描workflows目錄下image_*與video_*前綴的工作流自動識別見 workflows/runninghub 與 workflows/selfhost 下的真實(shí)工作流 JSON。調(diào)用示例media await pixelle_video.media(prompta cat) if media.is_image: print(fGenerated image: {media.url}) elif media.is_video: print(fGenerated video: {media.url} ({media.duration}s))工作流執(zhí)行統(tǒng)一走ComfyBaseService基類pixelle_video/services/comfy_base_service.py由ComfyKit客戶端根據(jù)source字段區(qū)分兩種執(zhí)行模式selfhost傳入本地工作流文件路徑連接自建 ComfyUIcomfyui_urlrunninghub傳入 RunningHub 云端工作流 ID通過runninghub_api_key鑒權(quán)提交到云端執(zhí)行。倉庫同時保留了一條直連 API 提供商的旁路pixelle_video/services/api_services 下的image_dashscope.py、image_gpt.py、video_kling.py等可在不部署 ComfyUI 的情況下直接用 DashScope、OpenAI、Kling 等廠商 API 生成圖/視頻與工作流模式通過配置并存。2.4 TTS Service本地與工作流雙模式語音合成架構(gòu)文檔描述 TTS Service負(fù)責(zé)調(diào)用 ComfyUI 生成語音而實(shí)際實(shí)現(xiàn)pixelle_video/services/tts_service.py支持兩種推理模式通過inference_mode參數(shù)或配置切換local默認(rèn)調(diào)用微軟 Edge TTSedge_tts見 pixelle_video/utils/tts_util.py免費(fèi)、無需 ComfyUI默認(rèn)音色zh-CN-YunjianNeural語速通過 pixelle_video/tts_voices.py 中的speed_to_rate()轉(zhuǎn)換為 Edge TTS 的 rate 參數(shù)。comfyui走selfhost/tts_edge.json等 TTS 工作流支持音色、語速等工作流級參數(shù)結(jié)果從result.audios/result.files/result.outputs三級結(jié)構(gòu)中提取音頻路徑若返回 URL 且指定了output_path會自動下載到本地。調(diào)用示例本地模式audio_path await pixelle_video.tts( textHello, world!, inference_modelocal, voicezh-CN-YunjianNeural, speed1.2 )2.5 Video Generator模板方法模式驅(qū)動的合成流水線架構(gòu)文檔中的 Video Generator 對應(yīng)兩層實(shí)現(xiàn)pipeline 層編排三個流水線均繼承LinearVideoPipelinepixelle_video/pipelines/linear.py采用經(jīng)典的模板方法模式將一次視頻生成固定為 8 個生命周期步驟setup_environment → generate_content → determine_title → plan_visuals → initialize_storyboard → produce_assets → post_production → finalizeStandardPipelinepixelle_video/pipelines/standard.py默認(rèn)流水線支持兩種模式——generateLLM 根據(jù)主題生成 n 條口播文案與fixed把固定腳本按段落/句切分。AssetBasedPipelinepixelle_video/pipelines/asset_based.py基于用戶上傳素材圖片/視頻生成營銷視頻先分析素材、再由 LLM 結(jié)構(gòu)化輸出分鏡并完成素材-場景匹配無需 AI 生成畫面。CustomPipelinepixelle_video/pipelines/custom.py自定義流水線模板演示如何通過繼承BasePipeline擴(kuò)展新工作流。FrameProcessor VideoService 層執(zhí)行FrameProcessorpixelle_video/services/frame_processor.py負(fù)責(zé)逐幀渲染 HTML 模板、合成字幕并產(chǎn)出視頻片段VideoServicepixelle_video/services/video.py通過concat_videos()完成片段拼接并支持可選 BGMbgm_path/bgm_volume/bgm_mode。值得注意的性能設(shè)計當(dāng)使用 RunningHub 工作流時StandardPipeline會依據(jù)runninghub_concurrent_limit配置1-10用asyncio.Semaphore對多幀進(jìn)行并行處理standard.py而自托管 ComfyUI 工作流則退化為串行執(zhí)行同時如果選擇的模板是純靜態(tài)模板static_*整個圖像生成鏈路會被跳過顯著降低耗時與成本。三、技術(shù)棧與運(yùn)行時要求架構(gòu)文檔列出的技術(shù)棧與倉庫實(shí)際依賴pyproject.toml一一對應(yīng)整理如下類別技術(shù)說明語言Python 3.11官方文檔標(biāo)注 3.10但 pyproject.toml 實(shí)際聲明requires-python 3.11以 pyproject 為準(zhǔn)并發(fā)模型AsyncIO全鏈路異步pytest-asyncio自動模式Web 前端Streamlit (1.40.0)交互界面位于 web含多語言 i18nweb/i18n/localesAI 接入OpenAI SDK (2.6.0)、comfykit (0.1.12)LLM 走 OpenAI 兼容協(xié)議ComfyUI 走 ComfyKit 客戶端視頻處理moviepy 1.0.3、ffmpeg-python片段合成、音頻合并、時長探測渲染playwright (1.58.0)HTML 模板截圖渲染配置YAMLpydantic 校驗(yàn)config.example.yaml 為模板需復(fù)制為config.yaml包管理uv見 uv.lock 與 start_web.sh配置加載由單例ConfigManagerpixelle_video/config/manager.py負(fù)責(zé)啟動時通過 pydantic 模型PixelleVideoConfig校驗(yàn)并加載 YAML并會校驗(yàn)?zāi)J(rèn)模板路徑是否存在支持reload()/update()熱更新。核心配置片段config.example.yaml如下# LLM任意 OpenAI 兼容 API llm: api_key: base_url: # 如 https://dashscope.aliyuncs.com/compatible-mode/v1 model: # 如 qwen-max / gpt-4o / deepseek-chat / llama3.2 # ComfyUI自托管 RunningHub 雙模式 comfyui: comfyui_url: http://127.0.0.1:8188 runninghub_api_key: runninghub_concurrent_limit: 1 # 1-10普通會員建議 1 image: default_workflow: runninghub/image_flux.json video: default_workflow: runninghub/video_wan2.1_fusionx.json tts: default_workflow: selfhost/tts_edge.json # 默認(rèn)幀模板決定畫幅與版式 template: default_template: 1080x1920/image_default.html模板按命名約定區(qū)分能力static_*.html無需 AI 媒體、image_*.html需要 AI 生成圖像、video_*.html需要 AI 生成視頻完整清單見 templates 目錄含 1080x1920 豎屏、1080x1080 方形、1920x1080 橫屏三類畫幅。四、一條視頻的完整旅程標(biāo)準(zhǔn)流水線時序結(jié)合 service.py 與 standard.py 的調(diào)用關(guān)系一次標(biāo)準(zhǔn)視頻生成的真實(shí)執(zhí)行時序如下Web/API 層調(diào)用pixelle_video.generate_video(text如何提高學(xué)習(xí)效率, n_scenes5)包裝器分發(fā)到StandardPipelinesetup_environment創(chuàng)建獨(dú)立任務(wù)目錄并生成task_idgenerate_content調(diào)用pixelle_video.llm由 LLM 根據(jù)主題生成 5 條口播文案determine_title調(diào)用 LLM 自動生成標(biāo)題若未指定plan_visuals根據(jù)模板類型決定是否為每條文案生成圖像提示詞LLM 批量調(diào)用并疊加prompt_prefix風(fēng)格前綴initialize_storyboard構(gòu)建StoryboardStoryboardFrame數(shù)據(jù)模型見 pixelle_video/models/storyboard.pyproduce_assets對每一幀依次執(zhí)行TTS 生成音頻 → ComfyUI 生成圖像 → FrameProcessor 渲染模板合成字幕 → 輸出視頻片段RunningHub 模式下按并發(fā)上限并行post_production用VideoService.concat_videos拼接全部片段并按需混入 BGMfinalize統(tǒng)計時長/文件大小通過PersistenceService與HistoryManagerpixelle_video/services/persistence.py、pixelle_video/services/history_manager.py持久化任務(wù)元數(shù)據(jù)與 storyboard供 web/pages/2__History.py 歷史頁回放。整個過程中的進(jìn)度通過ProgressEventpixelle_video/models/progress.py回調(diào)上報Web 端可實(shí)時展示生成進(jìn)度。五、如何擴(kuò)展架構(gòu)架構(gòu)文檔強(qiáng)調(diào)的分層 可擴(kuò)展在代碼中得到了落實(shí)擴(kuò)展入口主要有三處新增視頻流水線復(fù)制 pixelle_video/pipelines/custom.py在__call__中實(shí)現(xiàn)自定義邏輯然后注冊到核心pixelle_video.pipelines[my_custom] CustomPipeline(pixelle_video) result await pixelle_video.generate_video(textyour_content, pipelinemy_custom)接入新工作流在 workflows/runninghub云端或 workflows/selfhost本地放置新的 ComfyUI 工作流 JSON并在 config.example.yaml 的comfyui.image/video/tts段指定default_workflow即可。切換/并行接入新廠商在 pixelle_video/services/api_services 中仿照現(xiàn)有image_dashscope.py、video_kling.py實(shí)現(xiàn)新的直連客戶端并在api_providers配置段補(bǔ)齊廠商鑒權(quán)信息。結(jié)語從本文的源碼級對照可以看出Pixelle-Video 的架構(gòu)文檔雖然簡潔但每一句概述背后都有扎實(shí)的實(shí)現(xiàn)支撐三層架構(gòu)對應(yīng) Web 交互、業(yè)務(wù)編排與 ComfyUI 生成的三段式解耦PixelleVideoCore是異步單例門面LLM/TTS/Media 三個服務(wù)分別承載文案、配音與畫面的生成能力而視頻合成則被抽象為模板方法模式的流水線讓業(yè)務(wù)方可以在不改動底層服務(wù)的前提下定制任意生成流程。理解這套骨架無論是二次開發(fā)、接入新模型還是排查生成鏈路問題都能快速定位到具體模塊。更多背景可參見 docs/zh/development/architecture.md 與 docs/en/development/architecture.md。【免費(fèi)下載鏈接】Pixelle-Video AI 全自動短視頻引擎 | AI Fully Automated Short Video Engine項(xiàng)目地址: https://gitcode.com/GitHub_Trending/pi/Pixelle-Video創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考