Skip to content
DaBaoAgentPublic

About

人物出镜短视频复刻工具链:MiniMax H3 生视频 + 火山 Seedream 生图 + 本地 ASR 回读校验

Topics

Resources

Stars

2 stars

Watchers

0 watching

Forks

Latest commit

 

History

8 Commits

Folders and files

Repository files navigation

AutoMN:人物出镜短视频复刻工具链 AutoMN 工作流:抓源片、拆片、写提示词、生视频、校验交付 AutoMN 新手上手:装依赖、配密钥、开始复刻

AutoMN — 人物出镜短视频复刻工具链

给一段参考视频(抖音 / B 站 / 快手 / TikTok……),产出一条同结构、同台词、同节奏的新片。

画面由 MiniMax H3 生成、参考帧由 火山方舟 Seedream 输出,配一套花钱前拦截 + 出片后回读的校验脚本,目标是把「AI 生视频」从抽卡变成有验收标准的流水线。

H3 Seedream Verify Node License

  • 生视频:MiniMax H3(AutoDL.Art ComfyUI 工作流,多工作流自动择优)
  • 生图:火山方舟 Seedream(人物 / 场景参考帧)
  • 本地校验:WhisperX 回读转写 + ffmpeg(抽帧、拼接、语速归一化、并排对比)

本仓库是通用工具链:不含任何产品素材、不含密钥。参考帧由你从源视频抽帧或自己提供,放在 references/(已 gitignore)或 assets/ 下即可。


一、从零搭起来

# 0) 本机实际部署见 docs/SETUP-LOCAL.md(路径、凭据、踩坑、自检);本机目录为
#    D:\@佳康顺矩阵\AutoMN(项目) + D:\@佳康顺矩阵\hypit(运行时)

# 1) Hypit 发行版(工具本体,第三方开源项目 hypit-ai/hypit)
git clone --depth 1 https://ghfast.top/https://github.com/hypit-ai/hypit D:/@佳康顺矩阵/hypit
cd D:/@佳康顺矩阵/hypit
env -u NODE_ENV npm i -g pnpm@10.33.0                 # 必须 unset NODE_ENV,否则 devDeps 被静默 omit
env -u NODE_ENV pnpm install --frozen-lockfile
env -u NODE_ENV node scripts/build-public-types.mjs   # 生成 dist/public/*.d.ts

# 2) 本项目
git clone https://github.com/DaBaoAgent/AutoMN D:/@佳康顺矩阵/AutoMN
cd D:/@佳康顺矩阵/AutoMN
env -u NODE_ENV npm install --include=dev
env -u NODE_ENV npm install --save-dev @types/node@^22   # 仓库缺这个,否则 tsc 报 TS2688
node node_modules/typescript/bin/tsc -p packages/provider-autodl-h3/tsconfig.json
node node_modules/typescript/bin/tsc -p packages/provider-ark-seedream/tsconfig.json

# 3) 绑定 Runtime Profile + 凭据(密钥只进 Windows 凭据库,不落盘)
H="node D:/@佳康顺矩阵/hypit/bin/hypit.mjs"; P="D:/@佳康顺矩阵/AutoMN"
$H runtime use "$P/hypit.runtime.json" --workspace "$P"
$H auth login autodl.h3    --workspace "$P" --from <AutoDL Token 文件>
$H auth login ark.seedream --workspace "$P" --from <火山方舟 API Key 文件>

# 4) 自检(全免费)
$H doctor --workspace "$P"
node scripts/check-dialogue.mjs sources/*.svml
$H plan "$P/sources/mn-portrait-voiceover.svrun" --workspace "$P"

外部依赖:Node ≥ 22.15、pnpm 10.x、ffmpeg/ffprobe(BtbN win64 包解压后把 bin 加进 PATH)。

本机注意:系统代理 127.0.0.1:15715 会让 huggingface_hub / NLTK 连不上, 跑 Hypit 与 WhisperX 时请用 bin\hypit.cmd(已内置 NO_PROXY=*、HF_ENDPOINT 等), 详见 docs/SETUP-LOCAL.md。

hypit doctor 会报 hyperframes.local 不可用(缺一个 Chrome headless shell)——不影响生视频/生图/转写, 只有做本地 MG 合成渲染才需要,装法见 hypit runtime up --runtime "$P/hypit.runtime.json"。

可选但强烈建议——本地 ASR 回读(出片后逐字校验台词):

hypit programs prepare --endpoint whisperx.local   # 国内先 setx HF_ENDPOINT https://hf-mirror.com
hypit programs up      --endpoint whisperx.local   # 并 setx HF_HUB_DISABLE_XET 1

whisperx.local 只能配 cpu + int8:uv 同步的 venv 装的是 CPU-only torch,写 cuda 会启动即崩。


二、目录

AutoMN/
├── hypit.runtime.json                  # Runtime Profile:选服务 + 绑能力 + 凭据引用 + 工作流菜单
├── docs/
│   ├── replication-playbook.md         # ★ 复刻作业书:拆片方法、口令模板、验收标准
│   ├── rules-dialogue.md               # ★ H3 对白准确性规则
│   └── autodl-workflows.md             # ★ 全部 H3 工作流清单、能力边界与并发实测
├── scripts/
│   ├── check-dialogue.mjs              # 花钱前:提示词对白检查(0 ERROR 才允许 build)
│   ├── check-take.mjs                  # 出片后:ASR 逐字/同音比对 + 净语速(字/秒)
│   ├── retime.mjs                      # 语速归一化:按实测倍数音视频同步提速
│   └── compare_side_by_side.py         # 原片 / 复刻并排对比片
├── templates/portrait-dialogue.svml     # 单人出镜对白镜头模板(合规写法)
├── sources/                            # 用例(*.svml 源码 + *.svrun 运行单)
├── packages/
│   ├── provider-autodl-h3/             # Provider:AutoDL.Art ComfyUI 工作流
│   └── provider-ark-seedream/          # Provider:火山方舟 Seedream 生图
├── assets/                             # 你自己的人物/场景参考图(可选)
└── references/                         # 抓下来的源视频与抽帧(gitignore)

三、能力绑定

Hypit 能力(Model 包) Endpoint 实际服务
@hypit/minimax-h3@1#minimax-h3 autodl.h3 AutoDL.Art 的 H3 工作流(7 条已启用,按类型/时长/画幅/参考图数择优)
@hypit/seedream@1#seedream-5-lite ark.seedream 火山方舟 Seedream(doubao-seedream-5-0-pro 系)
@hypit/whisperx@1#whisperx-alignment whisperx.local 本地 WhisperX(转写/回读校验)

四、四种典型用例(sources/)

用例 场景 关键点
mn-portrait-voiceover 单人出镜 + 画外音(抒情/文案类) 画外音必须写「旁白 + 嘴唇闭合」,否则会变成她张嘴说话
mn-portrait-talking 单人出镜对白(口播) 台词量 ≤ 可用时长 × 4.5 字/秒;中近景、嘴眼不遮挡
mn-scene-motion 无对白动态镜头(走路/回头/回眸) 只写画面与运镜;适合做素材拼接
mn-haixian-chuguo 1:1 复刻抖音美食片「海鲜大咖出锅」(无对白/单条手持长镜) 无损片段:无 <d>;单镜头横跨 13.8s 时按 5s×3 切分,后期按源片时长精确裁回,音轨用原片 BGM
mn-mengmeng-tianmei 1:1 复刻抖音甜妹短片(人物出镜摆拍 + 歌曲原声,9.15s / 5 个硬切) 音频是歌曲不是对白 → 按无对白写(正文禁 "dialogue" 字样,会触发检查器 R1);5 镜各 1.4-2.2s → 3 条 4s 素材后期按切点裁回
mn-yijianzhongqing 1:1 复刻抖音横屏人物摆拍(3 镜硬切 + 片尾 2 帧纯黑) 横屏务必写 aspect-ratio="16:9"(768P→768p横,输出 1344x768);片尾黑帧用 tpad 补回;-t 会向上取整多 1 帧,要加 -frames:v 总时长×帧率
mn-image-ref 用参考帧生成人物/场景图(Seedream) 为后续视频锁人物外形;size=宽x高,面积 ≤ ~4.3M px

五、怎么给我下指令

给我这几样就能开工:参考链接(或本地文件)+ 要改什么(人物/文案/时长/画幅)+ 预算(可选)。

复刻这条:<抖音/B站链接>
人物保持原片长相,文案照抄,9:16 竖屏,10 秒,预算 3 元内

一次说清即可;中间我会先给分镜表 + 选定工作流 + 预估花费,你点头再花钱生成。


六、流水线(每一步都有可验证的产物)

  1. 抓源片:hypit media fetch "<链接>"(抖音需要 fresh cookie)
  2. 拆片:ffprobe 量规格 → 抽帧看景别/运镜 → 有声音就 hypit transcribe 出逐字稿
  3. 写提示词:一个镜头一条 → node scripts/check-dialogue.mjs sources/xxx.svml(0 ERROR 才允许花钱)
  4. 生图(需要锁人物时):Seedream 用参考帧生场景图/定妆图
  5. 生视频:hypit build sources/xxx.svrun --workspace "$P" --follow(可并发)
  6. 回读校验:hipit transcribe out/xxx.mp4 --language zh --to out/xxx.json → node scripts/check-take.mjs ...
  7. 修正:语速不达标 → node scripts/retime.mjs;台词错 → 按 R22 重跑该条
  8. 交付:ffmpeg 拼接/字幕 → 出片 + 分镜表 + 实测规格 + 并排对比

七、成本与时间(实测口径)

项 单价 耗时
H3 视频 480p / 768p / 1080p ¥0.04 / ¥0.06 / ¥0.10 每秒输出 5 秒档 ≈ 2 分钟;10–12 秒档 5–15 分钟
Seedream 生图 按输出 token 30–60 秒
本地转写/校验 免费 5 秒音频约 14 秒(CPU large-v3)
失败任务 不计费(按输出秒数计费) 长提示词/被抢占会失败,重试即可

并发:同账号可并发(实测 3 条 5s 并行、2 条 15s 并行全部成功)。


八、三条硬规则(血泪换的,别跳)

  1. 台词写进 <d>[Chinese] 原文</d>,一字不改;正文写英文,画外音必须声明「嘴唇闭合」。
  2. 提示词体量 ≤ 400 单位、参考图 ≤ 3 张(12 秒档),超出会出片失败或推理阶段 FAILED。
  3. 出片后必须回读校验:字面 100%(白话稿)或拼音 ≥97%(古诗/生僻词用 --pinyin),语速 4.5–5.5 字/秒。

九、版权与合规

复刻他人视频涉及画面版权、肖像权、音乐版权。本工具只提供技术手段,商用前请自行取得授权;默认建议:画面重生成、人物用你自有的素材或已获授权的人物形象,不要直接搬运原片素材。


License

MIT

About

人物出镜短视频复刻工具链:MiniMax H3 生视频 + 火山 Seedream 生图 + 本地 ASR 回读校验

Topics

Resources

Stars

2 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages