hulutech-web/novel-video-workflow

AI 总结

• ✨ **设置中选择马年祝福提示词** - 设置选项卡-风格设置-选择马年，保存后，系统将以该模板作为基础模板，生成一组提示词，用于后续的AI处理。
• ✨ **MCP选项卡输入简单文本** - MCP选项卡-generate_images_from_chapter_with_ai_prompt工具模块，输入简要文本，如：春风送暖，马跃龙腾;
• 🔥 **提示词优化及生图** - 系统ollama生成场景提示词，发给drawthings生成图片，并保存在output中，可自行下载，发亲戚，发朋友，发朋友圈
• ✨ **智能章节分割** - 自动将小说文本按章节拆分
• 🗣️ **AI驱动文本转语音** - 支持声音克隆的高质量语音合成
• 💬 **自动生成字幕** - 基于音频内容的精准时间轴字幕

内容摘录

<p align="center">
 <img src="https://github.com/hulutech-web/novel-video-workflow/blob/master/logo.png?raw=true" width="300" />
</p>
<p align="center">
特别说明 <br/>
剪映客户端版本 3.4.1 其他版本可自行尝试<br/>
下载链接： <br/><a href="https://www.ilanzou.com/s/szdnSewG">https://www.ilanzou.com/s/szdnSewG</a> <br/>
Aegisub客户端下载 <br/>
<a href="https://www.ilanzou.com/s/uiDnSeXN">https://www.ilanzou.com/s/uiDnSeXN</a>
 <br/>
</p>
小说视频工作流 (Novel Video Workflow)

一个基于AI技术的小说转视频自动化生成系统，集成了多种AI工具（TTS、图像生成等），能够将小说文本转换为带有音频、字幕和图像的视频内容，并生成可用于剪映的一键出片项目结构。
2026.02.11 新增图像MV生成，通过歌词自动生成mv图片， 
详情 MCP工具-->generate_image_from_lyric_ai_prompt--> 输入歌词，点击生成即可 
🎉在线体验：https://yadou.net
🧧 节日将至，新增“马年祝福语”提示词，一键生成“马”主题的一组提示词模板，让您节日里尽情表达美好祝愿 
🍷 祝君春节快乐,恭喜发财 🧨🎆🎇🎉🎊 
✨ **设置中选择马年祝福提示词** - 设置选项卡-风格设置-选择马年，保存后，系统将以该模板作为基础模板，生成一组提示词，用于后续的AI处理。
✨ **MCP选项卡输入简单文本** - MCP选项卡-generate_images_from_chapter_with_ai_prompt工具模块，输入简要文本，如：春风送暖，马跃龙腾;
🔥 **提示词优化及生图** - 系统ollama生成场景提示词，发给drawthings生成图片，并保存在output中，可自行下载，发亲戚，发朋友，发朋友圈 

<div align="center">
<img src="paragraph_001.png" width="400" alt="剪映草稿目录生成 - 截图1" title="剪映草稿目录生成 - 截图1"> 
</div>
🌟 功能特性
✨ **智能章节分割** - 自动将小说文本按章节拆分
🗣️ **AI驱动文本转语音** - 支持声音克隆的高质量语音合成
💬 **自动生成字幕** - 基于音频内容的精准时间轴字幕
🎨 **AI图像生成** - 基于章节内容的智能图像生成
⚙️ **自动化工作流** - 端到端的自动化处理流程
🔌 **MCP服务集成** - 与Ollama Desktop等AI代理平台集成
🌐 **Web控制台界面** - 直观易用的Web操作界面
🎬 **剪映项目导出** - 生成可直接导入剪映的项目结构
🖥️ Web控制台

!web_pic.png
🏗️ MCP服务架构图
🚀 快速开始
系统要求（项目测试,后期扩展到更多平台）
**操作系统**: macOS
**Go**: 1.25+ (推荐)
**内存**: 16GB以上 (推荐32GB)
**GPU**: Apple Silicon (Metal支持)
**存储**: 100GB以上可用空间
依赖服务

在运行系统前，请确保以下服务已安装并运行：
**Ollama** (用于AI推理)
**Drawthings** (用于图像生成) 
苹果商店下载，开启http访问，7861端口
**IndexTTS2** (用于TTS语音合成)
 
启动步骤
**准备输入文件**
**准备参考音频** (可选但推荐)
**启动系统**
**访问Web界面**
打开浏览器访问: http://localhost:8080
上传小说文件并开始处理
🛠️ 使用方法
Web界面操作
访问 http://localhost:8080
上传小说文件夹至input目录
选择需要处理的工具（章节分割、音频生成、图像生成等）
点击"处理上传的文件夹"执行完整工作流
查看output目录中的生成结果
MCP服务调用

系统支持通过MCP协议调用各种工具，适用于AI代理集成：
命令行批量处理
一键生成剪映草稿，修改后直接发布 
在output目录下，选择chapter_0x章节，点击一键发布，打开剪映，便可以看到草稿文件，文件名与章节名一致 
📁 目录结构
输入目录结构
输出目录结构
🔧 主要工具列表

系统提供以下MCP工具供调用：

| 工具名称 | 功能描述 |
|---------|-----------------|
| generate_indextts2_audio | 使用IndexTTS2生成音频 |
| generate_subtitles_from_indextts2 | 生成字幕文件 |
| file_split_novel_into_chapters | 分割小说章节 |
| generate_image_from_text | 根据文本生成图像 |
| generate_image_from_image | 图像风格转换 |
| generate_images_from_chapter | 章节转图像 |
| generate_images_from_chapter_with_ai_prompt | AI智能提示词图像生成 |
| generate_image_from_lyric_ai_prompt | 歌词生成MV |
⚙️ 配置说明

系统通过 config.yaml 文件进行配置，主要配置项包括：
**服务端点**: Ollama, Stable Diffusion, IndexTTS2等服务地址
**路径配置**: 输入输出目录、资源文件路径
**图像设置**: 生成图像的尺寸、质量、样式等
**音频设置**: 音频格式、采样率等
**工作流设置**: 并发任务数、临时目录等
🧩 MCP服务集成

本项目实现了MCP（Model Context Protocol）协议，支持以下集成方式：
Ollama Desktop集成
通过MCP协议与Ollama Desktop无缝集成
提供丰富的工具集合供AI代理调用
工具处理器
使用 ollama_tool_processor.go 作为代理
将外部工具调用转发到本地MCP服务
MCP桥接器
通过 cmd/ollama_mcp_bridge/main.go 提供额外集成选项
支持多种运行模式
📋 依赖项
**Go**: 1.25+
**Ollama**: 用于AI推理
**Drawthings**: 用于图像、视频生成
**IndexTTS2**: 用于高质量语音合成
**Aegisub**: 用于字幕生成
**FFmpeg**: 用于音频处理
🧪 章节编号处理
支持阿拉伯数字和中文数字识别（如"第七章"或"第7章"）
输出使用两位数格式（如 chapter_01, chapter_08）
最多支持99章处理
自动检测重复内容并跳过处理
🔍 服务自检

程序启动时会自动检查所有必需服务的可用性：
Ollama 服务 - 必需
DrawThings 服务 - 必需 
IndexTTS2 服务 - 必需
Aegisub 脚本 - 必需

如果任一关键服务不可用，程序将停止执行并显示错误信息。
📁 输出文件
**音频文件**: chapter_01.wav (高质量音频)
**字幕文件**: chapter_01.srt (SRT格式)
**图像文件**: scene_01.png, scene_02.png... (AI生成图像)
**剪映项目**: chapter_01.json (可直接导入剪映的项目文件，或作为剪映配置文件的参考)
📚 详细文档

更多信息请参考以下文档：
SYSTEM_ARCHITECTURE.md - 系统架构详细说明
USER_GUIDE.md - 完整用户操作手册
pkg/tools/drawthings/README.md - 图像生成模块说明
💻 剪映截图 一键到剪映，自动生成到剪映的草稿目录，无需人工导入 

<div align="center">

<img src="%E6%88%AA%E5%B1%8F2026-01-16%2002.27.50.png" width="400" alt="剪映草稿目录生成 - 截图1" title="剪映草稿目录生成 - 截图1"> <img src="%E6%88%AA%E5%B1%8F2026-01-16%2002.29.02.png" width="400" alt="剪映草稿目录生成 - 截图2" title="剪映草稿目录生成 - 截图2">

</div>
🎬 效果一览 
视频演示
<div align="center">
 
<video width="80%" controls poster="logo.png">
 <source src="幽灵客栈_chapter_08.mov" type="video/quicktime">
 您的浏览器不支持视频标签。
</video>

<p><em>AI自动生成的视频内容 - 展示了从文本到图像再到视频的完整转换流程</em></p>
</div>
音频与字幕示例
🎵 chapter_08.wav - AI生成的配音
📄 chapter_08.srt - 自动生成的字幕文件
AI生成图像示例 (宫格展示)

<div align="center">

<img src="output/青花瓷/chapter_08/scene_01.png" width="200" alt="场景 01" title="AI生成图像 - 场景 01"> <img src="output/青花瓷/chapter_08/scene_02.png" width="200" alt="场景 02" title="AI生成图像 - 场景 02"> 
<img src="output/青花瓷/chapter_08/scene_03.png" width="200" alt="场景 03" title="AI生成图像 - 场景 03"> <img src="output/青花瓷/chapter_08/scene_04.png" width="200" alt="场景 04" title="AI生成图像 - 场景 04"> 
<img src="output/青花瓷/chapter_08/scene_05.png" width="200" alt="场景 05" title="AI生成图像 - 场景 05"> <img src="output/青花瓷/chapter_08/scene_06.png" width="200" alt="场景 06" title="AI生成图像 - 场景 06"> 
<img src="output/青花瓷/chapter_08/scene_07.png" width="200" alt="场景 07" title="AI生成图像 - 场景 07"> <img src="output/青花瓷/chapter_08/scene_08.png" width="200" alt="场景 08" title="AI生成图像 - 场景 08"> 

</div>
🤝 贡献

欢迎提交Issue和Pull Request来帮助改进项目！
📄 许可证

本项目采用 MIT 许可证 - 查看 LICENSE 文件了解详情