万相视频是目前唯一一个免费开源和可灵接近的ai生成工具了,必须要研究一下
先说实际测试结果:
Wan2.2 14B+LightX2V_r64+sageattn2.2
744x504x81帧 6步 5090=46秒,但动作略失细节
10步=68秒,细节几乎完美。显存最高占用22g,4090+24g也完全可用。如果加上 blockswap,16g 显存毫无压力
速度问题
玩2.2模型的问题,虽效果好但速度慢、显存占用大。它并非单独MOE模型,运行效率低。
目前新功能基本支持且还在更新。通过使用官方工作流分析其两次采样机制。
初始工作流分析与首次加速尝试:704x544分辨率,4090运行生成5s正常运行约500s,第一次用高噪模型规划视频运动,第二次用低噪模型提升细节,时间均约200秒。
- 4090先采用 Teacatch+SageAttention 方法,添加 KJ 的 Patch Sage Attention (挂在底模后面,加两次) 设置 Teacatch 阈值主要为 0.25-0.26 ,速度从约 500 秒缩至 250秒。不开 Sageattention 加速在 20s 170s,都加上则速度为 123s,速度已经快一倍
- 添加 lightxt2v 加速框架,6rack64,可以尝试128的,还考虑到不同框架的步数及质量问题。
- 能否加 FusionX,可能可以,但会改变改变人物一致性
- xvideo 步数要求更高,早期加速框架
- cosvid 质量不是很好,导致变色 - 调整总步数、采样步数、调度器等参数,在保证质量前提下,速度提升到约90秒。如将总步数设为12步,前后各6步,后考虑质量问题将light textube设为每次3步,最终调整为6步,调度器改为LCM跟simple 。经这些调整,速度提升到约一分半,且画面质量无明显损失。
- 探讨进一步优化可能,认为速度快到一定程度后,应更关注质量
注意事项
Sage Attention 和 Teacache不兼容,不能同时使用
wan2.2关键字整合
光源:
日光:Daylight
实用光:Practical Light
阴天光:Overcast Light
人工光:Artificial Light
火光:Firelight
混合光:Mixed Lighting
月光:Moonlight
荧光:Fluorescent Light
晴天光:Direct Sunlight
光线:
柔光:Soft Light
侧光:Side Light
边缘光:Rim Light
硬光:Hard Light
背光 :Backlight
剪影光:Silhouette
顶光:Top Light
底光:Bottom Light
高对比度:High Contrast
时间:
白天Daytime
日落Sunset
夜晚Nighttime
黎明Dawn
黄昏Twilight
日出Sunrise
机位角度:
过肩角度:Over the Shoulder
倾斜角度:Dutch Angle
高角度:High Angle
航拍:Aerial Shot
低角度:Low Angle
俯视角度:Overhead
构图:
中心构图:Centered
对称构图:Symmetrical
右/左侧重构图:Right/Left Weighted
平衡构图:Balanced
短边构图:Short Siding
镜头焦段:
中焦距:Standard
望远:Long Lens
广角:Wide
超广角/鱼眼:Fisheye
长焦:Telephoto Lens
镜头类型:
干净的单人镜头:Single Shot
群像镜头:Group Shot
双人镜头:Two Shot
定场镜头:Establishing Shot
三人镜头:Three Shot
色调:
暖色调:Warm Tone
高饱和度:High Saturation
冷色调:Cool Tone
低饱和度:Low Saturation
基础运镜:
镜头推进:Pull in
镜头向左移动:Pan Left
镜头拉远:Pull Back
镜头上摇:Tilt Up
镜头向右移动:Pan Right
高级运镜:
手持镜头:Handheld shot
跟随镜头:Tracking shot
复合运镜:Multi camera motions
环绕运镜:Orbiting camera
人物表情:
愤怒:Angry
悲伤:Sad
恐惧:Fear
惊讶:Surprised
高兴:Happy
景别:
特写:Extreme Close-up
中全景:Medium Long Shot
近景:Close-up shot
全景:Long Shot
中景:Medium Shot
广角:Wide Shot
💡
欢迎分享文章,或是与我联系