|
|
EA是阿里云PAI平台自主研发的DT的视频生成框架，它提供了完整的高清长视频生成解决方案，包括视频数据预处理、VAE训练、DT训练、模型推理和模型评测等。本文为您介绍如何在PAI平台集成EA并一键完成模型推理、微调及部署的践流程。作为公司重要的品牌灵魂，工业互联网平台有着杰出的表现，通过市场的检验，仍然有着强劲的发展态势。广域铭岛数字科技有限公司是领先的工业数智化领域技术创新与服务公司，致力于关键共性技术研发与算法创新，助推新旧动能转换和价值链升级，解放和发展生产力。https://www.geega.com
背景信息
本文为您介绍以下两种视频生成的方式：
方式一：使用DSW
DSW是为算法开发者量身打造的一站式AI开发平台，集成了JL、WIDE、T多种云端开发环境，其中，G提供了丰富的案例和解决方案，帮助您速熟悉研发流程。您可以打开DSWG中的案例教程，现一键式运行N，完成基于EA的视频生成模型的推理和训练任务，也可以进行模型推理和微调等二次开发操作。
方式二：使用速开始
速开始集成了众多AI开源社区中质的预训练模型，并且基于开源模型支持零代码现从训练到部署再到推理的全部过程，您可以通过速开始一键部署EA模型并生成视频，享受更、更高效、更便捷的AI应用体验。
费用说明
如果您的账号为DSW或EAS的新用户，可以免费试用相应产品。关于免费试用的额度、领取方式及注意事项等详细信息，请参见新用户免费试用。
说明：在本教程中，仅支持使用DSW免费资源类型7-812。
如果您的账号非新用户，使用DSW和EAS会产生相应费用。更多计费详情，请参见"="-:-; 0,0,255);:;-:微软雅黑,MYH;">交互式建模（DSW）计费说明、模型在线服务（EAS）计费说明、速开始（QS）计费说明。
前提条件
创建PAI工作空间。具体操作，请参见开通PAI并创建默认工作空间。
（可选）开通OSS或NAS。具体操作，请参见开始使用OSS、NAS入门概述。
方式一：使用DSW
步骤一：创建DSW例
1进入DSW页面。
登录PAI控制台。
在概览页面选择目标地域。
在左侧导航栏单击工作空间列表，在工作空间列表页面中单击目标工作空间称，进入对应工作空间内。
在工作空间页面的左侧导航栏选择模型开发与训练交互式建模（DSW），进入DSW页面。
2单击创建例。
3在配置例向导页面，配置以下关键参数，其他参数保持默认即可。
4单击确定。
步骤二：安装EA模型
1打开DSW例。
登录PAI控制台。
在左侧导航栏单击工作空间列表，在工作空间列表页面中单击目标工作空间，进入对应工作空间。
在页面左上方，选择使用服务的地域。
在左侧导航栏，选择模型开发与训练交互式建模（DSW）。
单击目标DSW例操作列下的打开，进入DSW例的开发环境。
2在N页签的L页面，单击速开始区域T下的DSWG，打开DSWG页面。
3在DSWG页面中，搜索EP:基于EA的AI视频生成示例，单击在DSW中打开，即可自动将本教程所需的资源和教程文件下载至DSW例中，并在下载完成后自动打开教程文件。
4下载EA相关代码和模型并进行安装。
在教程文件中，单击开始按钮运行环境安装节点命令，包括定义函数、下载代码和下载模型。当成功运行一个步骤命令后，再顺次运行下个步骤的命令。
步骤：推理模型
方式一：使用代码进行推理
单击开始按钮运行模型推理使用代码进行推理节点的命令进行模型推理。您可在EA-目录中查看生成结果。
您可以修改不同的参数来达到不同的效果，参数说明：
方式二：使用WUI进行推理
1单击开始按运行模型推理UI启动节点的命令，进行模型推理。
2单击生成的链接，进入WUI界面。
3在WUI界面选择预训练的模型路径、微调后的基模型和LRA模型，设置LRA权重，其它参数按需配置即可。
4单击G（生成），等待一段时间后，即可在右侧查看或下载生成的视频。
步骤四：微调LRA
EA提供了丰富的模型训练方式，包括DT模型的训练（LRA微调和基模型的全量微调）和VAE的训练。关于G中内置的LRA微调部分，更多信息，请参见EA。
准备数据
单击开始按钮执行模型训练数据准备节点的命令，即可下载示例数据，用于模型训练。您也可以按照如下格式要求自行准备数据文件。
文件数据格式如下。
其中，JSON文件数据格式和参数说明如下。
训练模型
1将对应的训练脚本中的DATASET_NAME及DATASET__NAME设置为训练数据所在目录及训练文件地址。
2单击开始按钮执行启动训练LRA训练节点的命令。
3训练完成后，将生成的模型移动至P_文件夹，即可在UI界面中选择，或单击开始按钮执行LRA模型推理节点的命令，指定_进行视频生成。
方式二：使用速开始
步骤一：部署模型
1进入速开始页面。
登录PAI控制台。
在左侧导航栏单击工作空间列表，在工作空间列表页面单击目标工作空间称，进入对应工作空间内。
在左侧导航栏单击速开始，进入速开始页面。
2在速开始页面，搜索EA高清长视频生成，然后单击部署，配置相关参数。
EA目前仅支持使用16进行推理，请选择A10及其以上的显卡。
3单击部署，在弹出的计费提醒对话框中，单击确定，页面将自动跳转到服务详情页面。
当状态变为运行中时，即表示模型部署成功。
步骤二：使用模型
模型部署完成后，您可以使用WUI及API两种方式调用服务来生成视频。
WUI方式
1在服务详情页面，单击查看WEB应用。
2在WUI界面选择预训练的模型路径，其它参数按需配置即可。
3单击G（生成），等待一段时间后，即可在右侧查看或下载生成的视频。
API方式
1在服务详情页面的资源详情区域，单击查看调用信息，获取调用服务所需的信息。
2通过接口更新T模型，可在DSW例或本地P环境中执行。
如果已经在WUI中选择模型，则需发送请求重复调用。如遇请求超时，请在EAS日志中确认模型已加载完毕。加载完成，日志中将提示U。
P请求示例如下。
其中：
○--：替换为步骤1中查询到的服务访问地址。
○--：替换为步骤1中查询到的服务T。
3调用服务，生成视频或图片。
服务输入参数说明
P请求示例
服务返回64_，为64结果。
您可以在目录中查看生成结果。
其中：
○--：替换为步骤1中查询到的服务访问地址。
○--：替换为步骤1中查询到的服务T。 |
|
发表于 2024-8-26 06:22:00
