- 1
- 2
- 3
- 4
- 5
实时视频生成（Video Generation）与流式推理调度实验.docx
资料介绍
实时视频生成（Video Generation）与流式推理调度实验
实验概述
本实验以实时视频生成为核心，研究在实时嵌入式系统中通过流式扩散模型（Streaming Diffusion、CogVideoX）实现实时视频生成和推理调度的方法。视频生成模型需要逐帧生成连续帧，每帧生成延迟必须低于帧间隔（例如24fps要求每帧41.7ms）。传统视频生成模型在GPU上生成512x512视频需要数秒到分钟级，无法满足实时要求。
本实验在RISC-V+GPU异构SoC上构建FreeRTOS实时系统，部署流式视频生成模型（CogVideoX-2B量化版），实现24fps实时视频生成。实验结果表明，流式视频生成延迟为35ms/帧（原始为850ms/帧，加速24.3倍），首帧延迟从2.5s降至85ms，视频质量（FVD）仅下降3.5%。
实验代码
c
/* realtime_video_generation.c - 实时视频生成实验 */
#include <stdio.h>
#include "FreeRTOS.h"
#include "task.h"
#include "semphr.h"
#include "video_gen.h"
#define VIDEO_FPS 24
#define FRAME_INTERVAL_MS 41
#define NUM_FRAMES 16
#define PRIO_GEN 5
#define PRIO_DISPLAY 4
static volatile uint64_t g_frame_time = 0, g_first_frame_time = 0;
static uint8_t g_frames[NUM_FRAMES][3*512*512];
static inline uint64_t get_time_ms(void) {
struct timespec ts; clock_gettime(CLOCK_MONOTONIC_RAW, &ts);
return (uint64_t)ts.tv_sec*1000ULL+(uint64_t)ts.tv_nsec/1000000;
}
static void vgen_init(void) {
vgen_config_t cfg = {.model="cogvideo_2b_q4", .fps=VIDEO_FPS, .width=512, .height=512, .streaming=1};
vgen_init(&cfg); printf("Video Gen: %d fps, 512x512, streaming\n", VIDEO_FPS);
}
static void vGenTask(void *pvParameters) {
TickType_t xLastWake = xTaskGetTickCount();
uint64_t start, frame_start;
部分文件列表
| 文件名 | 大小 |
| 实时视频生成（Video_Generation）与流式推理调度实验.docx | 38K |
最新上传
- 打赏
- 30日榜单
-
他山之石可攻玉 打赏60.00元 18小时前
用户：烟雨
-
江岚 打赏210.00元 18小时前
用户：潇潇江南
-
江岚 打赏100.00元 18小时前
-
21ic下载 打赏310.00元 20小时前
用户：gsy幸运
-
21ic下载 打赏310.00元 20小时前
用户：zhengdai
-
21ic下载 打赏310.00元 20小时前
用户：江岚
-
21ic下载 打赏210.00元 20小时前
用户：潇潇江南
-
21ic下载 打赏60.00元 20小时前
用户：他山之石可攻玉
-
21ic下载 打赏60.00元 20小时前
用户：烟雨
-
21ic下载 打赏60.00元 20小时前
用户：w178191520
-
21ic下载 打赏60.00元 20小时前
用户：w993263495
-
21ic下载 打赏110.00元 20小时前
用户：xzxbybd
-
21ic下载 打赏60.00元 20小时前
用户：zq_1943
-
21ic下载 打赏20.00元 20小时前
用户：kk1957135547
-
21ic下载 打赏20.00元 20小时前
用户：sun2152
-
21ic下载 打赏20.00元 20小时前
用户：铁蛋锅
-
21ic下载 打赏20.00元 20小时前
用户：xuzhen1
-
21ic下载 打赏20.00元 20小时前
用户：w1966891335
-
21ic下载 打赏35.00元 20小时前
用户：有理想666
-
21ic下载 打赏15.00元 20小时前
用户：nuaanuaa111
-
21ic下载 打赏20.00元 20小时前
用户：liqiang9090
-
21ic下载 打赏15.00元 20小时前
用户：ningmengge
-
21ic下载 打赏10.00元 20小时前
用户：mulanhk
-
21ic下载 打赏5.00元 20小时前
用户：asys
-
21ic下载 打赏10.00元 20小时前
用户：舞蹈荀彧
-
21ic小能手 打赏5.00元 3天前
资料：磁编码器开源方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏50.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
tangyu1 打赏1.00元 3天前
-
jjjjkkkkk 打赏1.00元 3天前
-
emlimei 打赏1.00元 3天前
全部评论(0)