【开源项目】OpenCat, 一个视频生成制作库

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI 生成、润色内容部分已截图发出: 是 以上选择我承诺是永久有效的,接受...
【开源项目】OpenCat, 一个视频生成制作库
【开源项目】OpenCat, 一个视频生成制作库

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

以上选择我承诺是永久有效的,接受社区和佬友监督: 是

以下为项目介绍正文内容,AI 生成、润色内容已使用截图方式发出

OpenCat

介绍一下我写的项目,目前还比较粗糙,欢迎大佬们指点一二,顺便点个 star 吧~

这个项目主要用于AI生成视频/设计,灵感源于openpencil/remotion,remotion对react这种网页框架依赖太重,openpencil的JSONL结构化输出理念不错,但我觉得其各种属性上配置有一些不符合直觉,这可能和openpencil主要面对设计有关。

所以,remotion like, rust rewrite.

大概原理是让AI根据格式说明(可以配合DESIGN.MD)输出JSONL,每个JSONL是一个节点,受tailwind布局约束,主要节点有div/timeline/script/canvas/image/video/audio

  • timeline是一种时间序列节点,它表示多个场景以及场景之间的转场。它是一种普通节点,它可以镶嵌在任何位置,在这个位置上做场景/转场。
  • script是js脚本,用来控制节点的属性,在脚本中可以完成动画操作,可以使用类似react sprint/gsap的操作。
    如果是挂载在canvas节点上,可以使用canvaskit的子集直接操作skia canvas.

这个库直接解析tailwind属性,使用taffy计算布局,用skia渲染,然后交给ffmpeg编码,配合metal/opengl也可以上屏做视频/设计编辑。

支持图片/视频/lucida图标,音频素材,转场动画.

这个项目处于早期阶段,功能上大概有remotion80%的样子,发布出来希望大家给点儿建议。

1 个帖子 - 1 位参与者

阅读完整话题

来源: linux.do查看原文