Runway

人工智能的需求日益增加。 艺术家、设计师和电影制作人可以使用人工智能来增强他们的工作，但整合人工智能可能具有挑战性。 然而，Runway AI 旨在通过提供只需点击几下即可激活的机器学习功能来解决这个问题，使 AI 更易于访问和直观。

Runway 是一个人工智能驱动的创意平台，提供一套用于生成和处理照片、视频和音频的工具。 基于云的服务可以处理从照片背景去除到提示驱动的视频生成等所有事务。

Runway 还拥有一个自动化纹理创建工具，允许您创建独特的 3D 纹理，并将其导入到 Blender 和 Unreal Engine 等建模平台中。

所有这一切的基础是 Runway 的精简视频编辑工具和经过深思熟虑的资产管理系统。

简而言之，Runway 是内容创作工具中的瑞士军刀。

Runway 是什么？

是 Stable Diffusion model 背后的研究团队的公司；是目前最受关注的 AI native 视频创作软件；是新产品 demo 总是很酷炫，但用户很难拿到内测的“最强广告公司”；是基于云端和浏览器的团队协作产品——视频编辑领域的 figma。

视频编辑工具层面，Runway 不适合精细度要求高、特别专业的场景，更多专业用户把它的 tools 当成 Adobe 的补充而非替代；而中小客户方面又面临剪映（Capcut）这种更方便、更移动原生产品的竞争；

在图像生成方面，虽然 Runway 是 Stable Diffusion 的早期作者，图片生成质量落后于 Midjourney 和 Stability AI，目前内测的视频生成产品，效果还待更多用户来验证。

Runway历史

从 ML 模型平台到 AI Tools 工厂

Runway 创业之初的产品形态是一个关于 ML（机器学习）模型的应用商店，用户可以在这上面使用数百个模型。就像我们可以很方便地在 Hugging Face 平台使用不同的 NLP 模型一样，用户可以在 Runway 平台上方便地调用流行的图像处理模型，比如 StyleGAN 模型。

在 5 分钟内将机器学习模型从 GitHub移植到 RunwayML

GAN （对抗生成网络）是早期图像生成的主流算法，基于 GAN 模型发展出了许多人脸生成的玩法，2018 年 12 月，Nvidia 的研究人员发表 StyleGAN 相关论文，该模型可以生成无限张假的肖像画。

在图像生成方面，GAN 模型在生成内容无法同时满足高度可控性和高分辨率，而如今的图片生成模型主流技术是 Diffusion 模型。

从单点 AI 工具到云视频编辑套件

随后 Runway 开始基于最新的 AI 算法开发相应 AI magic tools，目前RunwayML 拥有 30 多种由 AI 支持的创意工具，使用户能够轻松生成视频和图像文本并训练个性化模型，包含音频、图片、视频、3D 和生成五个大类，涵盖了几乎所有的音视频内容生成和处理工具。

在深度学习的研究过程中，Runway 发现大约 80% 的视频编辑时间都是那些逐帧编辑的非创造性操作，并且也有许多视频制作行业里的制作人对 Runway 的技术感兴趣，于是基于视频抠图类的 AI Tool 打造了一套云原生的视频编辑工具。

Runway功能

Runway AI 旨在为来自各个创意领域的个人提供帮助，包括TikTokers和 YouTubers、电影制作人和艺术家。

其直观的界面和广泛的功能使用户能够通过各种效果、滤镜和叠加快速增强他们的镜头。 Runway AI 提供了几个值得注意的功能，例如：

文本到视频

使用 Runway AI，您可以使用文本提示以多种令人难以置信的方式创建视频！ 您所需要做的就是输入您想要的简单描述，然后让它发挥其魔力。 在您不知不觉中，您的个性化视频将准备就绪，无论是令人惊叹的自然场景、有趣的动画剪辑还是教育演示。

文字转图像

Runway AI 还允许您使用文本制作独特的图像。 它可以将您的书面描述变成美丽的图像，为您提供无尽的艺术表达方式。

视频到视频

您可以使用文本或图像应用不同的视频样式。 其用户友好的界面可以轻松创建各种美学，例如vintage复古、retro复古、前卫或未来主义外观。 这种灵活性使您能够根据您的愿景和讲故事的需求定制视频。

图像到图像

Runway AI 还拥有 AI 图像生成器，只需几句话即可将现有图像转换为经过修改的杰作。 此功能无需复杂的软件或技术专业知识，因此您可以轻松创建视觉上令人惊叹的照片。

从视频中删除内容

借助 Runway AI，您只需用笔触即可从视频中删除人物或物体。 使用它可以消除不需要的元素，专注于特定主题，甚至以复杂的方式修饰视频。

添加慢动作

视频 超级慢动作工具是 Runway AI 的热门功能，可自动生成新帧，将低帧率素材转换为流畅的慢动作视频。 这是为视频添加戏剧效果或更详细地捕捉日常生活瞬间之美的好方法。

动画图像

Runway AI 的帧插值可让您在图像之间生成平滑的过渡，以创建流畅的视频。 它非常适合从静态图像创建视频或为视频添加视觉趣味。 您可以调整帧速率和过渡时间等设置，并在满意时下载或分享您的视频。

删除背景：Green Screen（绿幕抠图）

Runway AI 的绿屏功能是一个用户友好的工具，用于删除或替换视频背景。 它使用人工智能自动检测并删除绿屏背景，为您留下您选择的透明或自定义背景。 要使用绿屏功能，请将视频上传到 Runway AI 并选择绿屏工具。 然后，单击并拖动画笔到绿屏背景上以将其删除。

Green Screen，可以把选择的对象以绿幕的方式作为视频主题剪裁出来，通过点选的方式 AI 自动帮你补全贴合主题的轮廓。

训练自定义 AI 模型

Runway AI 的自定义 AI 模型训练功能使您能够针对不同目标（例如内容生成、任务执行和风格偏差）开发个性化模型。

Inpainting（图像修复）

Inpainting，视频修复功能，类似图片的 PS 功能，通过手动选择对象范围，将选定范围内的主题删除，并用周围的背景通过 AI 计算进行填充；

Motion Tracking

Motion Tracking，选定一个视频内的主体，当你添加其他的效果（比如标题）时可以跟随这个主体运动。

Video Editing 是 Runway 目前的主打功能，在产品形态上，Runway 基于 Web 打造了一个视频编辑软件，前端页面依然遵循着一些传统视频创作的用户习惯，保持了底部界面的轨道，带有多编辑系统，音轨、关键帧动画以及对文本、图像的支持。

视频后期特效/微调中，最耗时费力的便是：Green Screen（绿幕抠图）、这两项工作，而 Runway 通过三个 AI Tool 的帮助，可以节省大量的时间。

Runway AI 定价

Runway AI 提供四种产品定价计划：基本、标准、专业和无限制，年度计划可享受 20% 的折扣。

基本计划是免费的，包括用于图像生成的 125 个每月积分。 它包括 3 个视频项目、10 个 AI 魔法工具、720p 视频导出、5 GB 资源存储和 3 个编辑器。

标准计划起价为 15 美元/用户/月。 它提供 625 个每月积分、购买更多积分的能力、无限视频项目、4K 导出、100 GB 资产存储和 5 名编辑器。 而且，除其他功能外，它还允许您训练一个自定义 AI 生成器。

Pro 计划的费用为 35 美元/用户/月。 它包括 500 张图像的 2,250 个每月积分、无限的视频项目、所有 AI Magic 工具、4K 视频导出、500 GB 的资产存储和 10 个编辑器。 除其他功能外，它还允许您训练一个自定义 AI 生成器。

Unlimited 计划提供无限的视频生成以及 Pro 计划的所有功能，起价为 95 美元/用户/月。

Runway AI 适合谁？

Runway AI 是一款用户友好的工具，使您能够利用人工智能在艺术、设计、影片记录、音乐和写作等领域生成创意内容，即使没有编码技能。 您可以为跨网站和社交媒体渠道的营销活动创建引人注目的视觉效果。 无论您是想产生创新概念还是轻松制作迷人的动画或歌曲，它都会打开一个充满创意可能性的世界。

Runway 公司介绍

Cristóbal Valenzuela 是 Runway 项目的 CEO， 他本科就读于智利排名第一的私立院校阿道夫伊瓦涅斯大学 (AIU) ，获得经济学和工商管理学士学位，并于 2012 年获得了设计艺术硕士学位，毕业后留校任教。

从 2016 年开始，深度学习的进展给了 Cristóbal Valenzuela 极大的震撼，他便选择辞职去纽约大学进行深造，成为了 Tisch 艺术学院 ITP （Interactive Telecommunications Program）项目的研究生，并开始寻找制作艺术、生成内容和讲述故事的新方法。

而 Runway 则是Cristóbal Valenzuela 的论文项目，在项目的开发过程中，他遇到了智利同胞 Alejandro Matamala，后者拥有过两段创业经历，他随后加入项目担任联合创始人，在毕业后，纽约大学为他们提供了一个研究实习机会，他们在那里遇到了具有丰富开发经验的智利同胞 Anastasis Germanidis，并说服他加入 Runway 担任 CTO。

去年 Runway 的研究科学家 Patrick Esser 与德国慕尼黑大学的学者共同撰写了 Stable Diffusion 的初始论文，Runway 随后帮助构建了 Stable Diffusion 的原始版本，并将该技术集成进设计软件的功能中。

Runway 采用 Pytorch 框架建立自己的模型，使用 AWS 的集群，同时会自建系统优化模型训练流程，并且会采用 WebGL 加速器完成前端的优化。在推理端，他们使用 C++ 技术栈 ，以方便实时对视频编码解码过程，同时建立了一整套流媒体系统，并不断地权衡模型的精度和速度，这保证了 Runway 对于自家产品的控制和表现力。

2022 年 12 月 5 日，Runway 的 CEO Cristóbal Valenzuela 在公司博客上宣布完成了 5000 万美元 C 轮融资，估值 5 亿美元。除著名风险机构 Felicis、Amplify Partners、Lux Capital、Coatue、Compound 和 Madrona 投资外，还有一批豪华天使阵容 —— Guillermo Rauch（Vercel CEO）、Amjad Masad（Replit CEO）、Howie Liu（Airtable CEO）、Soumith Chintala（PyTorch 负责人）、Lukas Biewald（Weights & Biases CEO） 以及 Jay Simons（ex Atlassian 总裁）。

截止到目前，Runway 团队已经有 42 人，与开源社区和许多研究机构保持着良好的关系。

“多数追求‘一键生成视频’制作工具的人都没有经历过甲方的摧残，尽管一些人将 Runway 当成一站式的视频制作工具，但 Runway 并不期待这样，它应该允许其他人使用不同的软件组合，也可以成为别人工作流的一部分，Runway 主要帮助人们提高视频制作的效率，降低重复劳动。”

Runway CEO

同时 Runway 希望将人类的创造性引入创作环节，形成一个持续的反馈系统，这一方面要摒弃端到端的产品设计，另一方面需要掌握全栈 AI 技术。

但在语言模型层面，CEO 认为 OpenAI 已经创造了足够好的模型，没有必要自己从零开始训练，团队应该专注于如何让大模型变得更加可控，以期待更好的表现能力。