图 10 视频解构分析及再生产
上图给出了智能媒资系统的两个主要技术应用，分别是视频多维解构分析和视频智能生产。
2.3.1 元素级解构
这里推荐大家阅读《STORY 故事：材质 结构 风格和银幕剧作的原理》这本书，好的视频内容，无论形式是长还是短，其拍摄的时候都是有逻辑洞现的。而视频内容解构在一定程度上可以看做是拍摄过程的逆过程，即逆向工程（Reverse Engineering）。从一个完整的视频且分出不同的片段，进而到镜头、关键帧、关键元素，这些能够形成一个树形结构（或者网状结构），每个图中的元素都是一个节点。针对视频形式、题材的区别，内容运营产品会构建不同的领域模型来指导解构，常用的模式如时间、地点、场景、任务、动作等等。
图 11 元素级解构分析
图 12 接吻动作分析
图 11 和图 12 分别给出了元素结构分析的框架示意图以及动作识别的例子，以表情识别为例，单纯的依赖图像这个模态是很难将准确率提升上去的，这也是人维度相关识别算法的一个难点，而引入声音这个模态就可以比较有效的帮助算法模型提升精度。
2.3.2 视频自动生成
当视频内容被拆解为细颗粒度的要素之后，智能媒资库才可能赋能视频生产，甚至视频原生广告。视频的全自动生成是一件很有挑战的事情，而内容的剪辑创作是机器目前比较难于胜任的工作，但是素材的搜索和推荐却是提效视频创作的有效手段。我们很多 PGC 合作伙伴在进行影剧综漫周边视频制作时都苦于视频元素的寻找和剪辑，而视频解构技术恰好可以赋能这一过程。
Netflix 于 2018 年公布了一项很有意思的工作，即电影个性化海报推荐，其原理就是针对不同的用户、不同的上下文选择不同的海报素材来呈现同一部电影的推荐结果，他们利用了强化学习相关的策略来做分发提效，目的是提升视频的点击率。而优酷这边碰到的缺是新的问题，全站有上万部存量电视剧、电影，为它们专门制作海报投入太大，网上能够抓取到的海报图往往比较陈旧，对用户的吸引力也大幅度减弱。因此，能否自动给这些视频生成海报图变成为了一项很有业务和技术挑战的课题，优酷算法中心的工程师和达摩院的科学家一起进行了深入研究，初步拿到了一些结果。
图 13 产生封面图的方法
