龙空技术网

小说搭子已上线,数字人的A面与B面

36氪 203

前言:

此刻兄弟们对“net层级引用管理”大约比较珍视,兄弟们都需要剖析一些“net层级引用管理”的相关资讯。那么小编同时在网摘上收集了一些对于“net层级引用管理””的相关内容,希望咱们能喜欢,各位老铁们快快来了解一下吧!

年轻人的社交趋势中,如今又多了一个新的方向:找搭子。

“搭子”一词或最早来源于吴语,在2007年出版的《上海话大词典》中有所提及,对其解释为:一起打牌的人,引申为合伙者。而到了2023年,“搭子”被赋予了新的含义。它是一种新型的垂直社交关系,比朋友关系浅,却比同事关系深,主打的是垂直细分的精准陪伴。

靠着万物皆可搭的信念,找寻“饭搭子”、“旅游搭子”、“健身搭子”、“学习搭子”等声音不绝于耳。在“友谊衰退”的当下,搭子承载了年轻人某方面特定的情感需求,并且不用像维护亲密关系那样进而受到年轻人的欢迎。但,你有自己的小说搭子吗?

近期,番茄小说正式官宣虚拟数字人IP——番卷卷,并推出番茄世界中的伴生精灵番糯糯。

番卷卷是番茄小说代言人,同时还是团队随笔中众人的团宠。她行动力强、好奇心旺,活泼灵动、鬼马,爱看书爱推书,是问题的解决者,能够联系番茄世界与现实世界,是网文爱好者们不可或缺的小说“搭子”。番糯糯是番卷卷的小精灵,可爱又有内涵,是问题的发现者,对番茄世界所发生的一切都了如指掌。

经过近些年的发展,虚拟数字人也终于完成了从技术风口向产品落地的转变,而番卷卷的出现,为热爱阅读和收听小说的用户,带来了新的“搭子”体验。

01.数字人A面,你的专属小说新搭子

如今,ai合成声音配合魔性配乐的电影、综艺解说,已经成为短视频圈的一大现象,大众也接受了这种视频解说。

但是这种罐头式的AI语音包,放到小说阅读中,就会失灵了。这是因为视频媒介与图文媒介有着天然属性的区别:视频直观易懂,能清晰地传递信息,而文字则需要动用一个人的大脑皮层进行思考和交互。当用户阅读和收听小说作者们的文字时,需要先在大脑中构想出作者所描绘出的另一个世界,再进行人物的匹配,再加上小说中的角色众多,情节跌宕起伏,如果一直用千篇一律毫无感情波澜的声音,也会让用户感到枯燥和无味。

搭子文化之所以流行,就是源于年轻人对共同兴趣的追求,而作为番茄小说的虚拟IP形象,同时也是能穿越现实世界与书籍世界的数字人,番卷卷则可以跟现实世界中的搭子一样,看书时会跟随故事情节产生对应的阅读情绪。跟书友打招呼时会来一个酷炫的“闪亮登场”,偶尔耍宝时会从礼盒里钻出来,看到甜的发腻的情节时也会想要“踢翻狗粮”,表示疑问时也会跟番糯糯共同出现问号等。

实际上,番卷卷是个老书虫,直到有一天打开一本书后“穿越”到了番茄世界,并结识了对番茄世界了如指掌的番糯糯。在这里解释下什么是番茄世界,番茄世界是独立于现实世界的另一个世界,其中有无数的子世界,每一个子世界是指一本书。而番卷卷与番糯糯都属于番茄世界,当番茄世界的读者认识了他们之后,番卷卷便会带着番糯糯来到现实世界与读者成为了形影不离的小说搭子。

如今,以番卷卷和番糯糯形象制作的12款表情包已经上线番茄小说评论区。另外,在番茄小说催更时番卷卷也会代替用户去跪求作者加快更新速度。

番卷卷的官宣,也刚好符合了数字人始于颜值终于价值的大趋势,衍生出的表情包、催更等场景,一方面能拉近用户与虚拟人的距离,强化了番茄小说品牌在用户层面的心智。另一方面也让用户体会到了虚拟数字人作为小说搭子不可或缺的陪伴感,拥有多层次、多情感、角色分明的代入式小说阅读感受。

02.数字人B面,技术消除最后一公里

一个2D形象如何在3D世界中铺开?这不仅是数字人行业需要思考的问题,也是番茄小说团队在制作番卷卷时面临的现状。

不同于2D的动漫形象,3D拟人形象对面部捕捉和身体建模提出了更高要求。也就是说,信息维度增加,所需的计算量更大。

作为现实世界在番茄世界中的映射,番卷卷既是番茄世界的基础,也是用户进入大千多彩的番茄世界中的“通行证”。

为此,番茄小说团队联合字节火山语音数字人团队,在设计番卷卷之初,首先确定番卷卷的形象定位和人设,然后再进行人物的原画创意设计,再经历3D模型人物都会经历的建模-绑定-渲染链路,然后获得可AI驱动的UE渲染管线资产。

但这还不算结束,从形似到神似再到最终给番茄小说的读者带来精神层面的满足,还需要对这一阶段的数字人进行深度学习的口型训练,以及类人的动作呈现。通过集成上线至火山语音数字人应用平台,借助平台可简单快速地制作番卷卷推书视频。输出视频内容质量稳定且高效,大大节约制作时间及成本。

此外,相较于业内最好用的面部驱动技术普遍推广的GPU方案,番卷卷背后的火山语音AI数字人技术能够同时兼容无GPU版本。由于搭载最新英特尔至强®可扩展系列处理器,通过AVX512指令集优化,不仅实现了口型效果精准自然,还极大降低了部署难度和算力依赖。值得一提的是,番卷卷首发应用了火山语音数字人自研的MOTION BLENDING技术,可实现肢体动作的自然过渡与打断,该技术也是数字人AI驱动领域的一项重要突破。

在渲染的质感方面,基于UE5引擎渲染,渲染的效果也更加优秀。支持在Windows、Linux双平台部署和多场景实时驱动。针对不同的部署场景需求,分别对英特尔数据中心的Flex 170 GPU和消费级的ARC A770 GPU做了测试,依赖于最新的GPU驱动以及英特尔OneVPL实时编码工具,均获得不俗的性能表现。

独行者快,众行者远。番茄小说与火山语音团队,共建了一套深厚数字人的技术壁垒体系。在渲染方案上,使用了边缘云和视频中台PaaS稳定支持的云渲染解决方案;在内容生成上,火山语音数字人团队还与字节朝夕光年江南团队深度共建,持续探索储备AI动作生成、AI场景生成等前沿技术。

一言以蔽之,番卷卷的出现,不仅丰富了番茄小说的品牌形象,更是番茄小说在技术端实力的最佳证明。

03.有声读物的想象空间,谁来承载?

在快节奏生活的当下,用耳朵来读书已经成为人们生活的常态。这是因为,听书与各种阅读场景有着极高的适配度,是一种能让用户把通勤、等位、吃饭、上厕所等各种碎片时间拿来看书的方式。有声读物在减压以及提供娱乐的同时,还提供了陪伴与疗愈的感觉。

据中国新闻出版研究院发布的全国国民阅读调查报告显示,2022 年中国成年国民听书率从当时的17% 增长至35.5%。而在已有的有声书消费者中,收听黏性似乎已经形成,还有不少人愿意为之付费。艾瑞咨询的调研数据显示,有超过一半的月消费90元以上的用户每天至少听有声书或广播剧一次。在每月消费11-20元的用户中,有近一半的人每周听5-6次,占比为44.9%。

在用户规模逐渐扩大之下,丰富而多元的有声书内容,是用户习惯于听书服务的基础,而高质量的听书体验,是内容提供商与其他玩家区隔开身位的重要方式。

为此,番茄小说与火山语音团队在AI朗读功能上达成长期合作。在基础TTS(Text To Speech,文本转语音)技术上,为小说音色引入了多风格音色和丰富的情感表现力,使之更适合听书场景。同时结合用户听书需求,提供了单音色播讲、多角色对话、沉浸配乐等有声书生产方案,为用户提供形式多样的高质量听书体验。

番茄小说一直很重视自有知识产权的保护,目前已经申请了30多项TTS技术相关的专利。通过这些专利的技术方案,不仅提高了有声书的内容生产效率和生产质量,而且提升了用户在边听边看等场景下的消费体验。

历经两年时间的用心打磨,番茄小说团队目前形成了一套角色分明、情感丰富的AI多角色演播方案,并作为首个AI有声小说领域高质量综合解决方案对外推出。

具体来说,番茄小说围绕不同网文的角色内容和文本理解能力,能产出适配不同年龄、不同风格的AI音色矩阵,并且能通过NLP(Natural Language Processing,自然语言处理)技术智能理解文本内容实现角色自动配音,能“哭”会“笑”,像专业配音演员一样去表达文本内容的深层次情感,形成拟人的多角色、多种情绪的表达效果,为用户带来沉浸式的阅读感受。

此外,上述能力还结合有声创作流程落地创作平台,除实现规模化生产之外,还可满足差异化、精品化的内容定制需求。目前,AI配音家族已有60+个精品音色。

随着越来越多的技术赋能,AI时代的多角色演播也逐渐进入大众视野,而番茄小说也将会加速释放有声读物的伴随属性,打造出更具差异化、精品化的定制内容。可以想象的是,一个千人千声的声音宇宙正在向我们走来。

标签: #net层级引用管理