增强现实(Augmented Reality,AR)可以通过计算机实时计算摄影机的位置及角度,将计算机生成的虚拟物体或场景叠加到真实场景中,在屏幕上即可把虚拟世界套在现实世界并进行互动,从而增强用户对真实世界的感知。AR技术具备三大特征[1]:①三维注册(3D Registration),在三维空间中增添和定位虚拟物体,实现真实物体和虚拟物体的跟踪注册,随着用户的动作及视角变化等调整计算机产生的虚拟信息和对象,实现虚拟对象与用户的关联;②虚实融合(Real-virtual Fusion),在真实世界中融合真实物体和虚拟物体;③实时互动(Real-time Interaction),在虚实融合的场景中实现人机实时三维互动。AR技术应用范围广泛,涉及军事、医疗、教育、游戏、舞台设计等诸多领域。虽然AR技术在出版领域的应用不过短短几年,却开启了数字出版的全新形态。
读者通过手持终端设备(手机、平板电脑等),将摄像头对准AR出版物中纸质内容的二维码或图片进行识别,就能够在屏幕上看到真实的纸质书页与虚拟物体相融合,还能通过触屏点击等动作与虚拟物体进行交互。
已有学者从AR技术在出版领域的应用开发[3]、优势分析和设计策略[4]等方面进行深入研究,但鲜有针对AR出版物中纸质内容与AR内容的叙事设计的研究,也缺乏对不同叙事特点和优势的探讨。出版物的传播效果和阅读体验与出版物内容的叙事设计密切相关。本文将从以下4个方面论述:AR出版物中纸质内容和AR内容的结合模式、不同形态AR出版物叙事设计的类型、纸质叙事和AR叙事的优势以及叙事设计中应注意的问题,以期实现对AR出版物传播效果的提升。
AR出版物中既有传统的纸质叙事的内容,也包含了以AR技术为依托的AR叙事的内容。按照AR叙事对原有纸质叙事辅助程度的大小,可以将现有的AR出版物叙事介质的结合划分为以下两种模式。
AR出版物在传统出版物原有纸质内容的基础上,将AR叙事的相关内容,如音视频资料的链接、动画或3D模型的展示等置于纸质文本中。读者使用移动终端摄像头扫描二维码或AR图片后,会在终端屏幕上跳转音视频链接或出现三维模型、动画。AR叙事对纸质叙事在“点”的层面上的补充仅是在AR出版物局部添加AR内容,虽然相对简单,但能够有效拓展纸质内容承载的信息,AR内容作为AR出版物的叙事亮点也能极大地丰富阅读层次。
例如,2015年,中国少年儿童新闻出版总社出版的少儿科普杂志《我们爱科学》把AR技术应用到杂志内容中。该杂志每一期会向读者呈现某一领域的一个AR知识点,读者通过扫描页面中的图片就能够深入了解,极大地提高了互动性,激发孩子们的科学兴趣。江苏凤凰美术出版社出版的立体翻翻书《AR语言地图》在跨页展示的各大洲地图上,标注着用不同国家和地区的语言表达的“你好”,并包含丰富的地理地貌、风土人情、文化氛围的文字介绍。《AR语言地图》的AR叙事内容包含50多种问候语的音频和2万多字拓展内容的朗读音频,以及地图中部分人物形象的立体动画呈现。
当AR内容贯穿于整个出版物时,AR叙事就与纸质叙事形成了相辅相成的关系。这种叙事结合模式尤其适用于需要模型、3D动画进行展示的题材,如物理、化学、生物、机械、工程等科普题材。此类内容往往在现实世界中难以被感知,或是缺乏更为直观的认识,通过AR叙事实现图书内容的3D模型展示能够使内容得到更好的理解,加强读者对抽象概念或模型的直观认识和感知,是目前AR出版物的常用形式。
例如,由苏州梦想人科技有限公司和科技出版社合作,制作的一款AR应用程序—爱医课,读者使用这款APP扫描传统出版教材《人体解剖学与组织胚胎学》中的医学图片,即可观察对应器官等的3D模型,模型能够随着摄像头位置的改变自动调整角度,读者还可以通过触摸屏对模型实现放大、缩小、旋转等不同角度全方位的观察。AR应用程序与教材中严谨的纸质叙事内容的有机结合更好地促进了学生对教材知识的掌握。此类AR出版物中,AR叙事内容与纸质叙事内容共同承载了出版物的重要信息。读者通过扫描纸质内容,丰富的AR内容资源得以呈现。这种结合模式在一定程度上打破了传统出版物内容的叙事形态,用交互多维的AR叙事代替传统出版物中单一线性的纸质叙事,多感官立体的叙事内容贯穿整个出版物的叙事过程,能够加深读者的认知记忆,获得全新的阅读体验。
叙事介质结合的不同方式决定了AR出版物中叙事设计元素的使用。在AR出版物中,叙事设计的元素主要有纸质内容中的文本、图片和AR内容中的声音、模型、动画。将AR叙事内容中的声音、文本、动画、互动模型、交互式动画等叙事元素与纸质叙事的内容完美融合,形成AR出版物不同的叙事模式,给读者提供良好的阅读体验。
AR叙事中的声音元素可以分为作为语音叙事的旁白、背景音乐、配合模型或动画使用的音效、读者与虚拟角色进行互动的声音等。旁白可采用更加精炼和口语化的形式通过声音叙事展现文本信息,纸质图书中的文字内容也可根据AR场景中的声音进行结构化的重整,在叙事设计上实现互补;背景音乐的添加可以渲染叙事的氛围,提高代入感;配合模型或动画使用的音效则可以使3D形象更加生动;读者与虚拟角色的互动建立在完成语音预设的基础上,为交互式叙事带来更加自然流畅的体验。AR出版物通过出色的声音叙事,让读者获得更强烈真实的沉浸感。
AR场景中嵌入的虚拟标题和字幕,一方面是对纸质叙事内容的提示和引导,另一方面实现了人机对话,让读者真正参与到叙事中,强化AR叙事的交互特点。其典型的应用是在交互式游戏领域—在每个关卡设置虚拟文本框中的提示内容或询问,调节游戏进行的节奏,游戏玩家选择的过程也就是人机交互的过程[5]。在AR出版物中,这类元素尚不多见。一方面由于纸质叙事的逻辑已经相对完整,另一方面则是因为AR场景中文本的虚拟化呈现效果不如3D模型和动画的视觉冲击力强。不过,如果在AR故事书的AR场景中通过标题或字幕说明情节发展,引起读者对故事情节的思考,甚至由读者决定人物命运和故事情节的发展走向,一定能极大地提升读者的阅读体验。
人的感官系统在接受外界信息时,对文字信息的处理需要将传入大脑的抽象的文字信息具象化理解,因此人的大脑对于文字信息的处理速度要远低于图像信息。AR叙事中的2D动画或视频是AR视觉叙事的基础。通过AR程序获取的2D动画或视频信息,可以按照读者意愿自由选择播放时间,也可作为独立的视频文件加以理解和学习,从而实现对纸质叙事的有力补充,极大地扩展出版物所承载的信息量。
这种叙事方式多用于教育类出版物的AR设计,通过纸质叙事内容和AR叙事中视频图像的结合,引导读者更深入地理解和思考。以少年儿童出版社出版的期刊《十万个为什么》为例,期刊页面中添加了AR识别图案,读者通过扫描即可获得与内容相对应的音视频补充资料。人教数字出版公司与腾讯QQ共同推出我国首个可AR识别的课本—人教版小学英语(3-6年级),学生登陆手机QQ,通过“扫一扫”即可识别课本中每个单元的主图,获取相应的多媒体英语教学资源。AR技术在教学领域的应用让学生体验到更有趣的学习方式。国外已有学者通过控制实验法印证了AR技术对学生学习效果的积极影响和促进作用[6]。
3D模型结构的展示是AR叙事的重要优势之一。现有的AR出版物已经能够熟练地将3D模型运用到AR叙事与纸质叙事的配合中。结合纸质叙事内容的3D模型充分发挥了AR立体空间叙事的多维度特点和动态优势,在原有文本叙事的基础上,更好地起到解释和说明物体特征的作用,实现AR立体空间叙事和纸质叙事的优势互补。AR出版物中3D模型叙事主要包括结构叙事和形态叙事。
3D模型是AR场景中较为常见的叙事元素。其中,结构的展示能够让读者近距离观察到3D模型的每一处细节,例如,接力出版社的“香蕉火箭”系列科学图画书,读者扫描书末页的AR标识,就能多角度观察虚拟3D模型:热带雨林里形态各异的动植物、神奇有趣的宇宙空间站、甚至是我们身体里一块块大小不一的骨头……这些都能在AR场景中得到生动直观地展现。读者可以了解和学习动植物的形态特征、宇宙空间站的内外设计、人体骨骼的构造等多种有趣的科学知识。AR出版物中3D模型的结构叙事能够很好地补充传统纸质叙事平面化内容呈现的不足,培养读者立体认知的思维习惯。
在触发AR场景中的3D模型动画之后,3D模型将以连贯的动作或流程向读者展示,让读者在交互体验中多视角直观了解到模型的工作原理和工作状态。AR出版物中3D模型的形态叙事在科学普及类出版物中的应用最为典型。例如,在中国科学技术大学人文学院数字文化中心制作的《‘掌’握科学—增强现实虚拟互动科普读物》中,创作者用生动直观的模型展示了物理、化学、生物、机械等多领域的知识。以C60分子和纳米碳管为例,将识别卡片置于电脑的摄像机前,屏幕中的卡片上方即出现对应的模型,读者能够通过缩放和移动来观察C60分子和纳米碳管的内外部结构和形态。AR出版物中3D模型的形态叙事能给读者留下深刻的认知记忆,从而更好地学习和掌握出版物中的内容。
3D模型交互式动画可以说是AR出版物最大的亮点之一。3D模型交互式动画的演示,把纸质叙事中抽象静态的文字内容以互动叙事的动态过程呈现,相对于传统静态的图片展示更为形象直观,极大地契合了人对视觉信息接收敏感的特点。AR出版物中3D模型交互式动画的互动叙事包括以下3个层次。
AR出版物中包含的3D模型交互式动画建立在纸质内容的基础之上,对原有的纸质叙事起到辅助和增强作用。例如,英国卡尔顿图书公司出版的AR图书《怪兽电力公司》[7],读者通过扫描书中二维码即可观看AR交互式动画内容。头上长着两个尖角的绿色怪兽苏利文把小孩子们吓得大声尖叫;精灵古怪的人类小女孩阿布来到怪物世界后,把怪物世界折腾个底儿朝天……这些故事情节通过3D动画展现,比原有动画的叙事过程更加生动有趣。
传统动画往往具有单一观看视角,鉴于此,动画场景中的很多内容无法得到完整呈现甚至不可见,因而在一定程度上限制了观众观察探究的自由度。而AR出版物的读者可以根据需要任意切换不同的观察视角,以更多维度了解动画场景中的多种叙事元素,这种多视角互动式观看三维动态的过程突破了传统动画的表现形式,极大地增加了读者的自由选择度,从而促进读者对叙事内容的理解。例如,小熊尼奥《口袋动物园》系列AR卡片,读者在“口袋动物园”应用程序中扫描“动物卡”即可在屏幕上出现动物的3D立体动画,使用“道具卡”还可以生成对应道具与“动物卡”进行互动,如用杀虫剂杀掉害虫、给海狮玩球等。通过调整观看视角,读者能够从多个维度观察到3D模型动画中小动物的动作和形态,在收获乐趣的同时也认识了“口袋动物园”里所有的好朋友。
AR出版物中3D模型交互式动画的互动叙事能够实现全方位的交互参与,有效结合纸质叙事的线性特点和AR交互式叙事的互动优势,在一定程度上体现了读者本身的思考,为读者的认知提供全新的探索空间。英国卡尔顿图书公司出版的“Digital Magic”系列同样把AR技术应用其中,读者下载免费APP,即可实现交互。例如,在《Transformers Robots in Disguise: Where Crown City Comes to Life》[8]一书中,小读者不仅可以与变形机器人实现互动,还可以在AR环境中,选择自己喜欢的虚拟零件制作个人专属机器人,并通过AR识别实现和3D虚拟机器人的全方位交互体验。《“掌”握科学—增强现实虚拟互动科普读物》中也包含交互式AR叙事内容,以椭圆的知识介绍为例,读者可以拖动3D模型中的手柄,亲自画一个椭圆,固定在椭圆的两个焦点上的手柄保证了椭圆轨迹上的任何一点到两个焦点的距离之和相同。这种交互式叙事参与,让AR出版物内容在纸质叙事的基础上得到极大丰富,给读者留下深刻印象。
此外,3D模型交互式动画的互动叙事与纸质叙事在AR出版物中的配合还可以有更具大胆和创意的做法。例如,AR童话读物中,可以在原本的叙事情节之外添加故事角色的交互模型,让读者从纸质叙事进入AR场景中,直接与故事中的角色进行对话。现有的采用单一识别二维码、图像等标记触发AR内容的方式,还可以更进一步—通过同时识别两个或更多标记卡呈现更多3D交互式模型,甚至关联多个标记卡,完成识别后呈现相应的结果。例如,在一项基于AR技术的物理仿真实验中,识别两个标记卡,即可触发相应化学反应的3D模型动画。3D模型交互式动画在AR出版物中的应用还有很多可能,等待人们去尝试。
传统出版物的纸质内容以纸张页面为单位,提供静态的文字和图片信息,读者需要按照先后顺序阅读和理解,叙事方式是单一而线性的,具有一定的局限性。AR技术运用到出版物中,改变了纸质出版物承载单一静态信息的模式,丰富信息呈现形式和信息量,提高直观性和趣味性。因此可以说,纸质叙事是基于文本的、线性的、静态的、单向的;AR叙事是基于视觉的、多维度的、动态的、交互式的。纸质内容的编排与AR场景的配合实质上就是线性的纸质叙事[9]与零散的AR叙事之间的配合。
从纸质叙事和AR叙事的结合方式来看,AR出版物的叙事类型[10]大致可分为以下3种。一是单线叙事,叙事脉络以单线形式进行,在特定的位置添加AR内容,这种叙事方式最接近于传统出版物的叙事方式;二是并置叙事,采用多线索并置的方式进行叙述,在阅读纸质文本的同时,可配合音频或视频的解说;三是交叉叙事,将部分文本内容移动到AR场景中,通过交互完成任务获得下一步提示信息,之后继续纸质内容的阅读。
AR出版物叙事设计的有机统一需要具备速度和深度两个要素[5]。AR应用程序本身的响应速度和稳定性在很大程度上决定了AR出版物的交互质量。“深度”则是指在阅读过程中出版物内容“触及人性本质的程度”,也就是说,优质内容是进行叙事设计的基础。要实现纸质叙事加AR叙事“一加一大于二”的效果,一方面,要保持纸质叙事逻辑的严谨性,始终把优质内容放在首要位置;另一方面,要将AR技术恰到好处地运用到出版物中,发挥AR叙事的多维度叙事特点。
首先,要处理好静态文本信息和动态AR影像的关系,避免读者在纸质内容和AR内容之间手忙脚乱、无所适从—被AR场景中生动的3D模型或动画吸引,沉浸在交互的乐趣中,而忘记了原本应掌握的知识;或是难以适应AR内容繁琐的阅读方式,只阅读AR出版物的纸质内容。这就要求在纸质内容和AR内容的配合上,要结合纸质叙事和AR叙事的不同特点,构成协调统一的叙事方式,让AR内容成为出版物不可或缺的部分,而不只是技术上的卖点和噱头。
其次,应注意协调读者与AR出版物之间的关系[11]。AR出版物能够实现虚拟环境与真实环境的“无缝对接”,但不能片面追求AR场景设计的视觉效果和技术水平,要根据读者对象设计合适的交互方式,协调好读者和AR场景的关系,设计与内容相对应的简洁的交互界面和易于操作的程序,实现操作连贯、逻辑流畅的互动,从而有效展示AR内容。例如,在纸质文本中AR触发点等必要的位置设置清晰的引导标识,引导读者离开纸质文本进入AR场景中,保证互动的良好效果,实现流畅自然的多感官体验。
最后,要考虑到AR出版物的人文关怀。不同于传统出版物,AR技术在出版物领域的应用诚然为出版物带来了许多新优势和新亮点,但是我们也应注意到其带来的负面影响,例如,阅读AR出版物所需要的手机、平板等终端的电子屏幕可能会影响读者视力,特别是对处于生长发育期的少儿读者影响更大。设计者在设计过程中要准确把握读者的阅读习惯,必要之处应做好温馨提示和使用说明。
AR出版物的魅力在于其融合了纸质叙事和AR叙事的特征和优势,开创了全新的阅读方式。不过,新技术在出版领域的应用应是“锦上添花”而非“喧宾夺主”,出版物的核心价值始终都是出版物的优质内容。因而,对于AR出版物叙事设计的探讨就显得十分必要。如何实现纸质叙事与AR叙事的协调统一,提升AR出版物的传播效果和核心竞争力,更好地发挥其社会效益和经济效益,值得更多学者进行深入发掘和思考。