绘本由图像辅以少量文字而叙事,在故事的叙述中潜移默化地渗透着情感、体验和抽象的价值观。在数字出版渐成大势的今天,以智能手机、平板电脑等移动设备为载体的电子儿童绘本开始受到关注。与文字类书籍的数字出版不同,绘本由图像画面建构的叙事系统对媒介的内容呈现方式有更强的依赖性。因此,沿用文字类电子书籍的设计思路显然不是电子绘本的良策。那么,应以何种多媒体形式构建电子绘本的叙事系统?在笔者看来,电影语言式的叙事表现是适宜电子儿童绘本的一种可行的设计策略。
听故事是儿童的普遍喜好,故事情节能够寓教于乐地涵盖社会交往、品格陶冶、科普知识等内容,而且儿童对故事情节的理解度可以为评价其阅读能力提供重要的参照指标。儿童绘本采用儿童易于接受的一连串具象画面讲述完整的叙事性情节,因而其一直在国际上被公认为是儿童早期阅读的最佳材料。可以说,儿童绘本的核心优势之于自身,在于图像叙事;之于读者,在于阅读。
然而,目前多数儿童绘本的数字出版,虽然借力多媒体应用的优势,在完形视听触觉各方面具有令人 "惊艳" 的功能,但在内容上却仅仅将纸媒绘本原版搬到数字媒体上,在版面布局上也只简单地提供电子画面和文本,没有针对电子阅读的内容进行呈现方式上的再加工。换句话说,针对电子绘本中的多媒体应用与绘本叙事表现之间、与读者阅读行为之间的内在关系,鲜有人对其进行深入思考。
即使多媒体应用的初衷是强化体验感,但读者的阅读体验却止于纸媒绘本到电子绘本的生硬而简陋的转化。因为读者体验感的建构来自于对绘本图像感性的、富于想象和活力的认知过程,以及通过阅读获得的深层心理对话。而集成在电子绘本里的、与叙事表现无关的多媒体应用,比如额外的录音截图功能、与内容无联系的配乐、无目的的动画插入和互动等,并不助益于这种认知过程并触及阅读本质。因此,也无法对内容的传达起到直接作用,颇有隔靴搔痒之感。更何况,数字出版物的各种富媒体资源也常常让家长担心是否会影响孩子阅读的敏感性与理解力,是否伤害视力。
终究 "惊艳" 难有持久的收效,绘本还是要靠叙事内容和阅读体验赢得读者。值得我们思考的是,数字媒体的多媒体特性应以何种方式参与到绘本的图像叙事系统中,呈现叙事内容并引导读者的阅读行为。
观察绘本的叙事表现不难看出,绘本完整的叙事系统是由视觉轴线、画面结构和文字叙述三者共同建构的。
其一,视觉轴线作为叙事线索连接着读者和角色,以角色获得读者的注意力,从而代入角色的视角和所处情境,随着翻阅行为沿着作者设计的视觉轴线进入故事情节。比如《卡夫卡变虫记》中的第1幅跨页画面(见图1),左图是卡夫卡变虫后的全景画面,右图是对卡夫卡恐慌表情的特写,类似镜头运动,用一条横向的视觉轴线将读者阅读由卡夫卡变虫的现实深入到不安的内心世界,读者自然地被引入后面卡夫卡变虫后的各种情景。
其二,画面结构产生了画面间的意义,形成有机的叙事整体。儿童绘本多采用一组连贯的、具有时间和空间连续性的静态画面从头到尾地陈述故事。这其中也穿插有镜头式的叙事手法,通过差异化构图角度、画面景别、场景风格等方面获得抒情、闪回等表现蒙太奇的效果。比如《我的朋友想要飞》,现实、回忆和想象3种情境相互交叉。写实的空间场景对应着现实时间和故事的客观推进,并以角色的重复出现来显现时间进展;抽象或省略场景的方式、近景或特写的角色则对应着故事进程暂停,切换到主观的回忆或想象,如 "企鹅在空中" 和 "企鹅想象男孩来救他" 的4个画面(见图2)的衔接。
其三,文字叙述是绘本叙事完整性的最后一环。文字叙述可以作为画面信息的补充,交代画面的故事背景或对话,像电影的旁白,比如《西奥多与会说话的蘑菇》中的对白和西奥多的心理活动。文字也可以表现画面之外的内容,推进故事进程,比如《卡夫卡变虫记》中卡夫卡刷牙的画面配合画面之外父亲喊他吃早饭的声音,吸引读者关注下文中卡夫卡见到父亲的情景。文字还可以与画面互文,比如埃兹拉•济慈的《下雪天》中,在描绘小男孩彼得在雪地里的画面时,配文是 "他用内八字走路,就像那样" 。哪样呢?和画面中一样。
受限于数字媒体自身的内容呈现方式,直接将纸媒绘本的内容和版式转到电子绘本上的做法,将在一定程度上消解原有的叙事系统和美感体验。
首先,数字媒体屏幕的尺寸限定了画幅的可延展性,纸媒以跨页设计、立体层展开等方式设置的视觉轴线被中断,难以获得良好的阅读体验。而且原纸媒画面因开本、比例、形状产生的构图美感如不经再加工也将因屏幕显示的限定而被破坏。因此,电子绘本可以考虑用动态的画面运动进行交代。
其次,电子绘本动态更替、逐页显示的方式消解了画面间因组接而产生的结构和意义。比如 "企鹅想象男孩救他" 与 "男孩接到企鹅" 两个画面并置时产生的时空意义和叙事性关联以及一实一虚的构图美感,在电子绘本中均没有得到充分表达。但却可以用后期技术实现模拟推镜头特写企鹅和闪白的转场效果,而不是采用常见的模拟翻页的方式来衔接现实与想象。
再者,纸媒绘本的文字像电影的画外音,可以补足画面缺失的信息。而通常电子绘本对文字的处理方式是朗读。这的确是必要而有效的,尤其是对于没有达到一定识字量的儿童读者。然而,目前很多电子绘本,主要关注声音和文字的关联,却很少考虑声音和图片的联系,从而使声音与画面的衔接有断裂感。一是,文字多少决定着朗读时间,即图像画面停留时间,而画面信息与文字数量并不成正比,造成画面停留时间过长或过短的阅读感受。二是,儿童关注的是画面信息,画内角色与画外声音各行其是,并未很好地助益儿童对故事内容的理解。因此,电子绘本设计需要将声画关系的处理纳入其中。
至此,我们可以明显看出纸媒绘本的叙事表现在数字出版中遇到的障碍。这些障碍一方面明示了由于数字媒体及其多媒体特性具有动态即视的内容呈现特征,所以如果沿用纸媒的内容和版式,则难以建构完整的叙事结构和阅读体验;另一方面,更显示出其根本解决途径也正是基于数字媒体的这种动态特质。
绘本好比一部静态电影,用画面叙事。无论依托何种媒介,绘本本身即具备着电影式的叙事基因。同时,电子绘本的多媒体技术具有处理动态画面的能力,如模拟镜头运动、表现淡入、闪白等动态转场效果等。这恰好能够支持电子绘本以电影化的动态手法串联起静态画面,为探寻 "电影化" 地组织画面、完成叙事这种更具表现力的设计方式提供了新的契机。
由此可见,从儿童绘本叙事系统的3个方面入手,借鉴电影语言进行叙事表现是电子绘本设计的一个合适的切入点,能够形成比纸媒绘本更电影化、更直接的叙事方式与阅读体验,具有数字媒体的独特魅力。
需要说明的是,与动画不同,电子绘本的多媒体动态效果止于在静止的画面上加以后期处理,比如模拟镜头运动、转场效果、局部小动画等,这也需要读者通过触屏动作触发下一张画面。因为电子绘本终究仍是绘本,静态画面叙事是绘本的核心魅力,而读者是阅读不是观看,最终是其翻阅行为给静态的空间加入必要的时间维度从而实现叙事。读者在绘本的阅读过程中所具备的主动性控制着故事推进的节奏,这是阅读的特质,电子绘本也不应例外。
《回家》(见图3)是我们为11—12岁左右处于 "困难期" 的较大儿童及其家长创作的电子绘本,希望孩子体验到家庭在任何时候都能带给他温暖和力量,家长也可以试着理解孩子逐渐增强的自我意识。绘本描述了一个名叫羽毛的小男孩,在乌鸦家庭长大。他逐渐感到家里的一切都让他厌烦。有一天他划着船离开家去寻找自己的世界,风雨雷电也无法阻止他。船终于靠岸,街道上的行人衣着考究,却神态冷漠。面包店里的食物精致美味,他却不知如何得到。雨越下越大,羽毛彷徨又不安。这时一只乌鸦站在了他面前,给他带来了家里特有的温暖气息,使他又有了前行的勇气。
电子绘本的设计保留了 "静态" 和 "翻阅" 的绘本特质。在此之上,我们借鉴了电影镜头运动、蒙太奇和声画关系,试图探索数字媒体处理视觉轴线、画面结构和文字配音的独特方式。在这里,虽然画面仍是静态的,但镜头式的视觉轴线和组接方式上的蒙太奇式结构使每个画面不孤立存在,与它相连的画面形成关联,产生新的语义。并以数字媒体特有的淡、化、切、推、拉、闪等转场方式连接画面,暗含着回忆、情绪等不同的画面关系,以及连贯、排比、反衬等不同的艺术效果。
我们借用电影镜头运动的画面效果,譬如镜头的景别、角度、焦距、运动形式等形成视觉轴线,引导读者阅读逐步深入。
纸媒绘本开篇通常采用特写(见图1)、弱化场景(见图4)或设计构图中主角的位置(见图5)等方式将读者注意力吸引到主人公身上。在这里我们采用了更直接的方式。首先以静态的全景画面交代故事背景,再模拟镜头的失焦效果模糊掉房间场景,只清楚地显示主人公羽毛,促动读者进入情节,并对角色产生情感上的认同(见图6)。第2张画面再放置特写画面,符合读者的心理预期,显得流畅自然。
对于较大画幅的视觉轴线,纸媒绘本多采用跨页设计或立体层展开的方式,如《小鸡球球》成长系列绘本。在数字媒体中,我们通过模拟移镜头或跟镜头的效果展开画面(见图7)。比如羽毛划船离家寻找世界、一路风雨的设计,用一幅连续的长卷展现其在海上的漂泊历程。主人公不动,场景画面在屏幕中横向移过,类似跟拍的效果,以此来弥补数字媒体无法通过折页展开画幅的不足。
此外,镜头运动还被用来暗示主人公的视线,将读者代入主人公的心理活动。比如绘本最后,羽毛失意地蹲在地上,有人站在他面前,这时切入的画面相当于羽毛的主观视角,画面上移,意味着视觉轨迹,最后定格在来者的脸上,是他的亲人。静态画面在屏幕中的运动,呈现出一种镜头式的结构,这是不同于纸媒绘本的独特魅力。
绘本的整体叙事采用了连续蒙太奇的结构以组接画面,按照事件的时间逻辑,沉稳平实地展开叙事。并交混使用了平行蒙太奇、表现蒙太奇的手法,比如在羽毛出走后,羽毛的经历和家庭成员的反映这两条情节线索的画面交替平行出现,增强了情节的节奏,并暗示出主人公与家人之间的心理关联。最后在羽毛失意、家人出现的画面中,两条线索合并在一起。
对于主人公的心理描绘则借鉴了表现蒙太奇的结构,比如在羽毛划船出走时,内心既期待又紧张,这时以抒情蒙太奇的方式,淡出淡入地切入象征羽毛情绪的空镜头—水面下忽上忽下悬浮着水草(见图8)。而主人公在面包房前不知如何得到食物时,以模拟推镜头的方式将画面中的他推进到特写,再用闪白的连接方式穿插了家中晚餐的场景画面(见图9),象征着羽毛主观的内心闪念。想象中的3个场景在时间上没有先后次序、在情节上没有呈递关系,采用了类似并列镜头的处理手法,以无技巧剪辑快速切换画面。在雨中,为了凸显羽毛的孤独无助感,用俯拍镜头的方式,表现了很多举着雨伞的行人和羽毛孤身一人淋着雨的对比,为绘本最后羽毛看到亲人后的情感爆发作以铺垫。
基于数字媒体处理多条音轨的技术,我们尝试在朗读之外,借鉴电影声画同步与声画对位的手法处理画面和声音的衔接问题。并以此丰富绘本的画外音,使读者在阅读过程中获得更饱满的视听效果和沉浸感。
绘本开场家庭晚餐的画面中,文字信息较多,而且很多内容是角色之间的对话。我们采用了声画同步的方式配上角色的对白音轨。在画面中也增加了简单的动作处理,在角色说话时配以嘴开合、点头等动效,消除因朗读时间过长、画面滞留造成的 "听书" 感。羽毛划船出走途中,为了烘托画面风雨交加的气氛,辅以水声、雨声和雷鸣声,营造紧张又期待的听觉氛围。
绘本接近尾声,羽毛在城市中感到落寞,我们用声画对位方式配以嘈杂热烈的车鸣、城市噪音混合声反衬偌大城市中孤独的小小个体(见图10),并淡入一段纤弱而略带金属感的音乐,暗示主人公的内心情绪。当然,为了还原绘本的阅读性,可以选择静音或只保留背景音乐,以保持更大的视觉空间。
电子儿童绘本是集画面、文字、声音、动画于一体的综合性艺术创作。基于电影语言的电子儿童绘本设计策略,笔者从数字媒体的多媒体表现能力出发,从绘本的画面叙事结构入手,重视纸媒绘本所不具备的动态表现力,试图提高电子绘本的叙事表现效果和读者的阅读体验,从而开拓出更多更好的电子绘本设计创意。