论动态多模态话语模态之间的协同性--以Iphone 6 S产品发布会3D Touch

admin管理员组

文章数量:1532352

2024年4月3日发(作者：)

论动态多模态话语模态之间的协同性--以Iphone 6 S产品发

布会3D Touch功能语篇为例

刘福英

【摘 要】Based on the synthetic theoretical framework for multimodal

discourse analysis by Zhang Delu,taking a discourse of 11-minutes

introduction to 3D Touch at Iphone 6s Product launch conference as an

example,this paper first analyzes the multimodal discourse from both

points of view: the context of culture and the context of situation,then

probes into how the modes of vision, audition and tactus interplay and

Synergize with each other to the contribution of an integrated

meaning,aiming to offer more genres to the dynamic multimodal

discourse research.%文章基于张德禄的动态多模态理论框架，以2015年9月

10日苹果产品发布会上时长为11分钟Iphone 6 S手机3D Touch功能语篇为例，

从文化语境和情景语境层面上展开对语料多模态话语分析。在此基础上，文章探究

该语篇中视觉、听觉和触觉三种模态是如何相互配合、相互协同达到整体意义的构

建，以期对动态多模态语篇研究增加更为丰富的体裁实例。

【期刊名称】《贺州学院学报》

【年(卷),期】2016(032)004

【总页数】5页(P43-47)

【关键词】3D Touch;产品发布会;动态多模态话语;协同

【作 者】刘福英

【作者单位】广东轻工职业技术学院，广东 广州 510300

【正文语种】中 文

【中图分类】H0-05

信息技术、数字技术的发展，交际逐渐多模态化。语言文字不再是唯一的交际媒介。

图像、声音、动作、手势不同的符号参与，使交际呈现出多模态的形式。这种运用

视觉、听觉和触觉等多种感觉，语言、声音、图像、动作等多种手段与符号进行交

际的现象叫做多模态话语［1］24。

国内外学者越来越多致力于多模态话语分析。目前，学者对多模态话语的研究主要

从社会符号学的角度，以Halliday 的系统功能语法为理论基础，把语言作为社会

符号的三大元功能拓展到其他的符号系统，探究包括语言符号在内的其它符号系统

理论框架和实践运用，认为各种符号系统既是独立的又相互作用，在话语分析时不

仅从语言特征，还要从颜色、动画、声音、图像等各种符号特征来研究［2］。

中外学者多模态话语研究涉及许多语类和话题。Kress & van Leeuwen和

O’Toole把元功能的概念拓展到图像，提出了视觉语法的概念和理论框架。在此

基础上，Royce，O’Halloran，Martinec对视觉和听觉多模态具体语篇进行分

析与说明。从20世纪90年代开始，国内越来越多的语言学者关注不同体裁的多

模态语篇研究，涉及到广告、诗歌、电影和新媒体等不同体裁的多模态语篇研究。

但涉及产品发布会多模态语篇不多。产品发布会与电视广告和户外广告一样，是一

种新型的产品推广形式。在西方国家的一些大型企业比较盛行。在国内也越来越被

企业所认同。一些大型的IT 企业，以苹果、微软等公司为首，每次发布，都能起

到良好的宣传效果。特别是苹果公司的产品发布会，每次都成为各大媒体关注的焦

点。为了更好地达到效果，产品发布会往往精心设计，充分运用语言、声音，手势，

视频多种模态与媒介。

以2015年9月10日Iphone 6 S产品发布会最为夺目的3D Touch功能介绍的

动态多模态语篇（以下简称“3D Touch 语篇”）为例，探究视觉、听觉和触觉是

如何相互配合、相互协同，表达这一全新功能，从而促进语篇整合意义的发展。本

文通过对产品发布会的实例分析，为动态多模态语篇研究增加更为丰富的体裁范畴。

动态多模态话语中模态间的关系、协同和整合问题越来越多受到学者们关注。如张

德禄、袁艳艳对天气预报协同多模态的研究；姜雪以电影《费城》为例分析多模态

语篇的符间关系；唐军、高海艳对电话营销话语中模态协同进行实证研究等。张德

禄提出：“语篇的创作者之所以使用多种模态是因为一种模态不足以表达清楚交际

者的意义，从而利用另一者进行强化、补充、调节、协同，达到更加充分或者尽量

充分表达意义，让听话者理解话语的目的”［3］99。因此对动态多模态话语整体

意义的构建，模态之间的协同研究显得必要。

（一）多模态语篇语境理论

多模态语篇语境分析从文化语境和情景语境两方面进行。文化语境是指使多模态交

际成为可能的意义潜势。文化语境包括人的意识形态，体现在特定的社会文化下不

同交际目的，交际形式和交际阶段与步骤，即体裁。体裁在不同的语篇上有不同的

结构，在同一体裁上又有一定或者类似的结构。如新闻语篇体裁、影视语篇体裁、

诗歌语篇体裁等。

情景语境包括三个变量：语场（field）、语旨（tenor）和语式（mode），是文

化语境在语篇中的具体体现。根据系统功能语言学理论，语场是语篇所涉及的社会

活动主题，可以是说明、报道、分享、推荐、授权、证明等。语旨指的参与者之间

的社会角色关系。语式是交际过程中所呈现媒体和渠道。媒体包括书面和口头的、

渠道包括视觉、听觉、触觉、嗅觉、和味觉等。

（二）张德禄动态多模态话语框架

张德禄动态多模态话语框架如图1：

图1 表明：在动态多模态话语中，讲话者在特定文化语境中，根据不同的交际目

的及具体的情景语境（语场、语旨和语式变量的不同）选择不同的意义表达形式。

表达意义可以通过视觉模态（体现为图像意义）和听觉模态（体现为声音意义）相

互配合，共同构建整个话语的整体意义，以便让受话者更好的接收和理解。

由于本文所选的语料为3D Touch 功能，所以在选择表达意义的模态时，除了图

中所提到的视觉模态和听觉模态，还包括触觉模态，触觉模态体现为动作意义。话

语的整体意义由视觉模态、听觉模态、触觉模态共同配合，共同构建。

这三种模态之间的配合表现在词汇语法层面上。张德禄把它们之间关系归纳为两类:

一类为互补关系，另一类为非互补关系。互补关系是指在交际中一种模态不能完整

地表达意义，需要借助其它模态的补充。其它关系就是非互补型关系。互补关系又

可分为强化和非强化。强化是指一种模态为主模态，其它模态起强化作用，包括突

出、主次和扩充三种形式。非强化关系指多种模态相互补充，缺一不可，包括协调、

联合和交叉三种形式。非互补类又可分为交叠、内包和语境。这几种模态之间的关

系在不同的时间段呈现不同主次关系，是一个动态变化过程，有时视觉为主，有时

听觉为主，有时触觉为主。动态的多模态话语分析就是探究动态话语篇中几种模态

和符号的协同关系。本文以这一理论框架为基础，从文化语境和情景语境层面上展

开对3D Touch语篇分析的基础上，探究视觉、听觉和触觉之间的协同关系和整

合问题。

（一）3D Touch 语篇的语料选择

产品发布会是在产品发布前以产品推广发布会的形式对公司新产品进行宣传，是电

视广告及户外广告之后新型的产品广告形式［5］22。

本文所选语料是2015年9月10日苹果发布会上的一段长约11分钟（1h27′50″

－38′50″）包括音频、视频、现场演示的动态多模态语料。这段语料中，以语言、

动作和图像高度概括手机的3D Touch的产品特征，包括解说、图片、文本、音

乐、视频演示和PPT等模态和媒介。听觉、视觉、触觉多种模态的协同，文字、

音乐、手势、音响等多种符号的参与，使整个视频构成一个连续流动的共同体。为

了便于分析，本文根据张德禄的切分标准，即语篇结构、经验意义、前景化的事物

和特征进行了切分，把整个语料分为五个阶段。这五个阶段又是流动的，共同促进

语篇的发展。各种符号共同作用表达整体意义，从而实现其表征和劝说效果。

选择的该段语料原因有：第一，产品发布会作为一种新型的广告形式，越来越受到

媒体和受众的喜欢，特别是苹果公司的产品发布会，作为数字时代的领先者，它的

产品发布会是高科技产品爱好者的一大盛事，受到各大媒体的广泛关注。苹果公司

利用各种策略，从场地、色彩、背景展示各个方面精心设计，并力邀各大媒体，为

新品的发布会捧场。每次的产品发布会都会是现代商业领域最高水平的商业活动之

一。因为产品发布会的成功，苹果产品一直很畅销。第二，Iphone 6 S 产品发布

会（2015 年9月）是苹果公司目前最新的发布会，Iphone 6 S 3D Touch功能又

是这款新手机最为夺目的一个卖点，是全新的人机互动的突破，是各大媒体最为关

注的新一代多点触控技术。第三，该段语篇中视频、音乐、手势使得这一语篇成为

一个非常典型的动态多模态话语。各种符号的使用，多模态之间的协同，共同完成

其强大的产品宣传功能。

（二）3D Touch 多模态语篇语境分析

分析不同的符号系统互补协同共建意义，首先需要分析话语语境，需要“由上至下”

对多模态语篇语境层（文化语境和情景语境）进行描写说明［6］182。

1. 文化语境

从文化语境层面进行分析，3D Touch 语篇的体裁为商品发布会。商品发布会既是

讲座、演讲，也可能是一个提议。商品发布会为了更好地达到宣传效果，充分利用

各种模态与媒介，通常加上内嵌视频、演示、音乐等。一场好的商品发布会通常包

含以下特点：精彩的开场，恰当的受众定位。比如借用市场需求分析或回顾用户分

析等建立起主讲人和受众之间的关系；在产品介绍部分，从用户的视角，用户的利

益来阐述，了解用户最关心的产品功能，用视觉化、场景话的语言来描述产品的功

能；产品发布会形式多样化，如播放视频、音频、PPT、演示产品的功能；采取一

句话要点，把产品的卖点或者核心利益点适当重复。

3D Touch功能，是Iphone 6 S 手机中最为核心的卖点，是用户最为关心的产品

功能。3D Touch语篇充分利用视觉，听觉、触觉多种模态，借助色彩、图像、视

频，给受众真实，丰富，客观的呈现。该体裁结构包括五个阶段:

开始阶段：Phil Schiller 简单介绍完手机的总体功能后，具体说到3D Touch 功能

是Iphone 6 S最夺目的功能和最新的技术。

视频介绍阶段：3D Touch 基本功能介绍及其技术的支持。

过渡阶段：Phil Schiller 邀请Craig Federighi做演示。

现场演示阶段：Craig Federighi进行现场3D Touch的演示，介绍邮件，信息，

等日常操作及Dropbox，facebook，wechat，instagram 应用程序的演示。

结束阶段：Phil Schiller 补充说明3D Touch这是该产品的重要性，转而介绍产品

其它的特征。

2.情景语境

本文语场是苹果公司产品权威发布会，目的是推广宣传产品，进行3D Touch 功

能介绍活动，是让受众了解Iphone 6 S产品新特征，获得受众的好感，拓展潜在

的顾客群。语旨是商家与受众（媒体与买家等）之间的关系，是信息的介绍与信息

接收者之间的关系，是劝说与被劝说的关系。产品发布会在语式上采用的是营销的

语气，即口头上向受众宣传和推广产品，和受众之间属于单项性，充分利用语言、

身体及视频、音乐、图像和色彩等进行传播。

通过3D语篇文化语境和情景语境的分析，我们知道各个符号系统相互配合，相互

强化与补充，共同促进意义的完成。从而实现不同的交际目的。下面根据3D

Touch语篇探讨不同阶段交际模式中的协同关系。

第一类（第一、三、五阶段），提示类型即提示开始、中间过渡和结束阶段的交际

模式。在这三个阶段，Phil Schiller站在舞台，仅有简单的几句话说明“这就是

3D Touch，是人机互动的又一突破，下面我们用精彩的短片为大家介绍”（第一

阶段，1h27′50″-28′32″）；“这是前所未有的智能手机体验，我们将进行首次

3D Touch现场演示，有请Craig Federighi做DEMO”（第三阶，1h32′32″-

33′04″）；“这就是3D Touch，可以改变你的Iphone 使用体验”（第五阶段，

1h38′31″-50″）。在这一类型中，听觉为主模态，Phil Schiller本身虽形成视觉模

态，但并没参与到交际过程当中。屏幕背景所形成的视觉模态是另一种模态，为整

个发布会提供语境信息。和主模态之间是属于非互补型的关系。

第二类型提供信息类型。第二阶段（1h28′33″-32′31″）的视频短片中，说明3D

Touch是全新的人机互动，能识别手势力度，还说明快速的触屏反馈来源于传感

器的灵敏度。这一阶段有听觉和视觉两种模态，我们把视频内嵌的触觉模态归入视

觉模态。解说人没有出现。视觉模态（3D Touch下手机中显示的图像和人手势构

成的图像，传感器原理图像）与听觉模态（解说）是非强化类互补型关系，起着相

互协调的作用。两种模态之间的协调为受众获取更为清晰和准确的信息，避免表达

不完整的或者对观众来说比较抽象的信息。二者缺一不可，互为补充，共同表达完

整的意义。

第四阶段（1h33′05″-38′30″）同样为提供信息类型。在这一阶段视频中，Craig

现场演示3D Touch功能。第四阶段又可分为三个步骤：第一步骤Craig

Federighi说明将为大家带来3D Touch现场演示；第二步骤Craig Federighi进

行3D Touch现场演示；第三个步骤完成演示。第一和第三步骤听觉为主模态，

视觉和听觉为非互补型关系。第二步骤包含听觉、视觉和触觉模态三种模态。听觉

模态表现在Craig Federighi介绍3D Touch语言上；视觉模态由手机屏幕画面，

人手触摸手机的画面构成；触觉表现在Craig Federighi在手机上的轻触、按压、

轻滑、缩放等动作。三种模态之间的关系如下：

首先，听觉模态和触觉模态之间为互补型关系非强化型。通过触觉模态一边演说，

一边做示范动作更好补充听觉所表达的意义。触觉与听觉互补。缺失任何一种模态，

表达不够完整。触觉与听觉交叉体现话语的整体意义。整个过程中通过动作的划动，

轻按，重按等动作与生动、真实的语言交叉完成。具体、生动和直观的演示受让众

仿佛身临其境，引起极大的兴趣。

其次，听觉和视觉之间也为相互补充，不可缺少。两种模态联合表达3D Touch

功能，构成联合非强化类类型。视觉通过色彩、图像带来的视觉效果与生动解说语

言带来的听觉效果，共同完成整体意义的构建。

再者，触觉和视觉之间为强化关系。视觉为主模态，处于前景地位。触觉只是一种

辅助手段，对视觉起着强化的作用。所以整个舞台上，手机屏幕画面占据大部分视

觉范围。手触屏动作只出现在舞台的左下角，对视觉模态进行强化。

此外，第四阶段中，有两个次类型，只出现两种模态。一是在演示“紧急自拍”的

功能。拍照过程中，Craig Federighi 并没有用语言，而是采用触觉（拍照的动作）

和视觉（照片画面）两种模态（照像时的咔嚓声为非语言声音模态）。视觉为主要

模态，触觉模态对视觉模态进行强化，起辅助作用。另一次类型出现在Craig

Federighi解释通过3D Touch可以自动视频播放时，也只出现两种模态，听觉和

视觉。视觉中一只小狗在跳舞，听觉表现在伴随音乐。此时视觉是主模态，处于突

出的前景位置，听觉为背景音乐，两者之间是互补强化关系。

因此，在整个3D Touch语篇中，语言、画面、动作形成的听觉、视觉和触觉相

互补充和强化，带给受众最直接的视觉享受和感官感受，共同表达传达3D Touch

功能完整的意义。在不同的阶段，根据交际的需要，组合不同的模态，达成最佳的

组合模式，实现产品推广的最佳效果。三者之间，有时是两者之间，相互配合，相

互协调，达成正效应，促成产品的最终劝说功能（见表1）。

当然，在3D Touch语篇中，除了听觉、视觉和触觉三种主要模态，还有非语言

媒体也参与其中，如交际者（及受众）的身体动作（包括面部表情，手势、站姿等）

和非肢体媒体（音响、背景等工具和环境）都共同促进，相互协同，促成语篇整体

意义的构建。

通过对3D Touch语篇动态多模态协同性的分析发现，产品发布会中，人们根据

交际目的的不同，会选择不同类型的多模态交际模式。在不同的交际模式和交际过

程中，各种模态的选择和组合会有所不同。在产品发布中，听觉为主要模态，视觉

和触觉对其补充和强化。在某一阶段也会因为交际目的不同，而出现视觉或触觉为

主模态。但不管哪种模态为主模态，三者之间总是相互协调，相互补充，形成正效

应，达到宣传推介的最终目的。这也本文的目的之所在，通过分析模态之间的协同

性，一方面促进产品发布者充分利用各种模态，媒体来增强表达能力和宣传效果，

另一方面受众通过了解模态的协同关系更好理解产品功能与特征。本文虽为动态多

模态话语分析增加了更为丰富的体裁范畴，但还存在不足，今后还需要选取丰富的

语篇对产品发布会的多模态协同性作更为完善体裁共性分析。

【相关文献】

［1］张德禄.多模态话语分析综合理论框架探索［J］.中国外语，2009（1）.

［2］Halliday，M.A.K. Language as Social Semiotic:The Social Interpretation of Language

and Meaning［M］.London: Arnold，1978.

［3］张德禄.多模态话语模态的协同及在外语教学中的体现［J］.外语学刊，2010（3）.

［4］张德禄，袁艳艳.动态多模态话语的模态协同研究——以电视天气预报多模态语篇为例［J］.

山东外语教学，2011（5）.

［5］陈羽.从视觉语法角度解读苹果公司产品推广发布会［J］.语文学刊，2015（6）.

［6］吕行.多模态语篇的语境研究［J］.西南民族大学学报，2012（7）.

本文标签： 模态产品语篇视觉