授课教师：Marina Terkourafi
授课地点：Leiden Linguistic Summer School，Leiden
日期：2025 年 7 月 25 日
一、多模态交际
1.1 意义很少只由语言生成
交际意义几乎从不只由语言产生。更常见的情况是，人们组合来自不同模式（modes）的资源来生成意义。
Jewitt 与 Kress（2003）将模式定义为：
一组经过规则化、组织化的意义生成资源。
非语言交际模式可以包括：
- 图像；
- 手势；
- 衣着；
- 发型；
- 身体姿态；
- 颜色、版式和空间安排；
- 声音、音乐和音效。
和语言一样，人们会在不同情境中使用这些非语言模式完成不同事情，并索引自己的社会身份。
1.2 多模态交际并非数字时代才出现
交际一直都是多模态的。讲义举出的历史例子包括：
- 古希腊陶器与涂鸦上的
kalós（“美丽、好看”）题词； - 教堂中的圣像；
- 插图手稿与书籍。
古希腊 kalós
题词最初可被理解为对器物上描绘青年男子的赞美或爱情宣言；它们也常由贵族青年家庭委托，以提升该青年的受欢迎程度。这个例子说明：文字、图像、物质载体、委托者身份和观看情境共同产生意义。
1.3 21 世纪的多模态强化
当代交际更显多模态，主要有两个原因：
数字技术的发展
自拍、动画 GIF、TikTok 视频、表情符号等工具使人们更容易生产和传播多模态文本。
人与信息流动的增加
人们常要同以下对象交流：
- 不共享同一口语/书写代码的人；
- 对共享语言代码掌握有限的人；
- 来自不同文化、媒介和社会实践背景的人。
在这种条件下，图像、手势、图标、音乐、字体和其他资源可以帮助跨越或重新组织语言代码差异。
二、意义潜能、可供性与限制
2.1 意义潜能（meaning potential）
非语言模式和语言一样，会在使用它们的共同体中随时间积累语义和索引意义。使用者也可利用既有的约定意义，创造新的意义。
一个交际资源可表达的语义和索引意义范围，构成它的意义潜能（meaning potential）。
意义潜能不是资源自身固定不变的属性，而是社会建构的：
- 资源在某共同体中的使用历史；
- 使用者与受众的共享知识；
- 当前交际情境；
- 资源与其他模式的组合方式；
- 资源所依托的媒介。
都会改变一个资源可以、或被允许用来表达什么。
2.2 可供性与限制
不同模式既提供某些可能性，也带来某些限制：
| 概念 | 英文 | 含义 | 例子 |
|---|---|---|---|
| 可供性 | affordances | 某种模式特别容易实现的意义生成方式 | 书写适合按顺序呈现信息；图像可同时整体呈现多个元素 |
| 限制 | constraints | 某种模式不容易或无法精确实现的交际任务 | 用语言说明情绪可更明确；一个表情符号可能保留歧义 |
例如，表情符号可以快速传达情感、立场、玩笑和互动语气，但其具体意义通常依赖语境，未必能像明确语言说明一样被所有人一致理解。
因此，选择某种模式并不是简单地“把同一个内容换一种外观”，而是在不同可供性和限制之间作出选择。
三、模式之间的转换与组合
3.1 再符号化（resemiotization）
再符号化指在不同模式中表达同一或相关意义的过程。例如，把“我累了”从文字改为表情符号、照片、语音语调或动画。
1 | “I'm tired.” |
模式转换会改变可供性与限制：
- 可能克服一种模式的限制；
- 也可能失去该模式原有的优势；
- 改变可生成的索引意义；
- 改变哪些受众能访问或理解消息。
例如，同样表达疲惫，文字、困倦表情和自拍视频可能在正式度、亲密感、真实性、幽默感和可理解性上产生不同效果。
3.2 再组合（recombination）
再组合指通过组合、重新组合不同模式来生成意义。例如：
- 给旧图片配上新文字；
- 给新图片配上旧引文；
- 将文字、音乐、视频、贴纸和标签共同放入一个短视频；
- 用图像改变一句话的讽刺、严肃或玩笑性质。
当一种模式与另一种模式组合时，二者的意义潜能都会改变：
1 | 文字 + 图像 |
因此，不能把多模态文本理解为“多个独立信息的简单相加”；资源之间会相互重释。
3.3 再语境化（recontextualization）
再语境化指把一个“文本”（即资源的组合）从一个情境带入新的情境。
再语境化会改变：
- 某个模式资源在新情境中的意义；
- 参与者的身份、地位和彼此关系；
- 消息可被谁访问；
- 受众对文本的预期和评价。
语境并不是完全在交际前就给定的背景。人们一方面试图控制语境，另一方面也会通过选择语言、图像、媒介、受众和资源组合来创造新的语境。
四、模式与媒介的区别
4.1 媒介是模式的载体
模式（mode）与承载它的媒介（medium）不同：
| 概念 | 含义 |
|---|---|
| 模式 | 一组用于意义生成的规则化资源，如文字、图像、手势、声音 |
| 媒介 | 让模式得以物质化、传播和循环的载体/通道 |
同一图像可通过多种媒介实现：
- 印刷照片；
- 墙绘；
- 手绘；
- PowerPoint 幻灯片；
- 数码照片。
同一表情符号也可出现在：
- 屏幕输入；
- 手绘；
- T 恤；
- 手机壳；
- 蛋糕装饰。
媒介会影响：
- 文本和资源如何传播；
- 哪些人能接触到它们；
- 不同受众能从中生成哪些意义；
- 同一资源在不同物质载体上的社会地位和索引意义。
4.2 从印刷媒介到数字媒介
印刷媒介
书籍、杂志和报纸让阅读与书写成为重要的交际资源，也赋予它们高度象征价值。历史上，“识字”（literacy）常被等同于文明、教育和智力；反过来，不识字则被错误地等同于无知或愚蠢。
电子媒介
广播、电影和电视让语音、声音与图像等非书写模式可以远距离传播。它们带来的声音、动作、手势和图像可供性，挑战了“书写是唯一重要模式”的观念。
数字媒介
网站、社交媒体、电子邮件、短信、博客、移动应用和播客，使下列资源能够被容易地再组合和再语境化：
- 书写；
- 语音；
- 静态与动态图像；
- 音乐与其他音效；
- 字体、颜色和版式。
4.3 “媒介即讯息”
“媒介即讯息”（the medium is the message）并不是说媒介取代了内容，而是指媒介本身参与塑造意义。
媒介通过以下方式影响意义：
- 允许或限制可使用的资源；
- 允许或限制资源如何被组合；
- 允许或限制交际者对语境和受众的控制；
- 改变不同资源被赋予的价值；
- 改变人们能够借助资源建构的社会身份；
- 改变群体如何看待自己以及如何被他者看待。
不同历史时期中，控制主要媒介的人通常拥有权力；反过来，已经拥有权力的人也更可能控制当时占主导地位的媒介。
五、数字媒介与语言意识形态
5.1 从 literacy 到 multiliteracies
在印刷媒介主导的时期，能读写文字被高度重视。数字时代则更强调多重素养（multiliteracies）：
有效交际不仅需要读写能力，还需要跨多种模式、多种媒介组合资源的能力。
例如，理解或生产一条社交媒体内容，可能要求使用者同时处理文字、图像、视频、音效、表情、字体、标签、链接和平台互动规范。
5.2 从单语主义到网络化多语实践
数字媒介中的交际者往往具有不同语言背景，并会为了适应受众的不同语言能力，重新组合 repertoire 中的元素。
这可被理解为从单语主义转向网络化多语实践（networked multilingualism）：
- 使用多种语言或变体；
- 组合文字、图像、符号、表情和标签；
- 根据平台、受众与互动目标不断调整资源；
- 不以“一次只能使用一种完整语言”为交际前提。
数字媒介因而挑战两种意识形态：
| 被挑战的意识形态 | 挑战方式 |
|---|---|
| 单语意识形态 | 只用一种语言不足以满足现实线上交际的需要 |
| 单模态意识形态 | 书写不再天然高于图像、声音、视频、手势和其他模式 |
面对兴趣、资源获取和语言能力都不同的异质受众（heterodox audiences），有效交际者需要能在不同语境中恰当地组合来自不同语言和模式的资源。
六、数字媒介与新型社会群体
数字媒介改变了人们形成和维持群体的方式。
6.1 虚拟共同体（virtual communities）
虚拟共同体是围绕共同兴趣、共同目标以及常常共享的交际资源形成的群体。成员通过线上方式聚集，以实现社会或政治目的。
6.2 兴趣空间（affinity spaces）
兴趣空间是围绕共同喜爱的活动或观念形成的线上空间，例如：
- 共同玩某个网络游戏；
- 支持或反对某种政治观念；
- 追随某种创作、娱乐或技术活动。
兴趣空间通常具有：
- 多孔的边界：谁在内、谁在外会不断变化；
- 较短的生命周期；
- 人们可轻易进入和退出，且常可匿名参与。
6.3 轻共同体（light communities）
轻共同体是围绕特定交际资源配置和社会实践形成的暂时性共同体。它们的规模和持续时间可以很不稳定，范围可从表情包、阴谋论到 TikTok 等平台上的线上挑战。
轻共同体通常由两类机制维系：
| 机制 | 内容 |
|---|---|
| 自愿实践 | 人们主动使用特定的标签、表情包、流行语和其他可传播符号，使共同体可被识别并吸引参与者 |
| 平台算法 | 在后台影响文本如何被传播，并依据用户创作和分享内容在不同人之间建立连接 |
讲义以 The cake is a lie
为例，说明一个可识别的文本/符号配置可以成为轻共同体实践的一部分。其重要性不只在字面内容，而在于使用者是否识别并参与相关的文化、媒介和互动实践。
