看字幕or不看字幕，你的大腦在發(fā)生變化

更新時間：2026-09-02

點擊次數(shù)：92

在現(xiàn)代生活中，文字信息無處不在。從手機屏幕到電視字幕，從廣告牌到增強現(xiàn)實界面。然而，在真實世界的復雜環(huán)境中，當動態(tài)的非文字視覺信息與文字同時競爭注意力時，大腦如何處理這些信息？

更重要的是，這種處理是否受到個體認知吸收（Cognitive Absorption, CA)狀態(tài)的影響？這是指個體沉浸于某一體驗中、與外界隔絕并感覺時間流逝發(fā)生改變的狀態(tài)，會決定注意力的不同分配。這種決策過程涉及復雜的神經機制，但在真實世界情境中的研究仍然很少。

對此，來自HEC Montréal 的Tech3Lab等的研究團隊通過在現(xiàn)場歌劇中同時采集眼動追蹤和腦電圖數(shù)據(jù)，系統(tǒng)考察了字幕呈現(xiàn)與不呈現(xiàn)時的眼動行為和腦電活動差異，探討了這些差異與認知吸收水平的關系（Boasen et al., 2026）。

文字處理與認知吸收

現(xiàn)代認知神經科學越來越關注表征復雜真實世界人類行為背后的大腦活動，以建立更穩(wěn)健的認知模型并為新興技術的設計提供信息。在日常生活中，文字常常與豐富動態(tài)的非文字信息同時出現(xiàn)，人們必須決定是否將注意力轉向文字。

然而，在真實世界環(huán)境中研究文字相關處理面臨若干挑戰(zhàn)。首先，文字并非孤立存在，它與非文字視覺信息同時且動態(tài)地占據(jù)視野，兩者都在爭奪注意力，且二者都需要解碼相似的視覺信息方面，如顏色、形狀、象征或語義性質。其次，文字可能與通過其他感官感知的刺激維度變化同時發(fā)生，這可以增加對它的注意力，也可能成為干擾因素。而二者的一個潛在關鍵差異點在于，文本處理需要投入有限的眼動控制資源，完成對字符串的正字法解碼過程。

此外，視覺信息處理可能因個體投入或沉浸于體驗的程度而異。認知吸收（Cognitive Absorption, CA)是一個多維概念，涵蓋對視覺刺激的沉浸、注意力和好奇心。認知吸收狀態(tài)越強，個體越專注于體驗，同時與外界斷開聯(lián)系并與正常時間流逝產生分離。過往實證研究表明，認知吸收水平的差異與腦電theta、alpha、beta振蕩功率的差異顯著相關。

現(xiàn)場歌劇中的多模態(tài)數(shù)據(jù)采集

基于此，本研究提出了兩個關鍵問題：

1）能否在真實世界環(huán)境中區(qū)分文字與非文字視覺處理背后的大腦活動？

2）如果能夠，這些大腦活動是否隨認知吸收而變化？

實驗最終選定蒙特利爾歌劇院的現(xiàn)場《卡門》演出作為真實實驗場景，將固定在舞臺上方的字幕呈現(xiàn)作為文本刺激來源，在不干預現(xiàn)場演出流暢性的前提下，同步記錄25名被試的眼動軌跡與腦電信號（圖1）。

每場演出有5名被試坐在演出廳后排相鄰座位。實驗使用了兩種不同的眼動追蹤系統(tǒng)記錄眼動數(shù)據(jù)：Smart Eye和SMI，它們安裝在被試前方定制軌道上。觀看過程中記錄被試的眼動與腦電數(shù)據(jù)，最后結束時使用自我報告量表完成對被試認知吸收的測量。

此外，實驗中使用了諾達思的行為觀察記錄分析系統(tǒng)（The Observer XT）以接收來自多人的眼動追蹤系統(tǒng)的事件標記、視頻錄制系統(tǒng)的TTL脈沖以及腦電系統(tǒng)的同步信號，實現(xiàn)了多模態(tài)數(shù)據(jù)的時間同步。

實驗中還使用了諾達思的多視頻錄制軟件（MediaRecorder）錄制舞臺視頻和房間音頻，用以在后期處理中進行數(shù)據(jù)同步，即通過逐幀手動瀏覽MediaRecorder錄制的視頻，確定每場演出中每個字幕的開始和結束時間，進而與腦電和眼動記錄實現(xiàn)精確的時間同步。

通過這一方案，所有數(shù)據(jù)通道在同一時間尺度上對齊，使研究者能夠準確標記字幕呈現(xiàn)與不呈現(xiàn)時段，為后續(xù)的眼動行為分析和腦電功率、連接分析提供了可靠標準。

字幕改變了大腦的連接

（一）眼動行為

總體注視率：無字幕時整體注視率顯著高于有字幕時，表明無字幕時視覺掃描更加頻繁。
舞臺與字幕橫幅注視率（圖2）：舞臺注視率顯著高于字幕橫幅。是否有字幕與注視區(qū)域交互顯著，即字幕呈現(xiàn)時，字幕橫幅注視率顯著增加，舞臺注視率顯著減少。值得注意的是，無字幕時，字幕橫幅注視率并非為零，表明被試持續(xù)掃描字幕橫幅，預期文字的出現(xiàn)。

注視點水平位移（圖2）：字幕存在與否的主效應顯著，有字幕時的連續(xù)注視水平位移都顯著小于無字幕時。此外，注視區(qū)域的主效應顯著，字幕橫幅的水平位移顯著大于舞臺區(qū)域，表明舞臺上的注視更局部聚焦（追蹤主角），字幕橫幅上的注視更廣泛掃描（尋找文字信息）。

認知吸收的影響：所有眼動指標均不隨認知吸收水平顯著變化。這一結果表明，不同認知吸收水平的被試都會主動定向視線投向可用文本，不存在顯著的行為差異。

（二）腦電結果

腦電功率分析表明，Theta頻段的顯著差異，主要集中在額葉眼區(qū)和楔前葉。

Theta頻段（5-7Hz）：有字幕時的Theta活動顯著高于無字幕時的三個簇。

右側尾側額葉中皮層（MNI: 36,5,42）：對應額葉眼區(qū)，負責自上而下控制眼動

左側楔前葉（MNI: -14,-49,35）

右側楔前葉（MNI: 7,-59,39）

Alpha頻段（8-12Hz）與Beta頻段（15-29Hz）未發(fā)現(xiàn)顯著簇。

分析認知吸收對其的影響作用，結果表明：

額葉眼區(qū)Theta活動：不受認知吸收顯著影響。這是區(qū)分文字與圖像處理的一個潛在腦電指標。

楔前葉Theta活動：與認知吸收呈負相關。隨著認知吸收降低，Theta活動增加，這可能反映了疲勞相關的同步化。這種效應在字幕不呈現(xiàn)時更強。

Beta連接：整體與認知吸收呈正相關，但主要由右側楔前葉→雙側楔葉連接驅動。初級視覺皮層的連接不隨認知吸收顯著變化，這進一步支持文字注視的自動化特性。

Noldus工具賦能神經人因科學

本研究在真實世界現(xiàn)場歌劇觀看情境中，系統(tǒng)考察了字幕呈現(xiàn)對眼動行為和腦電活動的影響，并探討了這些影響與認知吸收的關系。其中，諾達思的The Observer XT和MediaRecorder軟件作為多模態(tài)數(shù)據(jù)同步和行為事件標記的核心工具，為這一復雜的現(xiàn)場實驗研究提供了關鍵的技術支撐。

這些發(fā)現(xiàn)對神經人因學和增強現(xiàn)實等新興領域具有重要啟示。在這些領域中，理解文字被處理的程度以及其呈現(xiàn)如何調節(jié)其他心理因素是非常關鍵的。尤其是在增強現(xiàn)實研究領域，AR眼鏡會將文本信息直接疊加在真實世界視野中，準確評估文本的處理程度、以及文本呈現(xiàn)如何影響用戶對真實世界其他交互過程的干擾非常關鍵。而通過神經活動的差異來客觀量化真實世界環(huán)境中對可用文字的注意力分配，或許是新的方向。

參考文獻

Boasen, J., Giroux, F., Duchesneau, M. O., Roy, X., Senecal, S., & Leger, P. M. (2026). EEG activities and connectivities associated with surtitle presentation during live opera viewing: an exploratory analysis of cognitive absorption.Scientific Reports.

歡迎關注我們的公眾號，了解更多精彩內容