„Du skaitikliai – vienas sprendimas“: kaip smegenys sujungia garsą ir vaizdą, kad greičiau paspaustų mygtuką

Kai žolėje pasigirsta šnaresys ir mirgantis šešėlis, reaguojame greičiau nei į garsą ar blyksnį. Klasika. Bet kas tiksliai vyksta smegenyse per tas sekundės dalis? Naujame žurnale „ Nature Human Behaviour“ paskelbtame straipsnyje teigiama, kad rega ir klausa kaupia įrodymus atskirai, o sprendimo priėmimo metu jų „suma“ paleidžia vieną motorinį mechanizmą. Kitaip tariant, galvoje yra du sensoriniai akumuliatoriai, kurie kartu aktyvuoja vieną motorinį mechanizmą.

Fonas

Kaip smegenys greitai priima sprendimus „triukšmingame garsų ir vaizdų pasaulyje“ – tai klausimas, į kurį nerandama aiškaus atsakymo. Nuo XIX a. pabaigos ir XX a. pabaigos psichofizikoje žinomas „perteklinių signalų efektas“ (RSE): jei taikinys pateikiamas vienu metu dviem būdais (pavyzdžiui, blyksniu ir tonu), reakcija yra greitesnė nei įvykus vienam signalui. Ginčas kilo dėl mechanizmo: nepriklausomų kanalų „lenktynės“ (rasės modelis), kai laimi greičiausias jutimo procesas, arba koaktyvacija, kai skirtingų būdų duomenys sumuojasi prieš sukeldami atsaką. Formalūs testai (pvz., Millerio nelygybė) padėjo elgesio lygmeniu, tačiau neparodė, kur tiksliai įvyksta „susiliejimas“ – jutimo akumuliatorių pusėje ar jau ties motoriniu trigeriu.

Per pastaruosius 10–15 metų neurofiziologija pasiūlė patikimus šių latentinių stadijų žymenis. Svarbiausias iš jų – centro-parietalinis teigiamumas (CPP) – supramodalinis EEG „kaupimosi iki slenksčio“ signalas, kuris gerai atitinka sprendimų priėmimo dreifo-difuzijos modelius, ir beta redukcija (~20 Hz) kairiojoje motorinėje žievėje kaip judesio pasiruošimo rodiklis. Šie signalai leido susieti skaičiavimo modelius su realiomis smegenų grandinėmis. Tačiau išlieka pagrindinių spragų: ar garsiniai ir vaizdiniai įrodymai kaupiami viename ar dviejuose atskiruose kaupikliuose? Ir ar yra viena motorinė slenkstis daugiamodaliniam sprendimų priėmimui, ar kiekvienas modalumas „vertinamas“ pagal atskirus kriterijus?

Papildoma problema yra laiko nustatymas. Realiomis sąlygomis rega ir klausa pasižymi mikrosekundžių ir milisekundžių desinchronija: nedidelis laiko poslinkis gali užmaskuoti tikrąją proceso architektūrą. Todėl reikalingos paradigmos, kurios vienu metu valdytų atsako taisyklę (reaguoti į bet kurį modalumą arba tik į abu vienu metu), keistų asinchroniją ir leistų viename modeliavime derinti reakcijos laiko elgesio pasiskirstymus su EEG žymenų dinamika. Būtent toks požiūris leidžia atskirti „sensorinių akumuliatorių sumavimą su vėlesniu vieno variklio paleidimu“ nuo „kanalų lenktynių“ arba „ankstyvo susiliejimo į vieną sensorinį srautą“ scenarijų.

Galiausiai, yra praktinių motyvų, viršijančių pagrindinę teoriją. Jei sensoriniai kaupikliai iš tiesų yra atskiri, o motorinis trigeris yra bendras, tai klinikinėse grupėse (pvz., sergantys parkinsonizmu, ADHD, spektro sutrikimais) kliūtis gali slypėti skirtinguose lygmenyse – kaupime, konvergencijoje arba motoriniame pasiruošime. Žmogaus ir mašinos sąsajoms bei įspėjimo sistemoms labai svarbu signalų fazė ir laikas: teisingas garso ir vaizdo fazavimas turėtų maksimaliai padidinti bendrą indėlį į motorinį slenkstį, o ne tiesiog „padidinti garsumą / ryškumą“. Šie klausimai yra naujo straipsnio, paskelbto žurnale „ Nature Human Behaviour“, kontekstas, kuriame nagrinėjamas daugiamodalinis aptikimas vienu metu elgesio, EEG dinamikos (CPP ir beta) ir skaičiavimo modeliavimo lygmenimis.

Ką tiksliai jie sužinojo?

• Dviejuose EEG eksperimentuose (n = 22 ir n = 21) dalyviai aptiko taškinės animacijos (regėjimo) ir tonų serijos (klausos) pokyčius paspausdami mygtuką, kai kuris nors iš jų pasikeitė (perteklinis aptikimas) arba tik tada, kai pasikeitė abu (jungtinis aptikimas).
• Tyrėjai stebėjo neuroninį įrodymų „priešpriešį“ – centro-parietalinį teigiamumą (CPP) – ir kairiojo pusrutulio beta aktyvumo dinamiką (~20 Hz) kaip judėjimo pasiruošimo žymeklį. Šie signalai buvo palyginti su reakcijos laiko pasiskirstymais ir skaičiavimo modeliais.
• Esmė tokia: garsiniai ir vaizdiniai įrodymai kaupiasi atskiruose procesuose, o kai aptinkami pertekliškai, jų kaupiamasis indėlis subadityviai (mažesnis nei paprasta suma) kartu aktyvuoja vieną slenksčio motorinį procesą – patį veiksmo „sukėlėją“.

Svarbi detalė yra „nesinchronizacijos“ patikrinimas. Kai tyrėjai įvedė nedidelę asinchroniją tarp garso ir vaizdo signalų, modelis, kuriame sensoriniai kaupikliai pirmiausia integruojasi, o tada informuoja motorinę sistemą, paaiškino duomenis geriau nei kaupikliai, „lenktyniaujantys“ vienas su kitu. Tai sustiprina idėją, kad sensoriniai srautai veikia lygiagrečiai, bet susijungia viename motoriniame sprendimų mazge.

Kodėl jums reikia tai žinoti (pavyzdžiai)

• Klinika ir diagnostika. Jei sensoriniai kaupikliai yra atskiri, o motorinis slenkstis yra bendras, skirtingos pacientų grupės (sergančios autizmo spektro sutrikimu, ADHD, parkinsonizmu) gali tikėtis skirtingų „suskaidymo mazgų“ – kaupimosi, konvergencijos ar motorinio sužadinimo. Tai padeda tiksliau kurti biožymenis ir dėmesio / reakcijos lavinimą.
• Žmogaus ir mašinos sąsajos: Optimalus garsinių ir vaizdinių signalų fazavimas gali būti naudingas projektuojant įspėjamuosius signalus ir multimodalines sąsajas, kad motorinė koaktyvacija būtų greitesnė ir stabilesnė.
• Sprendimų priėmimo neuroniniai modeliai. Rezultatai susieja ilgalaikius elgesio „kontroversiškus ginčus“ (rasė ir koaktyvacija) su specifiniais EEG žymenimis (CPP ir motorinės žievės beta ritmu), taip priartindami skaičiavimo modelius prie realios fiziologijos.

Kaip tai buvo padaryta (metodologija, bet trumpai)

• Paradigmos: perteklinė (reaguoja į bet kokį modalumą) ir konjunktyvi (reaguoja tik į abu vienu metu) – klasikinė technika, leidžianti „pasverti“ kiekvienos sensorinės šakos indėlį. Plius atskiras eksperimentas su tam tikra garso ir vaizdo asinchronija.
• Neurosignalai:
  • CPP – jutiminių įrodymų kaupimosi iki slenksčio „supramodalinis“ indeksas;
  • Beta adrenalino sumažėjimas kairiojoje motorinėje žievėje yra pasiruošimo judesiui rodiklis. Palyginus jų laiko profilius, pastebėtos skirtingos klausos ir regos taikinių CPP amplitudės (atskirų akumuliatorių požymis) ir bendra beta mechanizmo varomoji jėga (bendro motorinio slenksčio požymis).
• Modeliavimas: RT elgesio pasiskirstymų ir EEG dinamikos bendras aproksimavimas. Palyginimą laimėjo modelis su sensorinių akumuliatorių integracija prieš motorinį mazgą, ypač esant asinchronijai.

Ką tai pakeičia smegenų paveikslėlyje?

• Multimodalumas ≠ „sumaišyk ir pamiršk“. Smegenys nesumeta visų įrodymų į vieną indą; jos saugo lygiagrečius įrašus skirtinguose kanaluose, o integracija vyksta arčiau veiksmo. Tai paaiškina, kodėl multimodaliniai signalai pagreitina reakcijos laiką – jie kartu sukelia tą pačią motorinę vėliavėlę.
• Subadityvumas yra norma. Jutiminių įėjimų „suma“ yra mažesnė nei paprasta aritmetinė suma, tačiau jos pakanka, kad greičiau būtų pasiektas motorinis slenkstis. Taigi, sąsajos tikslas yra ne „pridėti garsumo ir ryškumo“, o sinchronizuoti konvergenciją.
• Tiltas tarp psichofizikos ir neurofiziologijos: seni elgesio „perteklinio signalo“ efektai gauna mechaninį paaiškinimą per CPP ir beta žymenis.

Apribojimai ir kitas žingsnis

• Imtis sudaro sveiki suaugę asmenys, atliekantys laboratorines užduotis; kitas etapas yra klinikinės išvados. Tyrimai reikalingi pacientams ir natūralioje multimodalinėje aplinkoje.
• EEG pateikia puikų laikinį, bet ribotą erdvinį vaizdą; logiška jį papildyti MEG/invazine registracija ir efektyviais ryšio modeliais.
• Teorija numato, kad audiovizualinių ženklų laiko lavinimas turėtų selektyviai pagerinti motorinę stadiją nekeičiant sensorinių akumuliatorių – tai yra patikrinama hipotezė taikomosiose užduotyse (sporte, aviacijoje, reabilitacijoje).

Santrauka

Smegenys turi atskirus „skaitiklius“ regėjimui ir klausai, bet sprendimus priima vienu mygtuku. Suprasdami, kur tiksliai vyksta sensorinės informacijos „sulankstymas“ į veiksmą, galime tiksliau koreguoti diagnostiką, sąsajas ir reabilitaciją – nuo pilotų šalmų iki telemedicinos ir dėmesio neuroedukacijos.

Šaltinis: Egan, JM, Gomez-Ramirez, M., Foxe, JJ ir kt. Skirtingi garso ir vaizdo kaupikliai kartu aktyvina motorinį pasirengimą daugiasensoriniam aptikimui. Nat Hum Behav (2025). https://doi.org/10.1038/s41562-025-02280-9