Dátum
Meszéna Balázs cikke

 

Mit tanulhat a mesterséges intelligencia az agytól, és hogyan segíthetnek a generatív MI-modellek megérteni az idegsejtek működését? A vizuális észlelés példáján keresztül a két kutatási irány találkozását mutatjuk be.

A mesterséges intelligencia az elmúlt másfél évtizedben rendkívüli fejlődésen ment keresztül: alkalmazásai a mindennapi élet és a tudományos kutatás részévé váltak. Bizonyos képességek azonban továbbra is kihívást jelentenek. Egy MI-rendszernek nemcsak helyes választ kell adnia, hanem azt is fel kell ismernie, mikor bizonytalan. Nehezen kezeli, ha a valódi környezet eltér a tanítás során látott adatoktól (adateloszlás-eltolódás), és egy új feladat elsajátítása ronthatja a korábban megtanult feladatokon nyújtott teljesítményét (katasztrofális felejtés). Az ember és más állatok ezzel szemben sok helyzetben kevés tapasztalatból is rugalmasan alkalmazkodnak.

E problémák vizsgálatának egyik útja, amikor a gépi tanulás az idegtudományból merít ötleteket. Az együttműködés ugyanakkor kétirányú: a modern MI-modellek eszközt adhatnak az agyi aktivitás értelmezéséhez és az idegrendszer számítási elveinek feltárásához.

A gépi és a biológiai látás kapcsolata

A látórendszer hierarchikusan szerveződik. A retinából érkező információ az elsődleges látókéregbe (V1), majd többek között a V2, V4 és az IT felé halad. A feldolgozás korai szintjein egyszerűbb tulajdonságok, például az élek iránya, magasabb szinteken összetettebb mintázatok és objektumok kapnak hangsúlyt. A képfelismerésre tanított mély neurális hálók rétegei meglepően jól jósolják meg a látórendszer különböző területeinek idegi válaszait [1].

A szokásos képfelismerő hálókban az információ azonban elsősorban egy irányba, az úgynevezett bottom-up vagy előrecsatolt útvonalon terjed. Ezzel szemben a biológiai látórendszerben bőségesen találunk top-down, vagyis magasabb területekről visszafelé irányuló kapcsolatokat is. Ezeken keresztül a magasabb szintek „visszaszólhatnak” az alacsonyabbaknak: a már kialakuló értelmezésnek megfelelő jelzést küldenek, amely befolyásolja, hogyan dolgozzák fel a korai területek a beérkező jelet. A látás így nem egyirányú folyamat, hanem az érzékszervi adatok és a várakozások folyamatos egyeztetése. Ezek a kapcsolatok különösen fontosak lehetnek gyenge vagy többértelmű érzékszervi információ esetén: félhomályban, ködben vagy részben takart tárgyaknál az észlelésünket a világról tanult ismereteink is alakítják.

Az észlelés, mint valószínűségi következtetés

Képzeljünk el egy földön heverő sötét, ívelt tárgyat. A garázsban valószínűleg kerti slagként, egy erdei ösvényen inkább kígyóként értelmeznénk. A lokális képi információ hasonló lehet, mégis más magyarázatot tartunk valószínűnek. A különbség az előzetes tudásunkban, a priorban rejlik: abban, hogy az adott környezetben mit várunk.

Illusztráció
1. ábra · Ugyanaz a bizonytalan képi jel eltérő környezetben különböző magyarázatokat tehet valószínűvé. A példa a kontextusfüggő prior szerepét szemlélteti.


A látens generatív modellek ezt a gondolatot matematikai formába öntik. Feltételezik, hogy a megfigyelt kép (x) rejtett okokból vagy tulajdonságokból (z) keletkezik: ilyen lehet egy él orientációja, egy textúra vary egy objektum jelenléte. A modell leírja, mely tulajdonság-együttesek mennyire valószínűek (prior), és milyen képet várnánk tőlük. Az észlelés során a képből származó evidenciát és az előzetes várakozást kombináljuk, Bayes szabályának megfelelően; az eredmény a rejtett okokra vonatkozó utólagos, úgynevezett posterior eloszlás:

p(z | x) ∝ p(x | z) · p(z)

A mélytanulás lehetővé tette, hogy az ilyen modelleket összetett képi adatokra is alkalmazzuk. A variációs autoenkóder (VAE) két neurális hálót tanít: az enkóder a képből megbecsüli a látens tulajdonságok valószínűségi eloszlását, a dekóder pedig a látens változókból képet tud előállítani. A dekóder tehát a világ egyszerűsített belső modelljét, egyfajta világmodellt testesít meg: azt írja le, hogyan jönnek létre a képek a rejtett okokból. Az enkóder ezt a modellt „fordítja meg”: egy konkrét képből következtet arra, milyen rejtett okok állhatnak mögötte. A modell látens egységeinek válaszai így az idegi aktivitás lehetséges számítási megfelelőiként vizsgálhatók [2]: egy-egy látens egységet egy-egy látókérgi idegsejtnek feleltetünk meg, és azt vizsgáljuk, mennyire hasonlít a modell következtetése a mért idegi válaszokra.

Illusztráció
2. ábra · Variációs autoenkóder vázlata: az enkóder közelítő következtetést végez a rejtett változókról, a dekóder a generatív világmodell része.


Tudja-e a modell, mennyire bizonytalan?

A prior és a szenzoros evidencia megfelelő egyesítéséhez a bizonytalanságot is reprezentálni kell. Jó látási viszonyok között a képi információnak kell dominálnia; homályos vagy zajos képnél a priornak nagyobb szerephez kell jutnia. Bár a VAE eleve valószínűségi modell, ez önmagában nem garantál jól kalibrált bizonytalanságbecslést. Megfigyeltük, hogy egy standard VAE-alapú látókéreg-modellben a látens válaszok bizonytalansága a kép kontrasztjának csökkenésével alig nőtt, szemben az idegi adatok által sugallt viselkedéssel.

A biológiai látás és a természetes képek statisztikája által inspirált Explaining-Away VAE (EA-VAE) egy további, globális skálaváltozót vezet be. Ez lehetővé teszi, hogy a modell jobban különválassza a kontraszt változását a kép tartalmát meghatározó látens tényezőktől. A módosítás a bizonytalanság becslését nemcsak alacsony kontrasztnál, hanem különféle képromlások és a tanítási adatoktól eltérő minták esetében is javította, többek között orvosi képadatokon [3]. A megbízható bizonytalanságbecslés a gépi látás egyik általános kihívása: egy önvezető autónak vagy egy orvosi diagnosztikai rendszernek is fel kell ismernie, ha a bemenet eltér attól, amit a tanítás során látott. Itt tehát az idegtudományi inspiráció egy általános gépi látási problémára kínált megoldást, amelyet elméleti garanciák is alátámasztanak.

Hierarchikus világmodell és az illuzórikus kontúr

A következő lépésben azt vizsgáltuk, mi történik, ha a világmodell – a látórendszerhez hasonlóan – több, egymásra épülő szintből áll, és a magasabb szintek top-down módon befolyásolják az alacsonyabbakat. A top-down hatások vizsgálatához olyan hierarchikus modellt építettünk, amelynek alsó látens szintje a V1-hez, felső szintje a V2-höz hasonló tulajdonságokat tanul. A természetes képeken tanított TDVAE-modell alsó szintjén lokális, irányérzékeny szűrők, a felsőn összetettebb textúrajellemzők jelennek meg, anélkül hogy ezeket a tulajdonságokat kézzel írtuk volna elő. A modell a magasabb szint információját visszacsatolja az alacsonyabb szintű következtetésbe, és számos ismert idegtudományi jelenséget képes megmagyarázni [4].

Különösen szemléletes példa a Kanizsa-illúzió. Négy, megfelelően elhelyezett, körcikk alakú bevágással ellátott fekete korongot látva fehér négyzet körvonalát érzékeljük, jóllehet a négyzet élei fizikailag nincsenek kirajzolva. Főemlősök látókérgében olyan idegsejtek is aktiválódnak, amelyek receptív mezejében nincs tényleges él, de az illuzórikus kontúr áthalad rajta [5]. A TDVAE-ben hasonló válaszok jelennek meg, míg az illúziót megszüntető, elforgatott kontrollmintázatok jóval gyengébb választ váltanak ki. A modellben végzett beavatkozások szerint ehhez lényegesen hozzájárul a felső szintről érkező információ [4].

Illusztráció
3. ábra · Kanizsa-féle illuzórikus kontúr és a hozzá kapcsolódó válaszok. Balra a modell, jobbra a korábbi főemlőskísérletek eredményei; a valódi élre adott válasz mellett a fizikailag hiányzó, de észlelt kontúr is aktivitást vált ki. (Forrás: modellpanel adaptálva Csikor és mtsai. [4] alapján; kísérleti grafikon Lee és Nguyen [5] alapján újrarajzolva.)


Nemcsak a látvány, a feladat is alakítja a priort

A természetes képek megtanult szabályszerűségei viszonylag általánosak. A konkrét viselkedési feladat azonban új, gyorsan változó várakozásokat is kialakíthat. Ezt vizsgáltuk a Rutgers Egyetem kutatóival közösen, egereken végzett vizuális diszkriminációs kísérletek és egy új generatív modell segítségével [6, 7].

Az állatoknak csíkozott minták irányát kellett megkülönböztetniük. Egy 45 fokos mintára nyalással kellett válaszolniuk (Go), míg egy 135 fokos mintánál vissza kellett tartaniuk a választ (NoGo). A betanulás után hat vizsgálati alkalmon a Go-inger változatlan maradt, a NoGo-inger szöge viszont fokozatosan közeledett hozzá: 135°, majd 90°, 75°, 70°, 65° és 60°. Közben kétfotonos kalciumképalkotással – egy mikroszkópos módszerrel, amely az idegsejtek aktivitását fluoreszcens fényjelként teszi láthatóvá – követték az elsődleges látókéreg sok ezer idegsejtjének aktivitását; az eredményeket feladatra nem tanított (naiv) állatokéval is összevetették.

A kérdés az volt: hogyan tud egy már kialakult látórendszer új feladathoz alkalmazkodni anélkül, hogy eldobná a hosszú idő alatt megszerzett tudását? A természetes képeken korábban betanított VAE teljes újratanítása számításigényes, kevés feladatspecifikus adat esetén nem megbízható, és a korábbi képességeket is károsíthatja. Az agy esetében sem életszerű azt feltételezni, hogy minden új feladatnál a teljes látókéreg újratanulja a természetes képek statisztikáját.

TAVAE: adaptáció a prior megváltoztatásával

Erre dolgoztuk ki a Task-Amortized VAE (TAVAE) módszert [7]. Ebben a modell „látását” – a természetes képeken megtanult világmodellt és az enkódert – változatlanul hagyjuk, és az új feladathoz csak a várakozásokat, vagyis a priort cseréljük le. Ez ahhoz hasonlít, mint amikor a garázsból az erdőbe lépünk: a szemünk és a látórendszerünk ugyanaz marad, csak az változik, mire számítunk. Az egérkísérletben az új prior például azt rögzíti, hogy a feladatban jellemzően csak néhány csíkirány fordul elő. Az új következtetést ezután nem kell elölről kiszámolni: elég a modell eredeti válaszát a régi és az új várakozás arányával korrigálni. Képlettel:

qₜ(z | x) ∝ q₀(z | x) · pₜ(z) / p₀(z)

Itt q₀ a modell eredeti következtetése, p₀ a természetes képekhez tartozó régi, pₜ a feladathoz tanult új várakozás, qₜ pedig az eredmény. Azokat az értelmezéseket, amelyek az új feladatban gyakoribbak, a modell felerősíti, a ritkábbakat pedig elnyomja. A hálózat korábban megtanult paramétereit (súlyait) tehát nem kell minden feladatváltásnál módosítani; elég egy kicsi, gyorsan megtanulható „várakozás-modult” cserélni. Ezért a módszer kevés adatból is működik, és nem rontja el a korábban megszerzett tudást.

Idegi mérések feladatot teljesítő állatban

A legfontosabb eredmény, hogy a feladatból tanult várakozások már a legkorábbi látókérgi területen, a V1-ben is megváltoztatják, hogyan reprezentálódik ugyanaz a kép. Amikor az egerek olyan irányú csíkozást láttak, amellyel a betanulás során nem találkoztak, a V1 populációs aktivitása jelentősen eltért a feladatra nem tanított állatokétól. A naiv állatoknál a látókéreg hűen tükrözte a látottakat: a legerősebben azok az idegsejtek válaszoltak, amelyek éppen a bemutatott irányt kedvelik. A tanított állatoknál ezzel szemben a válasz a feladatból ismert irányok felé tolódhatott, sőt bizonyos helyzetekben két csúcs jelent meg, miközben éppen a ténylegesen látott irány maradt alulreprezentálva.

Ez a kétcsúcsú válasz különösen árulkodó. A TAVAE szerint ilyenkor a bizonytalan érzékszervi jel a feladatból tanult várakozással egyesül. Amikor a kettő nem illik össze, a modell válaszában több, egymással versengő értelmezés nyoma jelenhet meg.

Illusztráció
4. ábra · A váratlan NoGo-ingerekre adott V1-populációs aktivitásprofilok (bal: kísérlet; jobb: model). A 70°-os ingerhez tartozó kiemelt helyzetben a tanított állatoknál és a modellben is kétcsúcsú válasz jelenik meg. A kék görbék a naiv / általános modell válaszai. (Forrás: Meszéna és mtsai. [7])


A modell tehát magyarázatot kínál arra, hogy a várakozások miként torzíthatják szisztematikusan még a korai látókérgi reprezentációkat is. Amit látunk, tehát nemcsak a szemünkbe jutó fénytől függ, hanem attól is, mire számítunk, és ez a hatás már a feldolgozás legelső kérgi lépésében megjelenik.

Összegzés

A fenti három példa közös tanulsága az idegtudomány és a mesterséges intelligencia közötti kétirányú kapcsolat. Egyrészt a biológiai látás működése ötleteket ad – ahogy az EA-VAE példája mutatja – a robusztusabb, bizonytalanságot kezelő és gyorsan alkalmazkodó MI-rendszerekhez. Másrészt a generatív MI-modellek – mint a TDVAE és a TAVAE – kísérletileg vizsgálható állításokat fogalmaznak meg az idegi aktivitásról: arról, hogyan egyesülnek az érzékszervi adatok a tanult világmodellel és a pillanatnyi feladattal. A cél a neuronok válaszainak előrejelzése, illetve annak megértése, milyen számításokat végezhet az agy, amikor értelmet ad a látottaknak.

 

Hivatkozások

[1] Yamins, D. L. K. & DiCarlo, J. J. (2016): Using goal-driven deep learning models to understand sensory cortex. Nature Neuroscience 19, 356–365. doi:10.1038/nn.4244

[2] Kingma, D. P. & Welling, M. (2014): Auto-Encoding Variational Bayes. ICLR. arXiv:1312.6114.

[3] Catoni, J., Martos, D., Csikor, F., Ferrante E., Milone, D., Meszéna, B., Orbán, G., Echeveste, R. (2026):
Remedying uncertainty representations in visual inference through Explaining-Away Variational Autoencoders. IEEE TPAMI. doi:10.1109/TPAMI.2026.3718675

[4] Csikor, F., Meszéna, B., Ócsai, K. & Orbán, G. (2025): Top-down perceptual inference shaping the activity of early visual cortex. Nature Communications 16, 9998. doi:10.1038/s41467-025-64967-x

[5] Lee, T. S. & Nguyen, M. (2001): Dynamics of subjective contour formation in the early visual cortex. PNAS 98, 1907–1911. doi:10.1073/pnas.98.4.1907

[6] Corbo, J. és mtsai. (2025): Discretized representations in V1 predict suboptimal orientation discrimination. Nature Communications 16, 41. doi:10.1038/s41467-024-55409-1

[7] Meszéna, B. és mtsai. (2026): TAVAE: A VAE with Adaptable Priors Explains Contextual Modulation in the Visual Cortex. ICLR 2026. arXiv:2602.11956.