Integration and separation processes in synesthesia

Sinke, Christopher

Published

Integration and separation processes in synesthesia

German
English

Die folgende Arbeit, "Integration and Separation Processes in Synesthesia", beschäftigt sich mit einer Überprüfung der Erklärungsmodelle zum Zustandekommen von Synästhesie. Synästhesie ist ein ungewöhnliches Wahrnehmungsphänomen, bei der die Stimulation eines Sinnes zur Wahrnehmung eines anderen unstimulierten Sinnes führt. Zum Beispiel wird Musik farbig gesehen oder Buchstaben werden mit einer zusätzlichen farbigen Dimension wahrgenommen. Die Ätiologie ist unklar aber interessant bezüglich multimodaler Integrationsmechanismen. Gegenwärtig werden drei unterschiedliche Modelle diskutiert: direkte Cross-Aktivierung, disinhibierter Feedback oder Hyperbindung. Die direkte Cross-Aktvierungshypothese geht davon aus, dass zusätzliche neuronale Verknüpfungen zwischen den Arealen, die bei der Verarbeitung der Synästhesie beteiligt sind, ursächlich für das Zustandekommen der Synästhesie sind. Die disinhibierte Feedback Hypothese dagegen erklärt Synästhesie über die zusätzliche Hemmung von inhibierenden multisensorischer Neuronen, wodurch die Hemmung des Farbareals aufgehoben wird. Die Hyperbindungs Hypothese sieht Synästhesie als das Ergebnis eines aktiveren Bindungsmechanismus. Das Ziel der vorliegenden Arbeit ist es, diese Modelle theoretisch und praktisch zu überprüfen. Der theoretische Teil beschäftigt sich einleitend mit den unterschiedlichen Formen von Synästhesie (drogen-induzierte, erworbene und angeborene Synästhesie), ihren Gemeinsamkeiten und Unterschieden sowie den dazugehörigen ätiologischen Modellen. Durch diesen Vergleich wird klar, dass den unterschiedlichen Formen eine unterschiedliche Ätiologie zugrunde liegen muss, da insgesamt mehr Differenzen als Gemeinsamkeiten beobachtet werden können. Drogen-induzierte Synästhesie wird wahrscheinlich durch den kurzzeitigen Einfluss halluzinogener Drogen auf das serotonerge System verursacht, wohingegen erworbene Synästhesie durch langfristige neuroplastische Veränderungen im Gehirn zustande kommt. Bei angeborener Synästhesie ist es strittig, ob zusätzliche Verbindungen - wie in der Cross-Aktivierungs Hypothese propagiert - oder Unterschiede im Neurotransmitterhaushalt - wie in der disinhibierten Feedback Hypothese vorgeschlagen - ursächlich für Synästhesie sind. Um diese Hypothesen genauer zu untersuchen, werden im experimentellen Teil vier Experimente durchgeführt. Im ersten Experiment, einer lateralisierten Version des synästhetischen Stroop Testes, geht es darum, die Ursache für Synästhesie einzugrenzen. Dieses Experiment zeigt, dass die automatische Kopplung von Buchstaben und Farben unabhängig von der verarbeitenden Gehirnhälfte und der Position auf der Retina sind. Dies deutet darauf hin, dass Synästhesie eher später in der Verarbeitungshierarchie auftritt, auf einer Ebene, in der die Neuronen in der Lage sind, das ganze visuelle Feld zu überblicken. Im zweiten Experiment wird ein fMRT Experiment zur exakten Lokalisierung durchgeführt, in dem den Probanden Buchstaben und Pseudo-Buchstaben, Buchstaben ähnliche Zeichen ohne semantischen Inhalt, präsentiert werden. Dabei stellt sich heraus, dass Synästhetiker beim Betrachten von schwarzen Buchstaben mehr Aktivierung im linken Gyrus angularis und im linken inferioren frontalen Kortex zeigen. Interessanterweise aktivieren bunte Buchstaben diese Areale bilateral. Eine funktionelle Konnektivitätsanalyse zeigt unter anderem, dass der linke Gyrus angularis bei Synästhetikern stärker mit V2 funktional verbunden ist. Die funktionelle Korrelationsanalyse kann keinen Hinweis auf die direkte Cross-Aktivierungs Hypothese finden, da hier V4 mit dem Teil des Gyrus fusiformis, der für die Buchstabenerkennung zuständig ist, direkt funktional in Verbindung stehen sollte. Da aber auch keine funktionelle Verbindung zwischen dem Gyrus angularis und V4 gezeigt werden kann, passt der Befund auch nicht zu der gegenwärtigen Hypothese des disinhibierten Feedbacks. Es muss davon ausgegangen werde, dass die Feedbackschleifen viel größer sind als bisher angenommen und zurück zu V2, anstatt zu V4, gehen. Im dritten Experiment geht es darum, die ’Hyperbindung’ Hypothese genauer zu untersuchen. Da hier die Synästhesie mit einem sensitivern multimodalen Integrationsmechanismus erklärt wird, wird zur Überprüfung der Hypothese das audio-visuelle Integrationsverhalten bei Synästhetikern untersucht. Hierbei stehet die Frage im Vordergrund, ob das Integrationsverhalten bei Synästhetikern generell sensitiver ist, oder ob es sich auf die synästhetische Kopplung beschränkt. Dazu wird die McGurk Illusion eingesetzt, eine audio-visuelle Illusion, bei der unterschiedliche visuelle und akustische Information zu einer neuen Wahrnehmung verschmolzen werden. Zeigt man Probanden Lippenbewegungen die ein ‚AGA’ aussprechen, zusammen mit einem akustischen ‚ABA’, so nehmen die Meisten ein ‚ADA’ wahr. Dieses Phänomen wird Fusion genannt, da hier unterschiedliche sensorische Informationen zu einer neuen Wahrnehmung fusioniert werden. Die McGurk Illusion ist abhängig von der Qualität der visuellen und akustischen Information. Wenn die Synästhetiker einen sensibleren Integrationsmechanismus haben, so sollte diese Fusion auch bei schlechter Qualität der visuellen Information stattfinden. In diesem Experiment zeigt sich aber, dass Synästhetiker insgesamt weniger fusionieren und die Anzahl derer, die diese Illusion überhaupt nicht zeigen, bei Synästhetikern signifikant erhöht ist. Dies deutet darauf hin, dass Synästhetiker einen schwächeren und keinen stärkeren Integrationsmechanismus haben. Ob dieser Effekt allerdings aktiv von den Synästhetikern über Aufmerksamkeitsprozesse gesteuert wird oder die Sinne generell stärker getrennt sind, kann diese Experiment nicht beantworten. Dazu wird im vierten Experiment getestet, ob Synästhetiker weniger von der erfolgreichen Fusion von akustischer und visueller Information profitieren. Hierzu sollen die Probanden präsentierte Wörter wiedergeben. Diese Wörter sind entweder mit einem Standbild, oder einem Video, in dem ein Sprecher das Wort ausspricht, zu sehen. Zusätzlich werden die Wörter von weißem Rauschen überlagert, das in verschiedenen Signal-zu-Rausch Verhältnissen abgemischt wird. Während Kontrollen bei einem Signal-zu-Rausch Verhältnis von -12dB in besonderem Maße von der visuellen Information profitierten, zeigt sich dies bei den Synästhetikern nicht. Dieser Befund legt die Vermutung nahe, dass Synästhetiker generell weniger akustisch visuelle Integration zeigen, dass also ihr Integrationsmechanismus schwächer ist, und die Unterschiede nicht durch aufmerksamkeitsgesteuerte Prozesse zustande kommen. Abschließend wird die Idee diskutiert, ob man Synästhesie nicht als kompensatorische Maßnahme dieser schwächeren multimodalen Integrationsleistung sehen kann.

This thesis, "integration and separation processes in synesthesia", deals with a critical evaluation of the different models trying to explain the etiology of synesthesia. Synesthesia is a phenomenon in which in other respects normal people experience an unusual sensory coupling. Stimulation of one sense leads to a sensation in an unrelated and unstimulated other sense. For example, music can be seen in colors or letters, numbers and words have an additional colored dimension. The etiology of this phenomenon is unclear but appears interesting with regards to mechanisms of multimodal integration. Currently, three ideas are discussed: direct cross-activation, disinhibited feedback and hyperbinding. This thesis tries to evaluate the different models with a theoretical section and an experimental section. Firstly, the theoretical section compares different types of synesthesia (genuine, dug-induced and acquired), their phenomenology and etiology in order to see how informative one type is to the others. Here we see that more differences than commonalities can be found between the different types and that it is likely that each has its own etiology. In the case of drug-induced synesthesia, short-term changes in the serotonergic transmitter system are likely to be the cause of the experienced synesthetic effects. In the case of acquired forms, long-term plastic changes or unmasking of pre-existing pathways seem to be responsible for the experienced effects. In genuine synesthesia, it is not clear whether unusual connections, as proposed in the direct cross-activation theory, or transmitter imbalances leading to disinhibition of feedback, as proposed in the disinhibited feedback model, are causal for the synesthetic effects. The practical part consists of four experiments. In the first experiment, a lateralized version of the synesthetic stroop task shows that grapheme-color synesthesia is independent of the retinal position and that no lateralization effects could be found. This shows that grapheme-color synesthesia is due to a rather late process, occurring at an level where neurons react independently of the retinal position. In the second experiment, the neural basis of grapheme-color synesthesia is explored by conducting an fMRI experiment. Here, it is found that synesthetes have a higher activation in the left angular gyrus and left inferior frontal cortex when seeing black letters. Colored letters activate these areas bilaterally. Computing the functional connectivity of these areas it is shown that the left angular gyrus has an unusual connectivity to V2. These results do not support the cross-activation theory as no unusual functional connectivity between V4 and the area in the fusiform cortex responsible for letter detection could be found. Communication with the parietal lobe is more reasonable but here the loops are much broader than previously thought already involving V2. This could be interpreted in favor of the disinhibited feedback idea, but the concept has to be modified. Here recurrent feedback loops from parietal areas to V2 activate V4 in successive loops. In the next experiment, the audio-visual integration mechanism in synesthetes is investigated, since the hyperbinding concept proposes a more sensitive integration mechanism in synesthetes. Here, we want to find out if the proposed hyperactive binding mechanism also affects normal audio-visual integration mechanisms or if it is restricted to the inducer-concurrent coupling. Therefore, the McGurk illusion is applied. In this illusion, incongruent acoustical and visual information are fused to a new percept. When someone sees a viseme of ‘AGA’ dubbed onto an acoustical ‘ABA’, one tends to perceive an ‘ADA’. Thus, successful audio-visual integration leads to a completely new percept. The fusion process is dependent on the quality of the visual and acoustical information. In this experiment, it was investigated as to whether synesthetes and non-synesthetes show differences in their fusion behavior when the visual information is decreased. It was found that synesthetes show less fusion processes and significantly more synesthetes do not respond to this illusion at all. Thus, the general audio-visual integration is impaired and not enhanced. In order to find out if these differences are due to active attentional control and deliberate suppression of the fusion process or a passive impairment, a fourth experiment is conducted. Here, it is investigated if synesthetes and non-synesthetes benefit similarly from audio-visual integration. Therefore, videos are overlaid with differing amounts of white noise, the subjects then had to report which word was presented. The videos show either the speaker pronouncing the word or a still image of the speaker. It could be shown that non-synesthetes do not profit form audio-visual integration as much as non-synesthetes. Non synesthetes profit most from the visual information with -12 dB signal-to-noise ratio, whereas non-synesthetes do not show this optimal integration behavior. Therefore, it is suggested that integration differences are not due to active control over the fusion process but that synesthetes have a generally impaired audio-visual integration mechanism. This opens the possibility that synesthesia is a compensatory mechanism for the observed integration deficits.