Stiftung Tierärztliche Hochschule Hannover (TiHo)

Prosody perception in cochlear implant users: EEG evidence

Agrawal, Deepashri

Cochlear implant (CI) devices provide an opportunity for hearing impaired individuals to perceive sounds through electrical stimulation of the auditory nerve. One feature of oral communication is semantics, while another feature, emotional prosody, encodes the emotional state of the speaker. It is currently unclear whether CI users are able to identify verbal emotions effectively. The main objective of this thesis is to compare two CI speech coding strategies, ACE (advanced combination encoder) and MP3000, on emotional prosody perception. This was achieved through the use of behavioural tasks and electroencephalography (EEG). Semantically neutral sentences spoken with three prosodic variations (neutral, angry and happy) served as stimuli.   The aim of the first study was to investigate the performance of normal-hearing (NH) participants on the perception of emotional prosody with vocoded ACE and MP3000 stimuli. Perception of emotional prosody was analysed through simulations, showing that NH listeners achieved near-perfect performance with original stimuli compared to simulations. For simulations, improved recognition for happy and angry prosody was observed compared to the neutral prosody. A significantly larger P200 event related potential was observed for happy prosody after sentence onset than for the other two emotions. Furthermore, the amplitude of P200 was significantly more positive for MP3000 strategy use compared to the ACE strategy. Thus, these results emphasise the importance of vocoded simulation to better understand the prosodic cues which CI users may be utilising.   The second study investigated the ability of CI users to recognise emotional prosody with ACE and MP3000 strategies. In addition to behavioural tasks, EEG gamma band powers were also calculated. Results were similar to the those from the first study, whereby CI users implemented with the MP3000 strategy showed an improved recognition of prosodic information compared to the ACE strategy users. These ERP results demonstrated that emotional prosody elicited significant N100 and P200 peaks across strategies. Furthermore, the P200 amplitude in response to happy prosodic information was significantly more positive for the MP3000 strategy compared to the ACE strategy. In addition, significant gamma−band activities were observed only with the use of the MP3000 strategy, most likely reflecting better top-down cognitive control for prosody recognition.   Taken together, the results presented in this thesis suggest that the MP3000 strategy is better than ACE with regard to emotional prosody perception, as confirmed by behavioural and electrophysiological responses. The P200 peak is an indicator of active differentiation and recognition of emotional prosody. It was shown that time−frequency analysis is a useful tool that can reveal differences between two Cl processing strategies in their recognition of prosody−specific features of language. Furthermore, it provided several new insights, especially regarding the reflection of top-down processes through gamma band activity as a binding process and as an effective tool for the understanding of the prognostic outcome of CI speech coding strategies.

Cochlear Implantate (CI) bieten eingeschränkt hörfähigen Menschen die Möglichkeit Klänge durch elektrische Stimulation des Hörnervs wahrzunehmen. Ein Merkmal von mündlicher Kommunikation ist Semantik, während ein anderes Merkmal die emotionale Verfassung des Sprechers übermittelt (emotionale Prosodie). Es ist immer noch unklar ob CI Träger verbale Emotionen effektiv wahrnehmen können. Der Hauptgegenstand dieser These ist der Vergleich von zwei CI Sprachstrategien, der ACE (Advanced Combination Encoder) und der MP3000 im Hinblick auf die Wahrnehmung von emotionaler Prosodie. Um dieses Ziel zu erreichen wurden Verhaltentest und EEG Messungen genutzt. Semantisch neutral gesprochene Sätze mit drei variierenden Prosodien (neutral, verärgert und fröhlich) dienten als Stimuli.  Das Ziel des ersten Experiments war die Untersuchung der normalhörenden (NH) Teilnehmer, wenn die emotionale Prosodie durch einen Vocoder zu ACE und MP3000 simuliert wurde. Die Analyse der emotionalen Prosodiewahrnehmung für diese modifizierten Stimuli zeigte, dass NH Teilnehmer eine nahezu perfekte Erkennung für unmodifizierte Prosodien hatten. Für Simulation zeigte sich eine bessere Erkennung für fröhliche und verärgerte Prosodien im Vergleich zur neutralen Prosodie. Ein signifikant grö§eres P200 (Ereignis-korreliertes Potential) wurde nach Satzanfang für die fröhliche Prosodie im Vergleich zu den beidenanderen Emotionen gefunden. Verglichen mit der ACE Strategie war die Amplitude der P200 signifikant positiver unter Benutzung der MP3000 Strategie. Daher unterstreichen un- sere Ergebnisse die Wichtigkeit von vokodierter Simulation um ein besseres Verständnis der prosodischen Merkmale zu bekommen und wie diese von CI Trägern genutzt werden.   Ein zweites Experiment, welches sich mit den Fähigkeiten von CI Trägern beschäftigte emotionale Prosodien unter ACE und MP3000 zu erkennen, wurde durchgeführt. Zusätzliche zu den Verhaltensdaten wurde die EEG Gamma−band Aktivität berechnet. Wir stellten fest, dass kongruent zu unserem ersten Experiment, CI Träger, welche mit der MP3000 Strategie versorgt waren einen höhere Rate von korrekt identifizierten prosodischen Informationen aufzeigten, als die ACE Strategienutzer. Unsere ERP Ergebnisse demonstrieren, dass emotionale Prosodie signifikante N100 und P200 Peaks hervorrufen. Die P200 Amplitude in Bezug auf fröhliche prosodische Information war signifikant positiver für die MP300 Strategie, als für ACE Strategie.In der Spektrale Energie Analyse zeigte sich signifikante Gamma−bandaktivität nur für die MP3000 Nutzer, vermutlich aufgrund der besseren kognitive top-down Kontrolle in diesen Nutzern. Zusammengefasst lassen unsere Ergebnisse vermuten, dass die MP300 Strategie im Vergleich zur ACE Strategie in Hinblicke auf die emotionale Prosodiewahrnehmung besser funktioniert. Dies konnten wir durch Verhaltens- und EEG- Daten nachweisen. Die P200 ist ein Indikator für aktive Unterscheidung und Erkennung von emotionaler Prosodie. Weiter- hin konnten wir zeigen, dass die Zeit-Frequenz Analyse ein sinnvolles Werkzeug ist, welches Unterschiede zwischen CI Verarbeitungstrategien in Bezug auf prosodiespezifische Merkmale von Sprache deutlich machen kann. Desweiteren zeigen wir neue Erkenntnisse im Bezug auf die Reflektion von top-down Prozessen in Gamma−bandaktivität, sowie dessen effektive Nutzung um Prognosen für CI Spachkodierungsstrategien zu erstellen.

Zitieren

Zitierform:

Agrawal, Deepashri: Prosody perception in cochlear implant users: EEG evidence. Hannover 2012. Tierärztliche Hochschule.

Rechte

Nutzung und Vervielfältigung:
Alle Rechte vorbehalten

Export