Dissertation
Tierärztliche Hochschule Hannover / Bibliothek – School of Veterinary Medicine Hannover / Library

 

Frederik Nagel

 

Psychoacoustical and Psychophysiological Correlates of the Emotional Impact and the Perception of Music

 

NBN-Prüfziffer

urn:nbn:de:gbv:95-94317

title (ger.)

Psychoacoustical and psychophysiological correlates of the emotional impact and the perception of music

publication

Hannover, Tierärztliche Hochschule, Dissertation, 2007

text

/dissertations/nagelf_ss07.pdf

abstract (deutsch)

Musik ist wesentlicher Bestandteil unseres täglichen Lebens, nicht zuletzt aufgrund ihrer Fähigkeit, Emotionen in uns auszulösen. Besonders starke Emotionen bei Musik werden

manchmal von physiologischen Reaktionen begleitet; diese werden in der englischsprachigen Literatur als „strong experiences of music“ (SEMs) bezeichnet. Das Erleben einer Gänsehaut oder eines Schauers, der über den Rücken läuft – der so genannte „Chill“ –, wird dabei als besonders angenehm empfunden. In der vorliegenden Arbeit werden zwei Experimente vorgestellt, die das Ziel hatten, die Rolle psychoakustischer Merkmale für die emotionale Wahrnehmung von Musik zu bestimmen. Ferner sollte untersucht werden, welche Bedeutung der psychosoziale Hintergrund von Versuchspersonen (Vpn) für das Erleben von Chills spielt. Schließlich sollten physiologische Korrelate von Chills  analysiert werden.

 

Da sich emotionale Reaktionen auf Filme und Musik über die Zeit entfalten, sollten diese auch kontinuierlich gemessen werden. Dafür wurde im Rahmen der Arbeit ein Softwaresystem entworfen und implementiert, das zwei wichtige Aspekte berücksichtigt: Erstens werden experimentelle und technische Standards benötigt, um eine Vergleichbarkeit von Studien zu gewährleisten. Zweitens sollte solch ein System offen für verschiedene auch multimodale Stimuli sein. Ausgehend von diesen zwei Forderungen werden die vier folgenden Prinzipien der kontinuierlichen Messung von Emotionen behandelt: (a) die Dimensionalität des Emotionsraums; (b) die Synchronisierung von Medien und kontinuierlicher Selbstauskunft; (c) die Benutzerschnittstelle für die emotionale Selbstauskunft und (d) eine Softwarelösung. Die in diesem Zusammenhang entwickelte Freeware-Software „EMuJoy“ wird als Werkzeug zur kontinuierlichen Messung emotionaler Selbstauskunft zu multimedialen Reizen vorgestellt.

 

Im ersten Experiment hörten Vpn (n = 38) verschiedene Musikstücke, Vergleichsstücke, die allen Vpn vorgespielt wurden und mitgebrachte Stücke, bei denen die Vpn erwarteten, einen Chill zu bekommen. Dabei wurden die gefühlten Emotionen und Chills kontinuierlich mit der EMuJoy-Software aufgezeichnet. Zusätzlich wurden psychophysiologische Messungen, u. a. von Herzrate (HR) und Hautleitwert (SC = skin conductance), durchgeführt. Aus den Daten der emotionalen Selbstauskunft aller Probanden wurden Animationen erstellt, die zur gleichen Zeit Einblick in die emotionalen Daten von 38 Vpn Daten boten. Mit dieser Art der Datenvisualisierung wurde eine ästhetische Methode der Datenanalyse geschaffen und die Möglichkeit gegeben, Ähnlichkeiten und Unterschiede im Verlauf der emotionalen Selbstauskunft leicht zu bestimmen. Neben der Präsentation dieser Animationen werden mögliche Einsatzgebiete in den Sozialwissenschaften, der  Musikwissenschaft und der Musikindustrie diskutiert.

 

Aus den Musikstücken, bei denen Chills berichtet worden waren, wurden jeweils 20-SekundenAusschnitte um die Chillantworten herum erstellt und psychoakustisch analysiert.

Es konnte ein signifikanter Anstieg in der Lautstärke im Frequenzbereich zwischen 8 und 18 Barks (920-4400 Hz) bei Chillstellen nachgewiesen werden, außerdem unterschieden sich die Chill-Ausschnitte von solchen ohne Chills durch eine erhöhte Rauigkeit und einen verminderten Ton-Rausch-Abstand.

 

Ein weiterer Schwerpunkt lag in der Betrachtung des Zusammenhangs zwischen angegebenen Chills und psychophysiologischen Parametern wie HR, Herzratenvariabilität und SC. Die Standardabweichung der instantanen HR war in Stücken mit Chills gegenüber Stücken ohne Chills gesteigert. Im Zusammenhang mit Chills war in allen Musikstücken die SC in 79.8% und die HR in 70.6% erhöht in 10-Sekunden Fenstern um Chills. Die (biseriale) Korrelation der beiden Parameter Chills und Psychophysiologie ist dagegen schwach. Die SC erreichte sein Maximum im Mittel bei 3,5 s nach der Chillangabe, die HR bei 1,5 s. Mit Hilfe einer Kreuzkorrelation konnte die Konsistenz dieser Verzögerung sowohl inter- als auch intraindividuell nachgewiesen werden. Die physiologischen Zeitreihen zeigten bei Chills im Mittel ein typisches Muster. Physiologie allein erwies sich als ungeeignet als einziger Indikator für das Chillerleben; sie sollte mit der emotionalen Selbstauskunft kombiniert werden.

 

In einem zweiten Experiment wurde Chorsängern (n = 54) ein Auswahl von 174 Musikausschnitten aus dem ersten Experiment vorgespielt. Die Vpn hatten dabei die Aufgabe, Bekanntheit, eigene Aufregung, Gefallen und das Chillpotential der Musik einzuschätzen und anzugeben, ob sie selbst einen Chill bekommen hatten oder nicht. Es konnte gezeigt werden, dass Vpn das Chillpotential von Musik mit hoher Kohärenz (Cronbachs  α = .85) bewerten können. Es gab ferner gute Übereinstimmung im Bewerten von Aufregung und Gefallen (α = .95; α = .94), während das Empfinden von Chills sehr individuell ist (α = .70). Eine Regressionsanalyse zeigte, dass Aufregung hauptsächlich durch Lautheit der Musik erklärt werden kann (R² = .51), während Gefallen und Chillpotential nicht so gut mit psychoakustische Eigenschaften von Musik korrelieren. Die Vpn gaben außerdem an, welche Kriterien sie benutzt hatten, um zu ihrer Einschätzung des Chillpotentials der Musik zu kommen und wie sie die einzelnen Kriterien gewichten würden. Harmonie, Melodie, Klimax und Lautstärkeverlauf

waren die vier wichtigsten Parameter. Außerdem wurde ein Geschlechtsunterschied in den Bewertungen festgestellt: Frauen gaben mehr Chills an als Männer (Frauen: 32.1

Chills pro Person, Männer: 15.2 Chills pro Person), Aufregung, Gefallen und Chillpotential wurden von den Frauen allerdings auch systematisch höher bewertet als von den Männern.

 

abstract (englisch)

Music plays an important role in everyday human life. One important reason for this is the capacity of music to influence the emotions of the listeners. Sometimes music is even accompanied by physical reactions, the so-called “strong experiences of music” (SEMs). Very pleasurable emotions are referred to as “chills”, which denote shivers down the spine or goose pimples. The present study consists of two experiments investigating both the role of psychoacoustical features and social backgrounds of participants, and physiological correlates of chills.

 

An adequate study of emotions in music should be based on the real-time measurement of self-report data using a continuous response method. Therefore, a recording system is proposed in this thesis which considers two important aspects: firstly, experimental and technical standards for continuous measurement should be taken into account for a better comparison of results, and secondly, the recording system should be open to the inclusion of multimodal stimuli. Based on these two primary considerations, four basic principles of the continuous measurement of emotions are addressed: (a) the dimensionality of the emotion space; (b) the synchronization of media and self-reported data; (c) the interface construction for emotional responses; and (d) an integrated software solution. Researcher-developed software (EMuJoy) is presented as a freeware solution for the continuous measurement of responses to different media.

 

Participants (n = 38) in the first experiment listened to both pre-selected musical pieces and their own favorite emotion-inducing pieces and reported their chill experiences. They were asked to report their emotions in real-time using a two-dimensional emotion space in a computer software. Additionally, psychophysiological measurements, such as heart rate (HR) and skin conductance (SC), were taken. Films were created from the time-series of all self-reports as a synopsis for seven musical pieces heard by all participants. This technique of data visualization allows a very aesthetic method of data analysis and provides the opportunity to investigate commonalities of emotional self-reports as well as differences between individuals. In addition to the presentation of the films, possible applications are discussed in areas such as social sciences, musicology and the music industry.

 

Psychoacoustical parameters of musical excerpts, each 20 s in length, with chill-reports in the middle of the time window were analyzed and compared with musical excerpts of the same length without chill responses. A significant increase of loudness in the frequency range between 8 and 18 Barks (920-4400 Hz) was found in excerpts with which chills were experienced.

 

The relationship between self-reported chills and the psychophysiological parameters HR, HR variability (HRV) and SC were also investigated in this exploratory study. Standard deviation of instantaneous heart rate was found to be greater in musical pieces where chills occurred than in those without chills. SC increased by 79.8% and HR by 70.6% when chills were reported, regardless of the specific musical piece. However, the correlation between chills and physiology is weak. The maximum skin conductance response lagged behind the onset of self-reported chills by 3.5 s; and the maximum heart rate lagged behind by 1.5 s. Crosscorrelating skin conductance and heart rate allows the quantification of the lag both between as well as within participants. The physiological time-series data showed a typical pattern for the mean values when chills were experienced. It could, however, be demonstrated that though physiology is not appropriate as a sole indicator of strong emotions, it is necessary in order to validate psychological self-reports when chills are defined as emotional reactions with the cooccurrence of both physiological changes and the experience of the chill.

 

In a second experiment, choral singers (n = 54) listened to 174 musical pieces selected from the first experiment. Participants had to rate the familiarity, arousal, liking, and chillpotential, and to indicate whether they experienced chills themselves. Participants were able to rate the chill-potential of musical pieces with high coherence (Cronbach’s
α = .85). Furthermore, there is high accordance in the rating of arousal and liking (α = .95; α = .94), while the real chill experience is participant-specific (α = .70). Regression analysis showed that subjectively perceived arousal can mainly be explained by loudness (R² = .51). However, variance in liking and chill-potential cannot be explained so easily. Participants were also asked about their criteria for rating the chill-potential of excerpts. Harmony, melody, climax and course of loudness were the four most important parameters. Also a gender-related effect of music in the selected 174 excerpts was observed: females experienced more chills than males (females: 32.1 chills per subject, males: 15.2 chills per participant), while arousal, liking and chill-potential were rated systematically higher by women than by men.

 

keywords

Psychoakustik, Psychophysiologie, Emotion, psychoacoustics, psychophysiology, emotion

kb

7.356