Logos IAD und ZHdK

Designprozess


Vorarbeiten / Technischer Research

Bevor wir überhaupt mit der Entwicklung eines ersten Prototyps beginnen konnten, mussten verschiedene technische Fragen beantwortet und diverse Vorarbeiten geleistet werden.

1. Analysieren von Musik und verschiedenen Musikstücken
2. Bestimmen der Aktoren, die verwendet werden sollen
3. Versuche durchführen, die Musik direkt zu filtern

Die Beantwortung dieser Punkte hat uns die erste Zeit beschäftigt und wurde vor der Entwicklung des ersten Prototyps durchgeführt. Folgendes konnten wir bei diesen Vorarbeiten herausfinden:

1. Erlebnis und Emotionen, die wir mit der Musik oder einem Musikstück erleben, sind sehr individuell. Wir haben einen Test mit Kindern durchgeführt, bei dem sie unvorbereitet und unbefangen visualisieren mussten, wie sie Musikstücke erleben. Dabei haben wir verschiedene Stile von Musik verwendet und die Kinder beauftragt, frei zu zeichnen, was sie empfinden.
Wir haben verschiedene Musikstücke selbst analysiert. Dabei konnten wir feststellen, dass Musikstücke sehr vielschichtig aufgebaut sind. Analysiert haben wir den Aufbau eines Stücks, die wesentlichen Elemente, spezielle Phasen oder Auszeichnungen in Melodie und Gesang, die Wirkung, die ein Stück auf uns hat, und wie wir uns vorstellen, wie das Stück am Körper gespürt werden könnte.

2. Um die Aktoren, die wir verwenden wollten, zu bestimmen, haben wir mit verschiedenen Bauteilen und Formen der Informationsübertragung auf den Körper experimentiert. Unsere ersten Versuche wurden mit analogen Musiksignalen vorgenommen und beschäftigten sich als erstes mit verschiedenen Lautsprecher- Modellen. Vor allem Lautsprecher, die eine grosse Membrane haben und die nicht direkt auf der Haut platziert werden, kann man grundsätzlich sehr gut spüren. Hier kommt es aber stark auf die Frequenz an, mit der die Lautsprechen betrieben werden. Vor allem tiefe Frequenzen sind gut fühlbar, hohe Frequenzen praktisch nicht mehr. Da wir aber bei unserem Gerät keine Frequenzen auf die Aktoren geben möchten, sind Lautsprecher eher weniger geeignet.

Eine andere Art Lautsprecher war eine Druckkammer von einem Megafon. Diese gibt ein sehr starkes und gut fühlbares Signal auf den Körper. Druck ist grundsätzlich sehr interessant, aber schon aufgrund der Dimensionen des Aktors ungeeignet. Dazu kommt, dass all diese Lautsprecher und Druckkammern selber Musik erzeugen. Somit ist es für Hörende sehr schwierig, zu unterschieden, ob man die Musik überhaupt taktil über die Haut aufnimmt, oder sie trotz allem einfach hört. Aus diesem Grund möchten wir Aktoren verwenden, die selber lautlos sind, damit wir diese auch genügend an uns selber testen können.
Somit kommen wir zum Schluss, dass wir mit lautlosen Elektro-Vibrationsmotoren das für unsere Zwecke am besten geeignete Resultat erzielen.

3. Ein Ziel des Projektes war, die Musik direkt auf dem Computer zu filtern und aufgrund dieser Filterung entsprechende Aktoren zu aktivieren. Somit könnte irgendein Musikstück eingelesen und auf den Körper übertragen werden. Wir versuchten, dieses Filtering mit MaxMSP zu erreichen. Aus diesem Grund haben wir einige MaxMSP-Patches erstellt und mit verschiedenen MaxMSP-Objekten versucht, ein geeignetes Filtering zu erreichen. Wir konnten zu Beginn einige interessante Informationen aus der Musik auslesen und diese auch auf den Körper bringen. Allerdings ist das Auslesen von wirklich verwendbaren Informationen aus der Musik eine Aufgabe für Musikfachleute und sprengt den Rahmen unserer Bachelor-Arbeit ganz klar. Aus diesem Grund haben wir uns zusammen mit unseren Begleitdozenten entschieden, eine automatische Filterung der Musik nicht zu berücksichtigen und stattdessen die Musik nach zu programmieren.


Prototyp 1

Entwicklung
Ausgangslage für die Entwicklung unseres ersten Prototypen war unsere eigene Hintergrund-Recherche und die Aussagen unserer gehörlosen Probanden Corinne und Isabelle. Auf dieser Grundlage haben wir ein mit Vibrationselementen bestücktes Band erstellt, auf welches wir, in der ersten Form, Rhythmus spielen können. Zusätzlich zum „Rhythmus-Band“ werden vereinzelte Akzente der Musik über zwei weitere Vibrationselemente übertragen.
Als Beispiellied dient uns „Where’d You Go“ von Fort Minor. Dieses Lied enthält klar unterscheidbare musikalische Elemente und einen aussagekräftigen Rhythmus und ist so für unsere Zwecke gut einsetzbar. Technisch besteht der erste Prototyp aus acht Vibrationselementen, die über ein Arduino gesteuert werden. Dabei können wir jeden Vibramotor einzeln ein- oder ausschalten. Die Vibrationselemente werden direkt über das Arduino betrieben, was bewirkt, dass die Vibration nicht allzu stark ist. Der auf dem Körper abgebildete Rhythmus wurde von uns im MaxMSP erstellt. Dabei haben wir grundsätzlich den Beat, den wir im Lied hören, nachgebaut. Mit diesem ersten Prototypen haben wir mit unseren Probandinnen einen Workshop durchgeführt. Wir wollten herausfinden, ob Gehörlose mit unserer Umsetzungsidee grundsätzlich etwas anfangen können.

Anordnung der Vibrationselemente
Da wir mit dem ersten Prototypen vor allem Rhythmus übermitteln wollten, haben wir uns überlegt, wo unter dieser Voraussetzung der ganze Testaufbau anatomisch platziert werden sollte. Unser Prototyp 1 ist flexibel an verschiedenen Punkten des Körpers platzierbar. Aus den Gesprächen mit unseren Probandinnen und den Ergebnissen aus dem Workshop hat sich unsere erste Vermutung bestätigt, dass Rhythmus am sinnvollsten in der Bauchgegend platziert wird.

Technische Umsetzung
- 8 Vibrationsmotoren
- 1 Arduino
- Stromspeisung der Vibrationsmotoren übers Arduino
- Software über MaxMSP programmiert

User Testing

Ziele von Workshop 1
Der Workshop hatte das Ziel, einige grundsätzliche Fragen zu beantworten:
1. Ist unsere Wahl der Aktoren und der Übertragungsart (Vibration) sinnvoll?
2. Wo sollten Aktoren, die Rhythmus übermitteln, platziert werden?
3. Wie fühlt sich für Gehörlose die Übertragung von Rhythmus auf den Körper an (im Gegensatz zur „herkömmlichen“ Art der Musikkonsumation [hohe Lautstärke, Vibration der Boxen, Fühlen der Schallwellen])?
4. Kann grundsätzlich ein Gefühl, eine Verbindung, zur Musik über ein Gerät, wie wir es planen, gemacht werden?

Ergebnisse Workshop 1
1. Die Gehörlosen haben einen natürlichen Bezug zu Vibration. Sie verknüpfen taktiles Erleben in Bezug auf Sound und Musik vor allem mit Vibration. Wenn etwas tönt, spüren sie in der Regel die Vibrationen davon (Auto / Zug der vorbei fährt, Musik [Vibration vom Boden, von Möbel], Zuschlagen von Türen etc.) Vibration ist für unser Projekt daher die richtige Form der Informationsübertragung auf den Körper.

2. Wir haben in unserem Workshop versucht, als Vergleichsmöglichkeit für die Gehörlosen eine „Standard-Umgebung“ zu schaffen. Dazu haben wir zwei leistungsfähige Boxen aufgebaut, über die unsere Probanden Musik wie sie es sich gewohnt sich „hören“ konnten. Es hat sich ergeben, dass gerade Rhythmus und Bass als Schallwellen in der Bauchgegend wahrgenommen werden. Vibrationen werden über die Boxen selber, über die Möbel, auf denen die Boxen stehen, aber auch über den Boden übermittelt. Aus diesen Erkenntnissen und aus den Gesprächen mit den Gehörlosen konnten wir feststellen, dass Rhythmus in der Bauchgegend sinnvoll platziert ist.

3. Die Gehörlosen finden es grundsätzlich sehr positiv, dass sie mit unserem Gerät nicht mehr in der Nähe der Boxen stehen müssen, um die Musik überhaupt fühlen zu können. Allerdings kann es, wenn man in der Nähe der Boxen steht, zu Verwirrung führen, da unser „gefilterter“ Rhythmus und das Musikvolumen, das aus den Boxen spürbar ist, nicht übereinstimmen. Die Vibration ist grundsätzlich viel zu schwach, um bei einem wirklich lauten, druckvollen Rhythmus mit den Schallwellen aus den Boxen mithalten zu können. Wir müssen die Vibration daher verstärken.

4. Die Gehörlosen können gut eine Verbindung zwischen unserer Vibration und Musik herstellen. Es ist für sie viel weniger abstrakt, die Vibration mit Musik zu Verknüpfen, als für hörende Personen. Daher können wir feststellen, dass mit Vibration für Gehörlose der Eindruck von Musik vermittelt werden kann.


Prototyp 2

Rhythmus und Melodie
Auf Basis unseres ersten Prototyps haben wir versucht, zusätzlich zum Rhythmus noch Melodie zu übertragen. Dies wollten wir erreichen, indem wir eine Reihe von Vibrationsmotoren vertikal untereinander platzierten. Die ganze Aktor-Reihe wurde entlang der Wirbelsäule positioniert. Nun konnten wir einzelne Töne einer Melodie direkt auf einen einzelnen Vibrationsmotor legen. Um dies zu erreichen haben wir über ein E-Piano Midi- Signale an MaxMSP geschickt und diese direkt übers Arduino auf die Vibrationsmotoren gemappt. Somit konnten wir Versuche mit Tonleitern und einfachen Melodien ausprobieren.
Das Resultat war allerdings nicht sehr brauchbar. Man kann zwar spüren, dass verschiedene Aktoren aktiviert werden und man kann auch eine Bewegung entlang der Wirbelsäule ausmachen, aber die Verbindung zur Musik, zur Melodie ist nicht möglich.
Somit muss eine andere Art und Weise gefunden werden, wie Melodie auf den Körper übertragen werden kann.


Prototyp 3

Entwicklung
Aufgrund der Auswertung der Ergebnisse der Tests mit dem Prototypen 1 und dem Prototypen 1b kamen wir zum Schluss, dass die Anordnung der Vibrationselemente sowie die Art und Weise der Übertragung von Melodie und Gesang auf den Körper stark angepasst werden musste. In einem Gespräch mit unseren Mentoren Daniel Hug und Gerhard M. Buurman kamen wir zum Schluss, dass die Melodie nicht in einer Ton-für-Ton- Übertragung übermittelt werden kann. Wir mussten eine andere Art und Weise finden, wie Melodie und Gesang eines Musikstücks sinnvoll und verständlich auf dem Körper abgebildet werden kann. Daher wollten wir mit dem nächsten Prototypen versuchen, die wesentlichen Elemente der Melodie zu erkennen und auf den Körper zu übertragen. Also nicht mehr die einzelnen Töne, sondern das Gesamtbild, das eine Melodie in uns hervorruft. Dabei interessieren uns vor allem Kontraste innerhalb einer Melodie (z.B.: laut / leise, schnell / langsam, Chaos / Ordnung etc.), Verhaltensweisen der Melodie (aufbauend, abbauend, plötzliches Erscheinen, verschwindend etc.) sowie grundsätzliche Assoziationen und Beschreibungen, die zu einem Melodieteil passen (ist ein Melodieteil oder ein Gesang weich, spitz, hart, nah, fern etc.) zu finden und auf den Körper zu übertragen. Der Prototyp 2 sollte die Möglichkeit bieten, eben diese Elemente einer Melodie oder eines Gesanges mit unseren gehörlosen Probanden zu testen.
Aus diesem Grund haben wir uns entschieden, eine kreisförmige Anordnung der Vibrationselemente zu einzusetzen. Die Motoren wurden in drei Kreisen an vier, sechs und acht Bauteilen je Kreis angeordnet. Zusätzlich wurde ein Motor in die Mitte als Zentrum platziert. Über PWM-Output können wir diese einzelnen Kreise stufenlos steuern. Damit wir genügend Vibration erhalten, werden die einzelnen Vibrationsmotoren über eine Transistorschaltung und eine externe Stromquelle angetrieben. Mittels dieser Kreise sind wir in der Lage, komplexe „Melodie-Bilder“ auf den Körper zu übertragen. Wir können so testen, wie wir den Prototypen programmieren müssen, um beispielsweise eine weiche, sanfte Stimmung oder einen harten, lauten Schlag hervorzurufen.

Anordnung der Vibrationselemente
Die Vibrationselemente wurden in Kreisen von einem Gesamtdurchmesser von ca. 25 cm angeordnet. Die Motoren sind in regelmässigen Abständen zueinander platziert. Die Position der gesamten Motorengruppe auf dem Körper kann variieren. So kann der Prototyp sowohl auf dem Bauch (beispielsweise für Rhythmus-Übertragung) wie auch auf dem Rücken (für Übertragung von Melodie und Gesang) getragen werden. Dass Positionierungen auf dem Bauch und im Kreuz beide sinnvoll sind, kann man auch aus der Lehre der Energiezentren des Körpers (Chakrenlehre) schliessen.6 Nabel und Kreuz gelten dort (nebst anderen Positionen) als Energiezentren und haben in der Chakrenlehre verschiedene Eigenschaften. Diese Eigenschaften können für den finalen Prototypen als Richtlinien für die Platzierung von Aktorgruppen dienen. Wichtiger aber ist, wie unsere Probanden die Positionierung empfinden und wünschen.

Technische Umsetzung
- 19 Vibrationsmotoren, in drei Kreisen mit einem Zentrum angeordnet
- Einzelne Kreise mit PWM-Output steuerbar
- 1 Arduino
- Externe Stromspeisung der Vibrationsmotoren (3 Volt Batterieblock)
- Software über MaxMSP programmiert

User Testing

Ziele von Workshop 2
Mit unserem zweiten Workshop wollten wir herausfinden, ob wir konkrete Muster auf dem Körper erkennbar abbilden können.

1. Ist es möglich, die einzelnen Kreise so zu aktivieren, dass für Gehörlose erkennbare und nachvollziehbare Stimmungen und Muster entstehen?

2. Funktioniert eine kreisförmige Anordnung der Aktoren?

3. Wo am Körper muss eine Aktorgruppe platziert werden, um Bereiche der Musik wie Rhythmus, Melodie oder Gesang abzubilden?

4. Was für Elemente der Musik möchten die Gehörlosen überhaupt erkennen können?

Ergebnisse Workshop 2
1. Man kann mit dem gezielten Steuern einzelner Kreise eine bestimmte Wirkung auf dem Körper hervorrufen, wie wir an diesem zweiten Workshop feststellen konnten. Allerdings ist für die Bestimmung der Wirkung eine treffende Formulierung unumgänglich. Begriffe wie laut, leise, hohe Töne, tiefe Töne sind für Gehörlose wenig nützlich, da sie vielfach keine Vorstellung von dem Begriff haben. Daher muss mit Begriffen gearbeitet werden, die Verständlich und klar sind und die auch durch eine weitere visuelle Repräsentation nochmals verständlicher werden (z.B. „Weich“ als Begriff, unterstützt durch ein Foto eines Kissens).
Wir haben 17 verschiedene Verhaltensweisen der Vibrationselemente getestet.

2. Eine kreisförmige Anordnung der Aktoren ist sinnvoll. Allerdings dürfen die Abstände zwischen den Vibrationsmotoren nicht allzu gross sein, da ansonsten der Durchmesser des gesamten Kreises zu gross wird. Sinnvoll ist eine Kreisanordnung ebenfalls aus dem Grund, dass Bewegungen (nach innen, nach aussen) sowie flächige Muster abgebildet werden können.

3. Der Rhythmus wird auch mit unserem zweiten Prototypen auf dem Bauch erwartet. Allerdings können sich unsere Probandinnen auch eine Platzierung der gesamten Aktorengruppe am Rücken vorstellen, empfinden dies sogar als sehr angenehm.

4. Die Übertragung von Musik auf den Körper sollte auf jeden Fall den Rhythmus als Leitelement beinhalten. Dies ist das Element, das die Gehörlosen auch jetzt schon mit Musik verknüpfen, das sie bereits jetzt über Schallwellen oder Vibration wahr- nehmen können. Allerdings sagen unsere Probandinnen ganz klar, dass sie mehr Elemente als bloss Rhythmus möchten. Um einen wirklichen Mehrwert für Gehörlose zu erzielen, sollte Melodie und Gesang erkennbar auf den Körper gebracht werden. Dabei sollte das Ziel sein, dass man Melodie und Gesang auseinander halten kann.