Wir wird bald in der Lage, Design Custom Sounds mit Stimme und Bewegung

Das erste, was ein Architekt oder Grafik-Designer werden zu Beginn eines Projekts tun soll einige Skizzen zu produzieren – nur um grobe, ihre Ideen auf Papier, vielleicht ergänzt mit CAD-Software. Aber sound-Designer haben keine ähnlichen Tools. Ein Konsortium europäischer Forscher sucht, dass durch die Entwicklung eine Suite von Tools für Sound, Skizzieren auf die Stimme und Gesten zu ändern.

"Wenn Sie ein Architekt und ein Haus zu skizzieren möchten, Sie einfach es auf einen Zeichenblock zurückgreifen können," schrieb der Forscher in einer Zusammenfassung ihrer Arbeit. "Aber was tun Sie, wenn Sie einen sound-Designer und den Klang eines neuen Motorrads schnell skizzieren möchten?" Die üblichen Werkzeuge – Synthesizer, Sampler und Sequenzen, zum Beispiel — sind kompliziert und erfordert erhebliche training zu verwenden. Sie sind einfach nicht so einfach, schnell und intuitiv wie ein Sketch Pad.

Sound ist schwer in Worten zu beschreiben, weshalb die meisten von uns auf eine Kombination von Geste und vocal Mimikry zurückzugreifen, wenn Sie sagen, versuchen, an jemand anderen zu vermitteln, dass ein Auto Vrooomgeht. Die menschliche Stimme ist wie eine eingebaute sound Synthesizer.

"Menschen was eine Person imitiert recht gut erkennen können," sagte Guillaume Lemaitre, ein Forscher am Ircam in Paris, Frankreich, Gizmodo per e-Mail. "So wäre unser Traum-Tool ein Synthesizer, die wir direkt interagieren konnte, [mit] unsere Stimme und Gesten, genauso was wir natürlich nicht, wenn wir mit jemandem reden. Im Idealfall würde dieser Synthesizer verstehen, die Nachahmungen der gleichen Weise eine Person tun würde, und erzeugen Klänge entsprechend."

Das ist das Ziel der SkAT-VG (skizzieren Audio Technologies mit Stimme und Gesten), ein Dreijahres-interdisziplinäres Kooperationsprojekt zwischen vier Partner. IRCAM ist verantwortlich für Aspekte mit Wahrnehmungspsychologie, Geste Analyse, Signalverarbeitung und maschinelles lernen. Das Royal Institute of Technology (KTH) in Stockholm, Schweden, ist die Phonetik, handling, Iuav Universität von Venedig, Italien, Schwerpunkt Sounddesign und Klangsynthese. Und Genesis, ein Unternehmen mit Sitz in Aix en Provence, die fundierte Studien durchführt und audio-Technologien für sound-Design, entwickelt verantwortet Nutzerstudien und Prototyp-Integration.

Der erste Schritt ist erlangen ein besseres Verständnis davon, wie Menschen Mimik und Gestik, um verschiedene Töne zu kommunizieren. Also Lemaitre und seinem Ircam Kollegen 50 Freiwilligen aufgerundet und ließ sie aufgenommenen Geräuschen lauschen, dann diese Laute zu imitieren. Gab es mechanische Geräusche (wie klopfen und kratzen), Sounds von gemeinsamen Objekten (Autos, Mixer und Sägen) und auch Computersounds, wie Sound-Effekte in Videospielen. Alle Teilnehmer waren mit einer GoPro-Kamera gefilmt, und ausgestattet mit einem Körper-Tracking Kinect und Beschleunigungssensoren an ihren Handgelenken befestigt. Sie erfasst auch den Prozess auf Video:

Lemaitre gesteht, dass sie einige Missverständnisse in der Studie hatten. Zum Beispiel "zunächst dachten wir, dass Menschen die Flugbahn des einige akustischen Funktionen ziehen würde – wie Tonhöhe oder die Intensität – mit ihren Händen in der Luft, wie heben Ihre Hand, Steigung hinauf, zu imitieren" sagte er. Aber dies war nicht der Fall sein. Stattdessen dienten Gesten mehr Betonung auf metaphorische Weise Stereotyp zugeordnete italienischen Figuren in Film und Fernsehen. "sie schien eher wie Symbole, die bestimmte allgemeine Eigenschaften der Töne angeben,", sagte Lemaitre.

Auf dieser Grundlage, festgestellt er und seine Kollegen, dass Gesten nicht besonders nützlich wäre, als ein Mittel zur präzisen Kontrolle des Verhaltens eines Synthesizers in Echtzeit, wie ursprünglich, die Mitgliedern des Konsortiums gedacht möglich wäre. Stimmliche Imitationen sind für diesen Zweck sehr viel effektiver. "Stimme genau höhere Tempi als Gesten, reproduzieren kann und ist präziser als Gesten, wenn komplexe rhythmische Muster reproduzieren" nach Lemaitre Zusammenfassung.

Der nächste Schritt ist tatsächlichen Prototypen die Skizzierwerkzeuge, basierend auf bisher Gelernte ist erstellen und testen, wie gut sie in realen Bedingungen arbeiten. Lemaitre, sagte, dass das Konsortium hält ein besonderes Ereignis in diesem Frühjahr in den Süden von Frankreich, speziell für sound-Designer, indem Sie ihnen die Aufgabe, bestimmte Klänge mit der Prototypen-Werkzeuge erstellen und Auswerten der vor- und Nachteile der Prototypen.

Praktische Anwendungen beiseite, Lemaitre denkt Studien stimmliche Imitationen und Gesten könnte auch als nützlich erweisen für Neurowissenschaftler interessiert, auditive Wahrnehmung und Kognition. Studien wie die oben könnte besser zu verstehen wie Klänge im Speicher verschlüsselt sind.

Referenz:

Rocchesso, D., Lemaitre, G., Susini, P., Ternström, S., & Boussard, p. (2015) "skizzieren Sound mit Stimme und Gestik," Interaktionen 22 1: 38-41.

[Via Acoustical Society of America]

Bild: Ansicht auseinander/Shutterstock