Unüberwachte audio-visuelle Geometriekalibrierung von verteilten Mikrofonfeldern
Overview
Akustische Ereignisse stellen eine wichtige Quelle von Kontextinformation für ein maschinelles Perzeptionssystem dar. So k?nnen insbesondere sprechende Personen durch den Einsatz von Mikrofonfeldern lokalisiert und Signale unterschiedlicher Quellen getrennt werden. Dabei wird die Geometrie des Aufbaus, d. h. die relativen Positionen der Mikrofone zueinander und die absolute Position des Feldes im Raum, als bekannt vorausgesetzt. Für den praktischen Einsatz verteilter Mikrofonfelder – z. B. in einer intelligenten Umgebung – ist es aber nicht sinnvoll, derart einschr?nkende Annahmen bezüglich des Sensoraufbaus treffen zu müssen. Ziel dieses Projekts ist es daher, Methoden zu entwickeln, die eine komplett unüberwachte Kalibrierung der Geometrie von verteilten Mikrofonfeldern erlauben. Dazu wird die Kalibrierung als Maximum-Likelihood Sch?tzproblem formuliert. Zus?tzlich sollen Verfahren entwickelt werden, die es erlauben, die relative Geometrie der akustischen Sensorik in einen Referenzrahmen einzubetten, der durch eine komplement?re Sensormodalit?t, wie z. B. visuelle Sensoren, gegeben ist. Es wird erwartet, dass mit den in diesem Projekt entwickelten Verfahren die Installation und der Einsatz audio-visueller Sensornetzwerke wesentlich vereinfacht wird. Dies stellt einen wichtigen Schritt hin zur Praxistauglichkeit von ”intelligenten“ audio-visuellen Systemen dar.
DFG-Verfahren Sachbeihilfen
Beteiligte Person Professor Dr.-Ing. Gernot A. Fink
Key Facts
- Grant Number:
- 166631756
- Project duration:
- 01/2010 - 12/2014
- Funded by:
- DFG
More Information
Results
In immer mehr Situationen kommen intelligente Ger?te wie Laptops, Smartphones und auch H?rger?te zusammen, welche mit einem oder mehreren Mikrofonen und Funkverbindungen ausgestattet sind. Um mit diesen Sprachverarbeitung in Form von Sprecherverfolgung oder Sprachverbesserung zu betreiben, ist es wichtig, die geometrische Anordnung der verteilten Mikrofonfelder zu kennen. Da manuelle Messungen zur Geometriekalibrierung de facto nicht praxistauglich sind, war es das Ziel dieses Projekts hierfür automatische Verfahren zu entwickeln. Die im Rahmen des Projekts entstandenen Methoden zur automatischen Geometriekalibrierung von ad hoc Konfigurationen verteilter Mikrofone und von Konfigurationen verteilter Mikrofongruppen basieren rein auf der Auswertung akustischer Signale, die von den Sensoren erfasst werden. 365体育_足球比分网￥投注直播官网 machen nicht die h?ufig in der Literatur zu findenden einschr?nkenden Annahmen, dass kein oder nur geringer Raumhall vorhanden sein darf, dass eine Taktsynchronisation zwischen den Sensorknoten vorhanden ist oder dass spezielle Kalibrierungssignale verwendet werden müssen. Vielmehr erfolgt die Kalibrierung mit dem Sprachsignal eines sich im Raum frei bewegenden Sprechers. Mit Hilfe dieser neuartigen Verfahren ist eine schnelle und zuverl?ssige akustische Geometriekalibrierung m?glich, deren praktische Anwendbarkeit bei der ebenfalls entwickelten Methode zur Sprecherverfolgung unter Beweis gestellt wurde. Durch Einbettung in ein audiovisuelles Sensornetzwerk lie?en sich die Ergebnisse der rein akustischen Kalibrierung bei bekannten Kamerapositionen auch auf Realweltkoordinaten übertragen. Neben der Ver?ffentlichung der entwickelten Verfahren auf Fachkonferenzen entstand aus der gemeinsamen Arbeit der Kooperationspartner auch ein ?bersichtsartikel für das IEEE Signal Processing Magazine. In diesem Artikel werden selbst entwickelte und aus der Literatur bekannte Methoden zur automatischen Geometriekalibrierung von Mikrofonfeldern gegenübergestellt und in einem einheitlichen experimentellen Rahmen evaluiert. Unsupervised Geometry Calibration of Acoustic Sensor Networks using Source Correspondences. 12th Annual Conference of the International Speech Communication Association (INTERSPEECH 2011) Florence, Italy, Vol. 1. 2011, pp. 604-607. J. Schmalenstroer, F. Jacob, R. Haeb-Umbach, M. H. Hennecke, G. A. Fink Reverberation-Robust Online Multi-Speaker Tracking by using a Microphone Array and CASA Processing. Acoustic Signal Enhancement; Proceedings of IWAENC 2012; International 365体育_足球比分网￥投注直播官网 on 4-6 Sept. 2012, Aachen, Germany, ISBN: 978-3-8007-3451-1, pp. 1 - 4. A. Plinge, M. H. Hennecke, G. A. Fink DoA-Based Microphone Array Position Self-Calibration Using Circular Statistics. Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on 26-31 May 2013, Vancouver, pp. 116 - 120. F. Jacob, J. Schmalenstroeer, R. Haeb-Umbach (365体育_足球比分网￥投注直播官网he online unter http://dx.doi.org/10.1109/ICASSP.2013.6637620) Coordinate Mapping Between an Acoustic and Visual Sensor Network in the Shape Domain for a Joint Self-Calibrating Speaker Tracking. ITG-Fachberichte, 252: Speech Communication, 11. ITG-Fachtagung Sprachkommunikation 24. – 26. September 2014 in Erlangen,ISBN 978-3-8007-3640-9, 4 Seiten. F. Jacob, R. Haeb-Umbach (365体育_足球比分网￥投注直播官网he online unter https://ieeexplore.ieee.org/abstract/document/6926077) Geometry Calibration of Distributed Microphone Arrays Exploiting Audio-Visual Correspondences. Proceedings of the 22nd European Signal Processing Conference (EUSIPCO), Lisbon, Portugal, 2014, pp. 116 - 120. A. Plinge, G. A. Fink (365体育_足球比分网￥投注直播官网he online unter https://ieeexplore.ieee.org/document/6952002) Geometry Calibration of Multiple Microphone Arrays in Highly Reverberant Environments. Acoustic Signal Enhancement (IWAENC), 2014 14th International 365体育_足球比分网￥投注直播官网 on 8-11 Sept. 2014, Antibes – Juan les Pins, France, pp. 243 - 247. A. Plinge, G. A. Fink (365体育_足球比分网￥投注直播官网he online unter http://dx.doi.org/10.1109/IWAENC.2014.6954295) Multi-Speaker Tracking using Multiple Distributed Microphone Arrays. Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on 4-9 May 2014, Proceedings, pp. 614 - 618. A. Plinge, G. A. Fink (365体育_足球比分网￥投注直播官网he online unter http://dx.doi.org/10.1109/ICASSP.2014.6853669)Projektbezogene Publikationen (Auswahl)