Noten, könnte man meinen, sind wie Text: Sie laufen von links nach rechts über die Seite. Doch Noten haben auch eine Dimension, die in die Höhe geht: Akkorde. Und ihre Bedeutung ist kontextabhängig – ein Punkt etwa kann je nach Position ein Stakkato oder eine Synkope bedeuten.
Mühseliges Erfassen und Bearbeiten
Weil Noten so komplex sind, waren Verfahren zur automatiserten Erkennung (OMR, «Optical Music Recognition») bislang fehleranfällig. Noten einzuscannen und in einem Notensatzprogramm weiter zu bearbeiten, war entsprechend mühsam.
Denn eingescannte Noten, die nur als Bild oder PDF vorliegen, kann beispielsweise ein Notensatzprogramm nicht direkt verarbeiten. Sondern erst, wenn aus dem Bild eine Sammlung von Informationen wurde, die angibt, wo auf der Seite welche Notensymbole wie angeordnet sind.
Ein grosser Datensatz musste her
Eine Forschungsgruppe der ZHAW hat nun ein spezielles Verfahren mittels Deep-Learning entwickelt, das Noten schneller und effizienter als bisherige Verfahren erkennt. Dafür mussten die Forscher erst einen Datensatz mit hunderttausenden von Noten erstellen, um das Deep-Learning-Modell zu trainieren.
Dann galt es ein weiteres Problem zu meistern: Gängige Deep-Learning-Verfahren sind gut darin, Fussgänger auf einer Strasse, Katzen im Gras oder Gesichter auf Fotos zu erkennen – also grosse Objekte, die gut abgegrenzt im Bild sind.
Aber viele kleine Objekte auf einem Haufen, etwa Ameisen in einem Ameisenhaufen, bereitete bisherigen Verfahren Mühe. Viele Noten auf einer Seite sind vergleichbar mit Ameisen – Noten-Ameisen.
Noten-Ameisen erkennen
Das neue Deep-Learning-Verfahren der ZHAW hat all diese Hürden überwunden. Es könnte sogar über die Notenerkennung hinaus Anwendung finden: «Unser System ist letztlich eines, das kleine Objekte in einem grossen Kontext mit hoher Genauigkeit erkennen kann. Es gibt viele andere Anwendungsmöglichkeiten ausserhalb der Musik, etwa in der Medizin», bestätigt Thilo Stadelmann, der an der ZHAW doziert und die Forschungsgruppe leitet.
Am jetzigen Modell gilt es noch Vieles zu verbessern. Derzeit funktioniert es bestens mit «idealen» Noten, die nie die reale, analoge Welt gesehen haben.
Noten, die in schlechter Qualität eingescannt wurden und voller Handnotizen, Knitter und Kaffeeflecken sind, bereitem dem Modell noch Mühe. Es ist auch noch keine Anwendung erhältlich, die das System der ZHAW implementiert.
Das Notenpult wird digital
Cristina Urchueguía, Professorin für Musikwissenschaft an der Universität Bern, ist sehr interessiert an den Ergebnissen der ZHAW: «Man wartet seit Jahren auf ein solches Verfahren, um Noten effizient in ein digitales Format überführen zu können.»
Digitale Musik-Archive gibt es zwar zuhauf, etwa die «Petrucci Music Library», die jedoch nur aus eingescannten Noten – Bildern – besteht.
Digital ist besser
Neben der Archivierung könnte das neue Verfahren auch den Musik-Alltag grundsätzlich verändern. Etwa mit einem digitalen Notenpult, das der Pianistin zuhört und automatisch die Seiten umblättert.
Wo und wie das Verfahren der ZHAW eingesetzt werden kann, muss sich noch zeigen – vor allem Musiker innerhalb der Klassik bevorzugen häufig noch Papier und Bleistift in den Proben. Trotzdem hat dieses neue Notenerkennungsverfahren das Potential, ähnliche Umbrüche herbeizuführen, für die die Digitalisierung in der Film- und Bücherwelt sorgt.
