Können Maschinen Dinge an Filmen erkennen, die das menschliche Auge nicht sieht? Das Forschungsprojekt "Digital Formalism - The Vienna Vertov Collection" der Universität Wien gibt darauf eine deutliche Antwort: Ja, sie können. Analysiert wurden im Projekt Filme des russischen Filmemachers Dziga Vertov (1896 bis 1954). Im Hintergrund stand die Frage nach bewusst gesetzten formalen Elementen in seinen Stummfilmen der 1920-er Jahre und wie man diese anhand von computergestützter Filmanalyse erkennen kann. Die Ergebnisse werden bei einer internationalen Konferenz mit dem Titel "Method left home" von 14. bis 16. Jänner in Wien vorgestellt.

Internationale Konferenz in Wien

Herausgefunden haben die Forscher etwa, wie das Erkennen von Bildkompositionen oder bewusst eingesetzten Schwarz-Kadern funktioniert. Zudem wurden Methoden entwickelt, zwei Versionen eines Filmes zu vergleichen. Weil es für die Forschungsarbeit zu allererst notwendig war, altes Archivmaterial zu digitalisieren, wurde die Einzelbild-Digitalisierung angewendet. Es wurde also Kader für Kader (Einzelbild in einem Filmstreifen, Anm.) digitalisiert, erst das schaffte die Voraussetzung für die digitale Analyse.

Interdisziplinäres Projekt

Das auf drei Jahre angelegte interdisziplinäre Projekt wurde vom Institut für Theater-, Film- und Medienwissenschaft (TFM) der Universität Wien, dem Institut für Softwaretechnik und interaktive Systeme der Technischen Universität Wien und dem österreichische Filmmuseum durchgeführt. Gefördert wurde es vom Wiener Wissenschafts-, Forschungs- und Technologiefonds (WWTF).

Die Realität genauer erkennen

Klemens Gruber, Vorstand des Instituts für Theater-, Film- und Medienwissenschaft der Uni Wien, erklärt, was hinter der Filmanalyse steckt: "Eine der Thesen von Vertov ist: Die Kamera ist besser als das menschliche Auge", erklärt er. "Die Kamera erlaubt uns einen genaueren, präziseren, schärferen unerbittlicheren Zugriff auf die Realität, das heißt auch, mithilfe der Kamera können wir die Welt besser erkennen." Bei der computergestützten Filmanalyse gehe es unter anderem darum zu erkennen, wie Filme gemacht werden. Gruber: "Wir sagen: Liefern wir Vertovs Filme doch nicht nur einem menschlichen, sondern auch einem mechanischen Auge aus." Der Projektname "Digital Formalism" stamme vom Begriff des Formalismus, der ein Werk unter dem Aspekt seiner Gemachtheit untersuche.

Qualitativ minderwertiges Filmmaterial

Um zu ihren Ergebnissen zu kommen, arbeiteten die Filmwissenschaftler eng mit den Informatikern der TU Wien zusammen - was sich nicht immer als einfach erwies. "Eine große Herausforderung war die Abstimmung der unterschiedlichen Interessen", erzählt Matthias Zeppelzauer vom Institut für Softwaretechnik und interaktive Systeme der TU Wien. "Das heißt, wir mussten lernen: Was möchten die Filmwissenschaftler analysiert haben? Die Filmwissenschaftler mussten erkennen: Was können unsere automatischen Tools überhaupt leisen?"

Die erste Herausforderung für die Informatikerr war es, Methoden zu entwickeln, die robust gegenüber dem schlechten Zustand des Filmmaterials sind. "Die Filmstreifen sind gut 50 Jahre alt und waren nie dafür vorgesehen, dass sie vorgeführt werden", erklärt Zeppelzauer. Es handelt sich meist nicht um Originale sondern lediglich um Sicherungskopien, die unter der Lagerung gelitten haben. Das Ergebnis: Verzogenes Filmmaterial, starkes Flimmern, Kratzer, Schmutz und Schimmel. Zusätzlich mussten erst Methoden entwickelt werden, um Schwarzweiß-Filme digital zu analysieren.

Schnitte in einen Kontext setzen

Erst folglich war es möglich, Schnitte zu erkennen und diese in einen Kontext zu setzen. "Schnitt bedeutet Montage", erklärt Gruber, "man setzt die Filmstreifen in einer Weise zusammen wie sie in der Realität nicht sind." Das sei ja das Wesentliche am Film: Man könne etwas zeigen, das es nicht gibt. Hat man die Schnitte erkannt, geht es darum, ihren Rhythmus, ihre Abfolge, zu identifizieren. Ein Beispiel: Der Kinobesucher sieht im Film eine Eisenbahn und hat das Gefühl, selbst mitzufahren. "Man hört gewissermaßen das taktak-taktak des Zuges im Bild", sagt Gruber. "Vertov vermittelt uns eine Ganzkörperwahrnehmung vom Eisenbahnreisen, in dem er nach jedem dritten Kader ein Schwarzkader setzt." Man sehe diese schwarze Einblendung im Kino und nehme sie als Rhythmus wahr. "Natürlich könnte man so etwas auch am Schneidetisch herausfinden, aber die Maschine liefert sofort ein Resultat, und zwar für den ganzen Film."

Diagonalen identifizieren

Weiters wurde versucht, Bildkompositionen zu erkennen. Dazu gehört etwa der Einsatz von Diagonalen, den russische Filmemacher dieser Zeit gerne als Gestaltungsprinzip benutzten. Aber wie erkennt man den Einsatz von Schrägen im Film? "Es gibt Beispiele von Vertov, die wir wahrnehmen, aber nicht als Diagonale erkennen würden, weil wir auf semantische Inhalte Wert legen", so Gruber. Etwa, wenn eine große Straßenbahn neben einer kleinen stehe -über den oberen Enden der beiden Bahnen ergebe sich eine Diagonale.

Unterschiedliche Versionen vergleichen

Neben filmwissenschaftlichen Ergebnissen gelangten die Wissenschaftler unter anderem auch zu archivarischen Erkenntnissen. Sie entwickelten etwa Methoden, mit denen sich zwei verschiedene Versionen eines Filmes vergleichen lassen. Dies geschieht mittels Schnitterkennung und Ähnlichkeitsvergleich der Einzelbilder. "Oft liegen in Filmarchiven auf der ganzen Welt unterschiedliche Versionen von Filmen vor", sagt Gruber. Gründe dafür können sein, dass etwas weggelassen, umgeschnitten oder zensiert wurde. "Oder einfach, dass einer der Filme gerissen ist und an einer anderen Stelle wieder zusammengefügt wurde." (derStandard.at, 13.1.2010)