a sub-page of diplom timeline, please do not edit

---

here you will find all the theoretical stuff about my diploma

basicly i´ll start with the application (in german):

Themenvorschlag für Diplomarbeit:

In verschiedenen Bereichen wie interaktiven Medieninstallationen, Rapid Prototyping oder auch der interaktiven Kunst hat die atenstromorientierte Programmierung in den letzten Jahren stark an Bedeutung gewonnen. Vor allem wegen des Versprechens, daß diese Art der Programmierung die Softwareentwicklung bedeutend vereinfacht. Datenstromorienterte Programmierung geht von einem kontinuierlichen Datenfluss aus, der in Echtzeit verändert und ausgegeben wird.

Die von der Firma MESO entwickelte, datenstromorientierte Programmierumgebung „vvvv“ dient in erster Linie zur Realisierung komplexer Medieninstallationen, wie sie z.B. auf Messen oder in Museen zu finden sind. Der Schwerpunkt der Programmierumgebung liegt im Bereich der Echtzeit- 2D und 3D Animationen, sowie der Steuerung von externen Geräten.Während meines Praxissemesters bei der Firma MESO habe ich mich intensiv mit den Themen der datenstromorientierten Programmierung auseinandergesetzt. Die Mitarbeit an verschiedenen Projekten, sowie der Dialog mit Entwicklern und Programmierern hat allerdings auch gezeigt, daß es oftmals wünschenswert wäre fest programmierte Algorithmen durch, in einer Zeitleiste definierte, Parameter zu ersetzen. Ein System, welches ein Aufzeichnen und Abspielen von manuell vorgegebenen Parametern erlaubt, würde hierbei in vielen Punkten eine Vereinfachung bedeuten.
Im Rahmen meiner Diplomarbeit soll untersucht werden, inwieweit sich der Echtzeitansatz von „vvvv“ mit einer Zeitleisten-basierten Steuerung vereinbaren lässt.

Eine Timeline bietet die Möglichkeit verschiedene Parameter anhand einer Zeitachse zu verändern.
Dieses Prinzip ist vor allem aus Musik-, 3D-Animations- oder Videoschnittprogrammen wie z.B. Maya oder Avid bekannt. Dem Programmierer soll ermöglicht werden, mittels eines graphischen Editors eine Abfolge von Wertveränderungen für einen gewählten Parameter festzulegen. Hierzu sollen verschiedene Ansätze geprüft und implementiert werden. Vorstellbar ist ein Kurveneditor, der die Möglichkeit bietet, an verschiedenen Ableitungen einer Kurve gleichzeitig zu arbeiten. Dem Benutzer soll es natürlich freigestellt sein, eine Vielzahl von Parametern gleichzeitig zu ändern. Es können verschiedene Kanäle erzeugt werden, die jeweils die Änderung eines Parameters beschreiben.

Ein weiterer Ansatz der verfolgt wird, ist die Aufnahme von Parameteränderungen in Echtzeit. Es wird möglich sein, z.B. mit einem externen Drehregler die Änderungskurve eines Parameters zu
bestimmen. Da eine Timeline immer einen linearen Ablauf beschreibt, der nicht immer unbedingt erwünscht ist, soll durch die Integration eines endlichen Automaten ermöglicht werden, diesen linearen Ansatz durch einen non-linearen zu erweitern. Durch diesen endliche Automaten wird es u.a. möglich sein auf einer Timeline vor und zurück zu springen.
Um einen Austausch mit anderen Zeit-basierten Medien möglich zu machen, sollen diverse Dateiformate importiert werden.

Vorstellbar sind hier Formate wie das Midi-Format oder auch Kalenderdaten. Als sehr simples Anwendungsbeispiel wäre eine Dauerinstallation in einem Museum denkbar, die sich im Verlauf von mehreren Monaten anhand von, in der Zeitleiste definierten, Parametern verändert. Dadurch könnte sich beispielsweise das Raumlicht oder auch der Inhalt der Installation verändern.

---

first prototype of the structure:

Inhalt:

1.Einleitung

2.Abgrenzung der datenstromorientierten Programmierung

• Terminologie
• Textuelle Programmiersprachen
• Visuelle Programmiersprachen

3.Konzepte visueller Programmierung

• Klassifikation
• Steuerfluss
• Funktionsorientiert
• Objektorientiert
• Constraintorientiert
• Regelorientiert
• Beispielorientiert
• Formularorientiert
• Datenstromorientiert
• Multiparadigma

4.Vor – und Nachteile visueller / datenstromorientierten Programmierung

5.Animationsverfahren

• Enstehung von Animation
• Verfahren (keyframe / algorithmische Animationsverfahren, prozedurale Animation (Regelwerk), kinematische..
• Interpolationsarten (linear, splines, Bezierkurven, B-Splines, Catmull-Rom Spline, NURBS)

6.Zeitleiste als lineares Programmierkonzept (evtl. in 8.)

• Ursprung und Entstehung der Timeline
• Weg zur interaktiven Timeline
• Konzepte, Anwendungen

7.VVVV

8.Problemstellung(Analyse)

• Zeitabhängige Parameterverarbeitung in VVVV (IST Zustsnd / SOLL Zustand)

9.Anforderungsdefinition (Muss/kann)

• Inputs / Outputs (Verschachtelung)
• Multitracksystem (Laufzeitanzeige in versch. Einheiten (Frames, Sek., Bpm), beliebige Tracks zusammenfassen (Spreads), Gruppieren, Verschieben
• Keyframe editing (rasterung, fade in, fade out, Ableitung der kurve)
• Track editing (loop marks, (copy, paste))?
• Non lineare Programmierung (finite state Automata)
• Transport System (evtl. extern?)
• Synchronisierung mit externen Zeitgebern
• Preset Speicherung (Pins, XML)
• Echtzeitrecording

10.Feinkonzeption (SW-Design!)

• Umsetzung von 9.
• Interafacedesign

11.Implementierung

• Ansätze
• Interface zu VVVV
• Programmierumgebung (.Net / MONO, Opensource, Drawing APIs,...)
• Datenhaltung
• Interpolationen
• Kontrollpunkte der Kurve und andere Werte können „von oben“ eingegeben werden
• Speicherung aller Werte über Pins

12.Exemplarische Anwendung / Test

13.Schlussfolgerung und Ausblick

• Clip / Event Hierarchie System

---

unsorted stuff:
Automata
how can scripted behaviour be integrated within vvvv?

• there should be a classic timeline with multiple channels
• convenient, powerful editing of the timeline and keyframes
• integrated programmability with a finite state automata (ideally literally replacing the Automata node)
• syncing to external time sources
• realtime recording
• file formats, data exchange
• importing of file formats (midi, motion capture, closed captions, edit decision lists etc.)