Zum Inhalt springen

Synkino – endlich einfach vertonen


Friedemann Wachsmuth

Empfohlene Beiträge

So, ich starte mal einen separaten Thread für das Projekt :)

 

Da @Theseus, @Helge@St1600, @SandroP und @S8ler das Thema interessant finden und ich den 2017-PLanungsthread nicht kapern wollte, mach ich hier zum Synkino-Projekt mal einen eigenen Thread auf.

 

Nochmal die Zusammenfassung:

 

---------------

 

Synkino wird ein vollautomatisches, einfachst zu bedienendes Zweibandsystem, dass mit jedem Projektor ohne jeglichen Eingriff funktioniert. Es besteht aus zwei Kästchen: Das eine enthält eine SD-Karte und wird an die Stereoanlage angeschlossen. Pro Film enthält die SD-Karte einfach eine Datei (MP3, WMA, AAC etc) mit dem Soundtrack.

Das andere Kästchen steht in Projektornähe. Man hält kurz eine Filmspule davor, legt den Film ein und startet den Projektor. Der zugehörige Ton startet automatisch und bleibt für mindestens eine Stunde lippensynchron, ganz egal, wie schnell der Projektor läuft. +/-15% Geschwindigkeitsschwankungen werden ausgeglichen.

Hier die derzeitige Frankensteinversion, die schon sehr vielversprechend funktioniert – das Oszi zeigt die gemessenen 57,94981 Hz Bildfrequenz an (Dreiflügelblende), die gerade via RS232 und Bluetooth an das Audiomodul geschickt werden. :)

 

IMG_6853.JPG

 

Technische Details für Interessierte:

Die Soundwiedergabe folgt der Prjektorgeschwindkigkeit durch nahtlose Anpassung der Samplingrate in Echtzeit – auf 2ppm genau. Alternativ habe ich auch schon ein Plugin für den DSP gebastelt, welches die Abspielgeschwindigkeit ohne Änderung der Tonhöhe nachführen kann -- allerdings klappt die Anpassung der Geschwindigkeit hier noch nicht immer ganz frei von hörbaren Artefakten. 

Beide Module sind via Bluetooth verbunden, es wird also kein Kabel zwischen Projektor und Anlage benötigt. Im Projektormodul wird ein RFID-Reader eingebaut, der den zu beschallenden Film anhand eines kleinen Aufklebers erkennt und im Soundmodul die passende Datei lädt. Die Ist-Frequenz des Projektors wird durch eine extrem schnelle Fotodiode und einen rauscharmen OpAmp in Transimpedanzverstärkungsschaltung quarzgenau gemessen. Zwischen 16 und 30 fps liegt die Messgenauigkeit bei fünf Nachkommastellen (also z.B 54,00001 Hz bei 18 fps und Dreiflügelblende). Hierdurch muss man weder einen Reed-kontakt noch sonstwelche Umbauten am Projektor vornehmen -- das ganze funktioniert einfach über das Licht hinter der Umlaufblende, also mit buchstäblich jedem Projektor. Der gemessene Takt wird laufend zum Soundmodul gefunkt, wo der Ton entsprechend nachgeführt wird.  

Ich hoffe, 2017 eine Kleinserie davon anfertigen zu können. Allerdings hab ich noch ein gutes Stück Arbeit vor mir, wenn die Kernkomponenten jetzt auch schon ziemlich gut laufen. :)

  • Like 4
Link zu diesem Kommentar
Auf anderen Seiten teilen

Sowohl mit Hard- als auch mit Software geht es recht stetig voran , richtige "Roadblocks" habe ich noch nicht gefunden. Mittlerweile werkeln sogar drei AtMegas am vorhaben, die AVR-Familie ist doch etwas schwachbrüstig. Bevor ich aber nun alles auf Teensy oder eine andere ARM-Plattform umziehe, mache ich lieber mit "drei Kernen" weiter -- ein China-Arduino-Clone kostet schliesslich keine 3 Euro.

 

Hat vielleicht einer der interessierten hier Lust, sich zu gegebener Zeit um ein kleines Gehäuse zu kümmern? Ich kann Hard- und Software und werde auch passende Platinchen routen und fertigen lassen, so dass einer Kleinserie nichts mehr im Wege steht. Nicht gut bin ich aber bei Gehäusen. Wenn sich da jemand versiertes und interessantes findet, kriegt der die allererste Version der dann "fertigen" Platinen, damit der Platz für Display, Anschlüsse, LEDs, Antennen und Taster nachher auch stimmt. Wenn nicht, muss sich eben jeder selber sein Gehäuse bauen. :)

 

Es ist eigentlich noch früh zum schätzen, aber ich bin recht zuversichtlich, dass ich bei dem System unter 100€ Kosten (für Teile und Platinen beider Module zusammen) bleiben kann, also als Bausatzpreis zum fertiglöten (und natürlich ohne Gehäuse). 

 

Hard- und Software sollen am Ende offen sein, so, dass jeder interessierte sie verbessern und erweitern kann – ich denke an eine BSD-Lizenz o.ä. Mal sehen.

 

Interessant wäre natürlich, wer überhaupt Interesse an so einer "Null-Serie" hätte. Bekämen wir 10 Leute zusammen? Und hat jemand Lust auf die Gehäusearbeit?

Link zu diesem Kommentar
Auf anderen Seiten teilen

Also eine Nachführung des Tons an den Filme, umgekehrt zum Visacustic System (z.B.). Wenn Du den Sound in der Tonhöhe konstant hältst, hast Du gewonnen. Es geht Die aber hier wohl weniger um O-Ton, als vielmehr um Nachvertonung, richtig?
Wie muß ich mir die eigentliche Vertonungsarbeit vorstellen, wenn Szene für Szene mit z.B. Musik und Kommentaren versehen werden?

Wäre das Konzept denn prinzipiell auch tauglich für O-Ton?

Interesse an der Technik: ja!
Interesse an einem Gerät aus der Null-Serie: gute Frage?, momentan komme ich mit dem Visacustic System gut klar, aber für N8 suche ich noch nach einer brauchbaren 2-Band-Lösung...

Hilfe beim Gehäuse: auch eine gute Frage!, mir fehlt dazu evtl. das notwendige Equipment

(Schade, daß Du im April nicht nach Deidesheim kommst, da hätte man mal näher diskutieren können)

 

Link zu diesem Kommentar
Auf anderen Seiten teilen

@Helge: Ja, der Ton wird nachgeführt, damit ist es eben ein Projektor-unabhängiges System. DSP-gesteuerte Geschwindigkeitsanpassung (ohne Tonhöhenveränderung) oder Samplerate-anpassung (also klassisches schneller/langsamer machen wie beim Tonband) geht beides. Letzteres bekomme ich (noch) deutlich gradueller hin (in 2- Promille-Schritten) und bei einem guten Projektor ist es eigentlich unhörbar, solange nicht gerade Klaviermusik auf der Piste ist. Am Ende hat aber der User die Wahl. :)

 

Ich habe Nachvertonung im Kopf -- aber O-Ton sollte auch gehen. Grundlage zur Vertonung sollte, wenn Lippensynchronität gewünscht ist, idealerweise eine einzebildgenaue Abtastung des geschnittenen Films in beliebig schlechter Qualität sein -- dann kann man im Schnittprogramm der Wahl einfach eine schöne Audiospur zusammenschieben und diese anschliessend als passende Stereo-Datei ausgeben. Zum Testen habe ich vorgestern eine Rolle Foma lang im Garten gestanden und vor der Kamera bei Eiseskälte auf einem Glockenspiel rumgeklopft. Parallel lief mein iPhone und hat den O-Ton mitgeschnitten. Den entwickelten Film habe ich zur Abtastung an Screenshot geschickt, der wird dann mein "Testcontent" und der O-Ton ggf. in FCPX (o.ä.) gestreckt oder gestaucht, bis er (bei 18 fps) vorne und hinten synchron ist. 

 

@Gizmo: Das ist völlig egal -- selbst die kleinste erhältliche Karte für 7€ ist viel zu groß. Meine 200 GB-Karte von Samsung wird aber auch erkannt. :) Die Idee ist, dass eine SD-Karte den Ton für sämtliche Filme die man besitzt (und vertont) bereithalten soll -- damit die passende Tonspur eben durch einfaches RFID-Scannen (also ans Gerät halten) geladen werden kann.

  • Like 1
Link zu diesem Kommentar
Auf anderen Seiten teilen

Hi Friedemann,

 

gutes Projekt!

Wie bekommst Du denn den Synchronpunkt zwischen Film und Audiodatei hin? Nachführen ist ja nur die halbe Miete, zusätzlich brauchst Du ja noch einen definierten Startpunkt auf dem Film. Projektor ranfahren aufs erste Bild (?) und dann Sync-Lock via Tastendruck?

 

(Samplingrate nachführen ist m.E. die richtige Lösung. SRD machts auch so.)

 

dbx1000

Bearbeitet von dbx1000 (Änderungen anzeigen)
Link zu diesem Kommentar
Auf anderen Seiten teilen

Der Plan bisher ist via Startmarke im Bildfenster. Sobald die Projektionslampe glüht UND die Umlaufblende sich dreht soll die Audiowidergabe starten (muss ich noch implementieren, daher "soll"). Ein shiften in 0,1-Sekunden-Schritten (oder auch Einzelbildern) via Tastendruck ist trivial einzubauen. 

Link zu diesem Kommentar
Auf anderen Seiten teilen

Aus der Praxis (SRD-Installation): nachträglicher Shift "nach Ohr" bis es synchron ist, ist bei "laufendem Programm" sauschwer (denn 100% synchron wird es ja nie, schon gar nicht bei 0,1s Auflösung des Shifts). Bis man das eingestellt hat, ist die Rolle durchgelaufen. Ich würde daher eher aufs Startkreuz setzen (Positionierung könnte ohne Rangierbetrieb bzw Handrad aber schwierig werden).

 

Miss mal wie viel Verzögerung das "Lampe glüht", hat, denn die muss ja erst hochheizen. Ggf ist da ein kleiner Offset nötig um das zu kompensieren. Ansonsten sollte das Hochlaufen prinzipiell kein Problem sein, nachdem Du ja die Samplingrate nachführst (wobei das Hochlaufen natürlich ne Herausforderung ist, dass sich da alles schnell genug einschwingt bzw. lockt). Würde aber die Audio-Ausgabe muten wenn sich die Sampling-Rate ausserhalb eines bestimmten Fensters befindet (Vermeiden von Jaulen beim Hochlaufen).

  • Like 1
Link zu diesem Kommentar
Auf anderen Seiten teilen

Wow, super Projekt! Da bin ich auch sofort dabei!

 

Wieviele Steuermöglichkeiten hätte man denn (von der Hardware her) nach derzeitigem Planungsstand am Gerät? Je nach Projektor und Möglichkeiten, ein Startbild genau anzufahren, wäre es vielleicht hilfreich, einen Offset für jeden Projektor (also durchaus auch in der Größenordnung von Sekunden) einstellen zu können. Oder neben der Verwaltung von Filmspulen auch gleich eine Verwaltung von Projektoren?

Eine zweite Frage zum Funk: Die Geräte verwenden ja Bluethooth und RFID. Wie groß ist da die Reichweite vom Bluetooth oder wie störanfällig ist das? Wäre ein Ersatz beider Techniken durch Kabel und Menü eine Backupmöglichkeit? Oder ist das unnötig, weil zuverlässig genug oder zu kompliziert in der zusätzlichen Umsetzung?

(Im Programmieren bin ich nicht so gut - daher kann ich nur fragen und anregen...)

Link zu diesem Kommentar
Auf anderen Seiten teilen

Puh, langsam wird das ja Erwartungsdruck ;)

De Maße kann ich noch nicht sagen ... noch ist alles fliegend auf mehreren Breadboards verdrahtet. Eine Kühlung wird nicht nötig sein.

Wer Bluetooth nicht will, kann auch eine beliebige Zweidrahtleitung nehmen, wenn ich RS485 einbaue gehen bis 1,2 km mit beliebigem Klingeldraht. :) 

Einen projektorbezogenen Offset oder ähnlichen Feinschliff einstellbar (und speicherbar) zu machen, ist überhaupt kein Problem, sowas wird Kür. 

 

Kurzes Update zum Status:

 

IMG_6876.JPG

 

Mittlerweile bin ich auf drei µCs ausgewichen, denn der angestrebte AtMega32U4 ist einfach ziemlich schwachbrüstig – dafür aber vertraut und billig. Der eine µC ist gut damit beschäftigt, Musik von der SD-Karte zu laden und fristgerecht an den Decoder zu schicken. Er steuert ausserdem den DSP und belädt selbigen mit dem nötigen Code aus einem kleinen I2C-EEprom. Auf Zuruf regelt er die Samplerate nach. Für weitere Aufgaben war da keine Luft mehr. 

Der zweite µC kümmert sich hauptsächlich um Frequenzmessung des Projektors, und das mit sehr hoher Genauigkeit. Desweiteren instruiert er seine beiden Nachbarn über einen einfachen seriellen Bus (kein I2C, kein SPI), was zu tun ist. Der dritte im Bunde kümmert sich um das OLED-Display, Menü, RFID und Tastendrücke. Letzterer wird auch die "State Machine", also quasi die steuernde Instanz für die beiden Kollegen. 

 

Es geht voran, aber es ist auch noch einiges zu tun. Eine Woche Urlaub habe ich noch, mal sehen, wie weit ich komme...

 

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 7 Stunden schrieb F. Wachsmuth:

Puh, langsam wird das ja Erwartungsdruck.... Eine Woche Urlaub habe ich noch, mal sehen, wie weit ich komme...

 

Friedemann, geh doch zwischendurch mal mit der Filmkamera raus - das entspannt (hier am Ostseestrand wo ich gerade bin scheint die Sonne..in Hamburg auch?)

  • Like 1
Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 52 Minuten schrieb Schokoprinz:

Hallo Friedemann, 

funktioniert das Ding auch mit 16 B/s? Dann kann ich damit Normal 8 vertonen. Dann bin ich auch dabei. 

 

Gruß

Uwe

Steht ganz oben, von 16 B/s bis 30 B/s...

N8 wäre auch mein Einsatzzweck, für S8 bin ich gut gerüstet :19_kissing:

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 9 Stunden schrieb F. Wachsmuth:

Mittlerweile bin ich auf drei µCs ausgewichen, denn der angestrebte AtMega32U4 ist einfach ziemlich schwachbrüstig – dafür aber vertraut und billig. Der eine µC ist gut damit beschäftigt, Musik von der SD-Karte zu laden und fristgerecht an den Decoder zu schicken. Er steuert ausserdem den DSP und belädt selbigen mit dem nötigen Code aus einem kleinen I2C-EEprom. Auf Zuruf regelt er die Samplerate nach. Für weitere Aufgaben war da keine Luft mehr. 

Mit den drei Controllern sparst du dir auf der anderen Seite viele Timming-Probleme. Auch leistungsstarke Controller können hier und da blockieren, obwohl Rechenleistung genug zur Verfügung steht.

Ich hatte gedacht, der DSP würde die Dateien direkt abspielen. Ich finde die Leitung durch den 32u4 ganz interessant.

Link zu diesem Kommentar
Auf anderen Seiten teilen

Erstelle ein Benutzerkonto oder melde Dich an, um zu kommentieren

Du musst ein Benutzerkonto haben, um einen Kommentar verfassen zu können

Benutzerkonto erstellen

Neues Benutzerkonto für unsere Community erstellen. Es ist einfach!

Neues Benutzerkonto erstellen

Anmelden

Du hast bereits ein Benutzerkonto? Melde Dich hier an.

Jetzt anmelden
×
×
  • Neu erstellen...

Filmvorführer.de mit Werbung, externen Inhalten und Cookies nutzen

  I accept

Filmvorfuehrer.de, die Forenmitglieder und Partner nutzen eingebettete Skripte und Cookies, um die Seite optimal zu gestalten und fortlaufend zu verbessern, sowie zur Ausspielung von externen Inhalten (z.B. youtube, Vimeo, Twitter,..) und Anzeigen.

Die Verarbeitungszwecke im Einzelnen sind:

  • Informationen auf einem Gerät speichern und/oder abrufen
  • Datenübermittlung an Partner, auch n Länder ausserhalb der EU (Drittstaatentransfer)
  • Personalisierte Anzeigen und Inhalte, Anzeigen- und Inhaltsmessungen, Erkenntnisse über Zielgruppen und Produktentwicklungen
Durch das Klicken des „Zustimmen“-Buttons stimmen Sie der Verarbeitung der auf Ihrem Gerät bzw. Ihrer Endeinrichtung gespeicherten Daten wie z.B. persönlichen Identifikatoren oder IP-Adressen für diese Verarbeitungszwecke gem. § 25 Abs. 1 TTDSG sowie Art. 6 Abs. 1 lit. a DSGVO zu. Darüber hinaus willigen Sie gem. Art. 49 Abs. 1 DSGVO ein, dass auch Anbieter in den USA Ihre Daten verarbeiten. In diesem Fall ist es möglich, dass die übermittelten Daten durch lokale Behörden verarbeitet werden. Weiterführende Details finden Sie in unserer  Datenschutzerklärung, die am Ende jeder Seite verlinkt sind. Die Zustimmung kann jederzeit durch Löschen des entsprechenden Cookies widerrufen werden.