Zum Inhalt springen

Langsames einlesen der dateien zum ingesten von Netzwerkserver


Michel

Empfohlene Beiträge

Hallo,

wir haben uns mal die Mühe gemacht uns einen eigenen Datenserver zu bauen auf dem wir unsere Sicherungskopien lagern und vom dem die DCP's auf unsere Doremis verteilt werden.

Im großen und ganzen klappt das auch prima (wir haben eine durchschnittlichen Datenübertragungsrate von ca.80Mbits/s) aber das Einlesen vom Doremi auf den Server dauert ewig (ca.20min bei 45 Dateien). Ich verstehe nicht warum das so langsam geht - von Doremi zu Doremi ist das bei über 300 Dateien eine sache von unter 15s, ebenso beim Zugriff auf unseren Smartjog. kann es vielleicht sein das evt. Doremi und SJ eine spezielle Datei anlegen die dieses Einlesen beschleunigen? - Andernseits muss ich sagen wenn ich eine 2TB HDD direkt anschließe geht das einlesen eigentlich auch Ruck-Zuck.

Hier noch ein Paar Eckdaten des Systems 5x1TB HDD, 2GB Ram, Gigabit Ethernet, Zwei Partitonen: System mit Raid 1, Daten mit Raid 5, OS: Linux Debian.

 

Viele Grüße

 

Micha

Link zu diesem Kommentar
Auf anderen Seiten teilen

Versteht jemand, was mit 'Einlesen vom Doremi auf den Server dauert ewig (ca.20min bei 45 Dateien' gemeint ist? An welcher Stelle soll da die Anzahl der Dateien ins Spiel kommen, bzw. welche Art von Transfer da gemeint ist?

 

TMS/Doremi-Doremi Ingests sind immer schneller, weil dabei kein Verify erfolgt.

 

- Carsten

Link zu diesem Kommentar
Auf anderen Seiten teilen

Wenn man beim Doremi die Ingest-Quelle öffnet kann man neben dem Local Storage ja auch andere Quellen (z.B. andere Server) auswählen. Hat man hier etwas ausgewählt, listet der Doremi zunächst alle Files (Trailer, Filme etc.) auf. Und das Einlesen dieser "Directory" geht in der Regel recht schnell nur im Fall von @Michels Datenserver sehr langsam - wenn ich ihn jetzt richtig verstanden habe. Das Problem kann ich nachvollziehen, denn bei uns ist es ähnlich. Wir haben einen Zentralserver von Ymagis, auf dem sämtliche DCPs (Trailer, Film Ads) liegen. Wähle ich als Contentquelle diese Library aus, dauert es lang, bis mir der Doremi die Files auflistet. Der eigentliche Ingest geht dann wieder recht flott, ähnlich dem Ingest von einer CRU-Platte.

Link zu diesem Kommentar
Auf anderen Seiten teilen

Hängt wohl mit der Validierung zusammen, Doremi prüft, ob das DCP komplett ist.

Korrupte Files werden erst garnicht zum Ingest angeboten. Bei anderen Doremis als Quelle sind die DCPs ja schon geprüft (und die Prüfung geloggt), von daher ist nicht die Lib langsam sondern der Doremi schnell...

Link zu diesem Kommentar
Auf anderen Seiten teilen

Hallo,

wir haben uns mal die Mühe gemacht uns einen eigenen Datenserver zu bauen auf dem wir unsere Sicherungskopien lagern und vom dem die DCP's auf unsere Doremis verteilt werden.

Im großen und ganzen klappt das auch prima (wir haben eine durchschnittlichen Datenübertragungsrate von ca.80Mbits/s) aber das Einlesen vom Doremi auf den Server dauert ewig (ca.20min bei 45 Dateien).

 

Dass das Auflisten vom NAS länger dauert, kann ich bestätigen, aber so lange dauerts bei uns dann auch wieder nicht.

Aber brauchst Du wirklich alle Dateien immer im sofortigen Zugriff? Schieb doch alles, was nicht mehr akut benötigt wird, in einen anderen Ordner auf dem NAS (per FTP, über die Benutzeroberrfläche des NAS oder von einem PC im Netz).

Dann wird's auch übersichtlicher.

 

Schöne Grüße, Matthias

Link zu diesem Kommentar
Auf anderen Seiten teilen

Dass das Auflisten vom NAS länger dauert, kann ich bestätigen, aber so lange dauerts bei uns dann auch wieder nicht.

Aber brauchst Du wirklich alle Dateien immer im sofortigen Zugriff? Schieb doch alles, was nicht mehr akut benötigt wird, in einen anderen Ordner auf dem NAS (per FTP, über die Benutzeroberrfläche des NAS oder von einem PC im Netz).

Dann wird's auch übersichtlicher.

 

Schöne Grüße, Matthias

 

Hallo Mathias,

 

das haben wir schon von vornherein gemacht; wir haben seperate Zugriffsordner für die Gesicherten Filme, aktuelle Filmtrailer, sowie für die (über)regionalen Werbung.

Die andere Lösung wäre die DCP's direkt vom Nas/Datenserver auf den Doremi zu kopieren. Hier ist allerdings das Problem, daß, wenn man nicht alle Versionen benötigt einen Haufen Versionen auf dem Doremi liegen hat die man nicht benötigt (zb. man man einen Film nur in 2D zeigt und in 5.1. Schließlich ist der Speicherplatz auf den Doremis begrenzt.

 

Gruß Micha

Link zu diesem Kommentar
Auf anderen Seiten teilen

das haben wir schon von vornherein gemacht; wir haben seperate Zugriffsordner für die Gesicherten Filme, aktuelle Filmtrailer, sowie für die (über)regionalen Werbung.

Die andere Lösung wäre die DCP's direkt vom Nas/Datenserver auf den Doremi zu kopieren. Hier ist allerdings das Problem, daß, wenn man nicht alle Versionen benötigt einen Haufen Versionen auf dem Doremi liegen hat die man nicht benötigt (zb. man man einen Film nur in 2D zeigt und in 5.1. Schließlich ist der Speicherplatz auf den Doremis begrenzt.

 

Jetzt blick ich icht mehr ganz durch: Du ingestest doch vom NAS, oder?

Dann kannst Du doch auch einfach nur die Versionen ingesten, die Du benötigst.

Oder willst Du die Filme per FTP auf den Doremi schieben? Das dürfte nicht funktionieren.

 

Ich habs gerade mal bei uns ausprobiert (mit einem großen Synology NAS): Das Einlesen des Features-Ordners mit ca. 20 DCPs (aus denen sich dann 50 oder 60 CPLs ergeben) dauert zwar deutlich länger als von Doremi zu Doremi, aber viel weniger als 20 Minuten -- maximal 2 oder 3 Minuten. Und 20 DCPs brauche ich ohnehin nicht im Zugriff, wenn ich das auf die Filme beschränke, die aktuell laufen, und die anderen ins Archiv verschiebe, gehts noch deutlich schneller.

Du benötigst doch vermutlich auch nicht 40 Filme immer im Zugriff, oder?

 

Schöne Grüße,

Matthias

Link zu diesem Kommentar
Auf anderen Seiten teilen

Schaltet mal die Firewalls von euren NAS'en aus. Die werden vermutlich die Anzahl der gleichzeitigen Verbindungen auf den FTP Server beschränken, bzw. es sollte wohl eine DDoS Überprüfung stattfinden.

 

Bei uns liegen auf dem Server samt Werbung, Filme, Trailer usw, über 400 Dateien zum Ingesten und der Ingestmanager braucht nur ca. 30s um alles aufzulisten.

 

Alternativ kannst du auch von der NAS aus, den Film direkt in das Ingest Verzeichnis des Doremis schieben. Funktioniert bei uns ebenfalls tadellos und geht auch sehr flott.

 

Gruß

Chris

Link zu diesem Kommentar
Auf anderen Seiten teilen

  • 4 Monate später...

Wir haben einen Zentralserver von Ymagis, auf dem sämtliche DCPs (Trailer, Film Ads) liegen. Wähle ich als Contentquelle diese Library aus, dauert es lang, bis mir der Doremi die Files auflistet. Der eigentliche Ingest geht dann wieder recht flott, ähnlich dem Ingest von einer CRU-Platte.

 

Hallo,

 

das Scannen aller Inhalte der Ymagis Library kann tatsächlich recht lang werden, wenn man dort viele DCP und KDM aufbewahrt.

Unser Support kann gern die verschiedenen Unterordner als separate Ingest-Quellen auf den Doremis anlegen, so dass Sie gezielt nur FTR, ADV, KDM, usw. scannen und so Zeit sparen können.

 

Viele Grüße,

Sascha

Bearbeitet von Sascha Peter (Änderungen anzeigen)
Link zu diesem Kommentar
Auf anderen Seiten teilen

Erstelle ein Benutzerkonto oder melde Dich an, um zu kommentieren

Du musst ein Benutzerkonto haben, um einen Kommentar verfassen zu können

Benutzerkonto erstellen

Neues Benutzerkonto für unsere Community erstellen. Es ist einfach!

Neues Benutzerkonto erstellen

Anmelden

Du hast bereits ein Benutzerkonto? Melde Dich hier an.

Jetzt anmelden
×
×
  • Neu erstellen...

Filmvorführer.de mit Werbung, externen Inhalten und Cookies nutzen

  I accept

Filmvorfuehrer.de, die Forenmitglieder und Partner nutzen eingebettete Skripte und Cookies, um die Seite optimal zu gestalten und fortlaufend zu verbessern, sowie zur Ausspielung von externen Inhalten (z.B. youtube, Vimeo, Twitter,..) und Anzeigen.

Die Verarbeitungszwecke im Einzelnen sind:

  • Informationen auf einem Gerät speichern und/oder abrufen
  • Datenübermittlung an Partner, auch n Länder ausserhalb der EU (Drittstaatentransfer)
  • Personalisierte Anzeigen und Inhalte, Anzeigen- und Inhaltsmessungen, Erkenntnisse über Zielgruppen und Produktentwicklungen
Durch das Klicken des „Zustimmen“-Buttons stimmen Sie der Verarbeitung der auf Ihrem Gerät bzw. Ihrer Endeinrichtung gespeicherten Daten wie z.B. persönlichen Identifikatoren oder IP-Adressen für diese Verarbeitungszwecke gem. § 25 Abs. 1 TTDSG sowie Art. 6 Abs. 1 lit. a DSGVO zu. Darüber hinaus willigen Sie gem. Art. 49 Abs. 1 DSGVO ein, dass auch Anbieter in den USA Ihre Daten verarbeiten. In diesem Fall ist es möglich, dass die übermittelten Daten durch lokale Behörden verarbeitet werden. Weiterführende Details finden Sie in unserer  Datenschutzerklärung, die am Ende jeder Seite verlinkt sind. Die Zustimmung kann jederzeit durch Löschen des entsprechenden Cookies widerrufen werden.