DVBViewer Media Server aktualisiert Media Sammlung nicht

[snoopi]

Hallo

der DVBViewer Media Server über upnp aktualisiert das 'Archiv' nicht. Dateien u. Ordner, die gelöscht wurden, werden weiterhin unter 'Verzeichnisse' angezeigt.
In den DVBViewer Recording Service (1.32.0.0 (beta)) Einstellungen ist aber unter 'Media Sammlungen' 'Sammlungen automatisch aktualisieren' aktiviert u. als Aktualisierungsintervall 5 Minuten eingestellt.

Kennt jemand diesen Fehler oder mach ich was falsch?

Vielen Dank

[snoopi]

Hier noch die support.zip

support.zip

[Tjod]

Klappt es das nicht mehr vorhandene Dateien entfernt werden wenn du im Webinterface > Aufgaben > "Alle Datenbanken aktualisieren" aufrufst?

(Autoupdate dazu ganz deaktivieren)

 

Wenn nicht probier es mal mit der aktuellen RS version.

 

Wenn das klappt stell testweise die Automatische Aktualisierung mal auf alle 30 Minuten und nicht alle 5 Minuten.

 

Es kann gut sein das die Aktualisierung mehr als 5 Min läuft und durch den nächsten Start vor dem beenden gestört wird.

Edited June 2, 2016 by Tjod

[Goggo16]

Es kann gut sein das die Aktualisierung mehr als 5 Min läuft

 

Hi,

 

hab ein aehnliches Problem mit RS 1.33.

 

Woran erkennt man denn, dass die Aktualisierung (noch) laeuft. Ist es ein bestimmter Prozess, mit vielleicht hoher CPU last?

 

LG

 

Goggo

[Tjod]

Im svcdebug.log wird das eingetragen und bei snoopi scheint das mehr oder weniger ununterbrochen aktiv zu sein.

 

Da sollte zum testen eindeutig eine Lücke von mehreren Minuten (10 oder mehr) zwischen allen Einträgen sein die mit dem Aktualisieren der Medien Bibliothek was zu tun haben (grob alles mit TDataReaderMedia).

 

Wenn es dann trotzdem noch Probleme gibt müssen wird in andere Richtungen gucken.

[Tjod]

OK meine Vermutung scheint wohl nicht zu zutreffen.

 

Wo werden die Dateien nicht aktualisiert? Hier klappt es im RS 1.33 Webinterface ohne Probleme.

[Goggo16]

Hi,

 

hab mir vermutlich über die Zeit die ganze Installation verbogen (ist nur die Testinstallation auf einem Client-PC, aber mit eigenem RS und Sat-Karte)..

 

Hier ein Auszug aus dem debug.log, dass anscheinend OK aussieht - bis vielleicht das "Destroy" am Ende. Keine Ahnung, was das bedeuten koennte. Hatte den "Automatisch Aktualisieren" de-aktiviert und den Refresh im WebIf per "Alle Datenbanken aktualisieren" angestossen.

 

 

03.06.16 11:27:54.664 TDataReaderMedia Execute Start

03.06.16 11:27:54.683 TDataReaderMedia PhotoClean 47

03.06.16 11:27:58.185 TDataReaderMedia AudioClean 3541

03.06.16 11:27:58.200 TDataReaderMedia VideoClean 3557

03.06.16 11:28:08.760 TDataReaderMedia Execute read files ready 14118

03.06.16 11:28:08.823 TDataReaderMedia Execute 14181

03.06.16 11:28:08.823 TDataReaderMedia Destroy

 

Im WebIf war unter Medien eine blanke Seite zu sehen. Das WebIf mit Timeline etc. funktioniert aber.

 

Gestern waren an selber Stelle "Medien" zeitweise zumindest mal einige Ordner zu sehen. "TV" mit den Sendern in Unterordnern nach Senderkategorie geordnet, die per WebIF im Chrome-Browser sogar gestreamt werden konnten. Andere Ordner auf der oberen Ebene wie "Aufnahmen", "Audio" oder "Video" waren leer.

 

 

Hab dann im Setup noch mit den Pfaden der Medien-Sammlungen experimentiert. Die Aenderungen kommen allerdings nicht im services.xml an. Ist das so richtig? Timestamp der Datei veraendert sich aber. Wo werden denn diese Setup-Infos gespeichert?

 

Hab dann auch noch mal die Windows Zugriffsrechte geprueft. Sollte OK sein, bzw, keine Aenderung.

 

Aus anderen Gruenden sind bei mir die Port wie der 8089 nicht nutzbar. Hab dann schon vor Jahren bei allen DVBViewer Ports sozusagen einen 1000er aufaddiert, und z.B. aus 8089 ein 9089 gemacht (kann man sich am Client besser merken). Koennte das ein Problem sein? Bei der Installation des DVBV werden ja auf Anfrage gewisse Ports in der Windows Firewall freigeschaltet. Vielleicht aber eben der 8089 und nicht der 9089. Muss ich noch mal nachgucken. Wie gesagt, das WebIF scheint sonst soweit OK zu funktionieren.

 

Na mal sehen, vielleich mal den neuen RS auf dem "Production Server" installieren und sehen, inwieweit sich der anders verhaelt.

 

LG Goggo

[Griga]

bis vielleicht das "Destroy" am Ende

 

Das ist ok. Da wird nur das DataReadermedia-Objekt freigegeben.

 

Hab dann im Setup noch mit den Pfaden der Medien-Sammlungen experimentiert.(...)Wo werden denn diese Setup-Infos gespeichert?

 

Die Pfade im Konfigurationsordner\Database\svcSettings.db3.

 

Der Inhalt der Mediaseite im Web Interface hängt im RS 1.32 noch hochgradig vom UPnP Server und UPnP Client im RS ab. Er tritt dort praktisch als sein eigener Client in Erscheinung, und da läuft nicht alles rund. In der 1.33 wurde die Medienseite grundlegend renoviert und einige problematische Abhängigkeiten beseitigt. Zumindest der Zugriff auf lokale Medien (also vom PC, wo der RS läuft) sollte wesentlich besser funktionieren. Ich würde deshalb die Version 1.33 probieren.

[Goggo16]

Ich würde deshalb die Version 1.33 probieren.

 

Sorry, hatte ich vergessen zu sagen. Der 1.33 ist schon installiert.

 

Den hatte ich gerade wegen der neuen Funktionen im Medienserver schon installiert (über den 1.32 drueber gebuegelt).

[snoopi]

So, erst heut morgen zum Forschen gekommen.

 

Hab jetzt Recording Service 1.33 installiert. Jetzt wird die aktuelle Ordnerstruktur des Mediaordners unter 'Ordner alphabetisch' (unter 1.32. war das noch 'Verzeichnisse', aber wem sag ich das?) richtig angezeigt. Bereits gelöschte Dateien u. Ordner sind nicht mehr sichtbar.

(mit RS 1.32 hat 'Alle Datenbanken aktualisieren' nichts bewirkt)

 

Ob die automatische Aktualisierung bei 1.33 funktioniert, muss ich erst noch abwarten.

 

 

Allerdings bleibt im Tray-Kontrollprogramm das Rec.Service-Icon blau im Status 'Der Service' wartet' (auf was?) (seit heut morgen halb sieben)

 

Und der DVBViewer Media Server wurde in den upnp-Clients erst sichtbar, nachdem ich in den 'Bubble Upnp Server'-Einstellungen für den 'DVBViewer Media Server' 'Create a proxy Media Server on this LAN' aktivierte. Was bei meinen anderen upnp-Servern nicht nötig ist.

 

Also, irgendwas fehlt hier wohl noch.

 

Firewall lässt in eingehender Richtung zu: DVBViewer RS, RS port, RS web interface. Sollte das auch in ausgehender Richtung zugelassen werden? Mein manchmal gesunder Menschenverstand würde ja sagen, wobei ich bei den vorherigen RS-versionen da auch nichts manuell freigeben musste (mit dem richtigen Haken bei der Installation). Oder hat das nichts mit dem Problem zu tun?

 

Noch eine Frage:

.vob-Dateien in Video_TS Ordnern (bzw. allgemein) werden nicht übernommen. Prinzipiell nicht oder fehlt bei mir eine richtige Einstellung?

 

 

Vielen Dank

support.zip

[snoopi]

Noch zu automatischer Aktualisierung der Media Datenbank bei RS 1.33:

als Intervall jetzt 30 Min. eingestellt.

Übernimmt zwar gelöschte Dateien (zeigt diese also nicht mehr an), wenn man diese aber mit dem Ordner, in dem sie sich befand, löscht, bleibt der Ordner. Erkennt also zwar, dass der Ordner jetzt leer ist, löscht den Ordner aber nicht mit.

'Alle Datenbanken aktualisieren' ändert daran auch nichts.

[Tjod]

Allerdings bleibt im Tray-Kontrollprogramm das Rec.Service-Icon blau im Status 'Der Service' wartet' (auf was?) (seit heut morgen halb sieben)

Das Wird rot wenn eine Aufnahme läuft oder grau wenn der RS nich läuft.

 

Firewall lässt in eingehender Richtung zu: DVBViewer RS, RS port, RS web interface. Sollte das auch in ausgehender Richtung zugelassen werden?

Wenn du die Windows Firewall nutzt und das RS Setup die regeln setzen lässt sollte es passen.

 

Sonst UPnP braucht glaube ich ein und ausgehende Verbindungen. Außer dem Webinterface Port darf aber nichts aus dem Internet zu erreichen sein.

 

.vob-Dateien in Video_TS Ordnern (bzw. allgemein) werden nicht übernommen. Prinzipiell nicht oder fehlt bei mir eine richtige Einstellung?

WAV-Dateien werden jetzt in die Musiksammlung mit aufgenommen (wirksam nach Neuinstallation oder dem Entfernen der Datei uPnPProfilesV2.xml m config.Unterverzeichnis des Konfigurationsordners plus Neustart des Recording Service plus Neuaufbau der Audiosammlung). Weitere Audio-Dateiformate können in der Datei uPnPProfilesV2.xml ergänzt werden.

http://www.DVBViewer.tv/forum/topic/19628-recording-service-beta/page-4#entry447491

[snoopi]

Blaues Tray-icon ist also ok (bei 1.32 wars noch orange, deshalb war mir das nicht klar.

 

 

 

 

Außer dem Webinterface Port darf aber nichts aus dem Internet zu erreichen sein.

 

'DVBViewer RS' eingehend für alle Ports zulassen sollte also nich sein?

 

 

Warum ist der DVBViewer Media Server aber nicht in den upnp-clients sichtbar, sondern erst über den Umweg über Einstellungen in bubbleupnp als proxy (firewallmäßig sollten die Freigaben für upnp eigentlich passen, da andere upnp-server ja sichtbar sind)?

 

 

Und dann noch die Mediasammlung-Aktualisierung. Woran kanns liegen, dass gelöschte Ordner nicht mitübernommen werden (sondern nur die gelöschten Dateien darin)?

[Tjod]

Du musst den unterschied zwischen erreichbar aus dem LAN und aus dem Internet sehen.

 

UPnP geht nur im LAN. Und dafür muss die Kommunikation auch ein und ausgehend über die Firewall möglich sein.

 

Das Setup erlaubt alle ein und ausgehenden Verbindungen zum und vom RS in der Firewall, aber nur für das Lokale Netzwerk und nicht für Verbindungen in andere Netze.

[snoopi]

Ja, LAN und Internet ist mir schon bewusst (mit bubbleupnp + dyndns kann man die upnp-server zu Hause sogar von außerhalb nutzen; das fkt. sogar auch aktuell mit dem DVBViewer Media Server).

 

Aber im LAN (abgesehen von der proxy-Lösung mit bubbleupnp) ist der DVBViewer Media Server nicht zu sehen.

 

Soweit ich das in meiner Windows-Firewall sehe, hat das RS Setup den RS nur für eingehende Verbindungen eingetragen.

[Tjod]

Standardmäßig lässt die Windows Firewall ausgehende Verbindungen für die es keine regle gibt zu. Darum erstellt das Setup dafür keine extra Regel,

 

Wenn das bei dir anders konfiguriert ist brauchst du dafür auch eine Regel damit z.B. die Multicast Ankündigungen verschickt werden können.

[snoopi]

'DVBViewer Recording Service' war in der Firewall für Profil 'öffentlich' nicht aktiviert. Jetzt ist der Media Server sichtbar.

 

Hoffe, dass das nicht zu unsicher ist.

 

 

Kann man mit dem Ausgangsproblem dieses Threads, also der Mediasammlung-Aktualisierung noch was machen? Wird im Laufe der Zeit ziemlich unübersichtlich, wenn lauter Ordnerleichen angezeigt werden.

[Tjod]

Wenn dein LAN dem du Traust als öffentliches, nicht vertrauenswürdiges Netz kategorisiert ist kann so was passieren.

 

Unter Windows gibt es ja extra die Kategorien. So das wenn du z.B. ein Notebook hast im LAN zu hause oder auch auf der Arbeit Clients den RS erreichen können.

 

Aber wenn du im offenen WLAN in einem Café bist, sollte nicht jeder auf den Server zugreifen dürfen.

Darum werden die regeln absichtlich nicht für als öffentlich gekennzeichnete Netze gesetzt.

 

Bei dir ist das wahrscheinlich kein Problem. Da ist einfach nur ein Netz dem du Vertraust falsch gekennzeichnet.

http://unsicherheitsblog.de/windows-10-netzwerk-von-offentlich-auf-privat-andern-4833

 

Wenn du den PC nicht mit weniger Vertrauenswürdigen Netzen verbindest ist es aber kein Problem die Regel anzupassen.

[snoopi]

Meinem LAN trau ich. Und in ein öffentliches wlan werd ich meinen PC nicht tragen, da das ja blöd aussehen würd

War nur nicht sicher, ob sich 'öffentlich' nicht auch auf das Internet bezieht, an das der PC angeschlossen ist. Muss mein windows-Sicherheitswissen mal wieder auffrischen.

 

 

Jetzt muss ich aber nochmal wegen der Mediasammlungs-Aktualisierung quängeln. Manuell wird es mit 'Videosammlung neu aufbauen' aktualisiert ('Alle Datbenbanken aktualisieren' u. 'Videosammlung aufräumen' hat keine Wirkung)

 

Wär aber schon gut, wenn die automatische Aktualisierung funktionieren würde. Wie gesagt, Intervall ist auf 30 Min. eingestellt. Bringt aber nichts.

 

Ist das nur bei mir so? Oder ein allgemeiner Fehler. Dann bräucht ich bei mir nicht mehr zu suchen.

 

 

Sorry, dass ich da so nerv

[Tjod]

Also was klappt jetzt genau und was nicht.

 

Gibt es einen unterschied zwischen automatischem und manuellen aktualisieren?

Wenn ich das richtig verstanden habe nein. (war auch zu erwarten)

 

Und das einzige was nicht funktioniert ist das Löschen von Ordnern die nicht mehr existieren?

Also Wenn ein Ordner der mehrere Dateien enthält gelöscht wird verschwindet der Ordner nicht aber die Dateien soweit richtig?

 

Gibt es noch weitere Probleme in dem Bereich?

[snoopi]

Bsp: im in Media-Sammlungen angegebenen Verzeichnis wird in der obersten Ebene eine Datei und ein Ordner inkl. der darin enthaltenen Datei gelöscht

 

Beim automatischen aktualisieren: erkennt das Löschen der obersten Datei und der Datei im Ordner, sind dann in der Mediasammlung entfernt; aber der gelöschte Ordner bleibt als leerer Ordner in der Sammlung

 

Beim manuellen aktualisieren (fkt. nur mit 'Videosammlung neu aufbauen') wird dann auch dieser leere Ordner aus der Mediasammlung entfernt.

 

 

An sich nicht so schlimm. Nur nach einiger Zeit besteht die Hälfte der Sammlung aus einer leeren Ordnerstruktur und wird recht unübersichtlich (auch Ordner, die man in andere verschiebt, bleiben erhalten; die sind dann doppelt in der Sammlung).

Aufräumen kann man dann natürlich auch manuell immer wieder mal anstoßen.

Meinte nur, wenn's schnell behoben wär, ansonst großen Aufwand wohl nicht wert.

[Tjod]

Also der manuell Aufruf von "Videosammlung neu aufbauen" macht alles korrekt?

 

Aber "Alle Datenbanken aktualisieren" und "Videosammlung aufräumen" machen das nicht, genausowenig so wie der automatische Ablauf?

[snoopi]

Also gerade noch mal vergewissert was die Ordnerleichen betrifft.

 

Bei automatischer Aktualisierung und bei 'Alle Datenbanken aktualisieren' werden sie nicht aus der Sammlung entfernt.

 

 

Bei 'Videosammlung neu aufbauen' werden sie entfernt.

 

Und gerade wurden sie auch bei 'Videosammlung aufräumen' entfernt.

 

(hab jetzt bei jedem Test nach der Verzeichnisänderung paar Minuten gewartet und dann den RS neugestartet)

[Griga]

Vielleicht soll das so sein? Ehrlich gesagt ist mir nicht klar, was eigentlich der Unterschied zwischen Sammlung aktualisieren, aufräumen und neu aufbauen ist bzw. was man von welcher Aktion zu erwarten hat. In den DVBViewer-Optionen gibt es noch "Datenbank säubern" und im Kontextmenü der Aufnahme- und Gerätestatistik "Datenbank auffrischen". Sind das alles verschiedene Funktionen? Oder hat da jemand ein Synonym-Wörterbuch zu Rate gezogen, um einen schlechten Stil durch Wortwiederholungen zu vermeiden?

 

BIslang habe ich nur "neu aufbauen" verwendet, weil das am ehesten erahnen lässt, welche Funktion sich dahinter verbirgt.

 

Ich könnte versuchen, es aus Lars' Code herauszuanalysieren, aber vielleicht gibt es dazu schon Informationen?

[Tjod]

Also wenn ich richtig liege, Löscht eins Daten wirklich die Einträge aus der Datenbank und eins markiert die Dateien nur in der Datenbank nur als nicht vorhanden.

(Konfigurationsverzeichnis\database\svc*.db3 > Tabelle objects, spalte Enabled. Die Datenbanken kann man z.B. mit SqliteBrowser betrachten.)

 

Damit nicht alle Metadaten immer neu eingelesen werden müssen wenn die Dateien z.B. auf einem NAS liegen und manchmal nicht zu erreichen sind.

 

Da wo es mehr als zwei Begriffe gibt haben wahrscheinlich mehrere die gleiche Bedeutung.

 

Ganz sicher bin ich mir nicht ob die Beschreibungen im Wiki zu 100% stimmen.

http://de.DVBViewer.tv/wiki/Optionen_Aufnahme_Optionen#Aufnahmendatenbank

 

Nur als Hinweis falls es hier nicht so schnell eine Lösung gibt. Man kann die aufgaben die man im Webinterface manuell aufruft auch über Interner Task Timer, die man m Webinterface erstellen kan automatisch ausführen lassen.

[snoopi]

Bringt das für die Anwendung was, die Dateien in der Datenbank nur als nicht vorhanden zu markieren statt sie gleich zu löschen? (außer für eine 'Rückgängig machen'-Aktion. Aber dafür wär der Ordnerinhalt mind. genauso wichtig.

 

Egal. Ich verwend jetzt einfach vorerst nur noch '.... neu aufbauen' und leg die entsprechenden Internen Task Timer an. Was für mich und das Ausgangs'problem' ja auch vollkommen ausreichend ist.

 

Vielen Dank für die Zeit

 

[Tjod]

Das als nicht vorhanden markieren hat nur bei Sachen die wieder auftauchen voreile.

Und das wird recht sicher auch bei Dateien angewandt. Bei Ordnern funktioniert es aber scheinbar nicht richtig.

 

Das muss wenn mal jemand genau untersuchen. Also Änderungen machen und dan in der Datenbank und in der GUI gucken was nach welcher Aktion genau passiert. Also wo das Problem auftritt.

 

Das kann sowohl beim schreiben in die Datenbank sein. Also Falsche werte in der Datentank. Als auch beim auslesen. Das heißt als nicht vorhanden markierte Ordner werden angezeigt.

 

Und richtig interessant wird es dann bei inkonsistenten Daten (wie auch immer es dazu kommt). Also wenn ein Orsner als nicht vorhanden markiert ist. Es aber Dateien gibt die in dem Ordner sind die vorhanden sind.

[Goggo16]

Hi,

 

hab jetzt auch noch mal ne Weile experimentiert, unter anderem auch mit dem SQLite-Browser. So richtig blicke ich noch nicht durch. Kann gut sein, dass es an meinem Setup oder auch mir selbst liegt.

Hab mir erst mal die einzelnen Datenbasen angeschaut. Der Inhalt machte teilweise Sinn (bei Video), teilweise erschienen auch unvollstaendig oder manche Tables sogar leer (Photo und Audio). Beim "Neu aufbauen ..." hab ich dann mal die Timestamps beobachtet um zu sehen, wann so was fertig ist. Dauerte jeweils so einige Minuten.

 

Interessant war, dass da so Dateien mit der Erweiterung ".db3-wal" und ".db3-shm" im Ordner liegen. Das sind wohl irgendwelche Temp-Dateien fuer "Write-Ahead-Log" bzw. "SHared-Memory". Deren Time-Stamps sind auch schon mal ein paar Minuten neuer als der der eigentlichen Datenbasis (.db3). Ich hab nicht genug Ahnung zu sagen, ob das eine Rolle spielt.

 

 

Hab dann den RS 1.33 jetzt auch auf meinem Hauptsystem über den 1.32 wie gewohnt drueber installiert. Nach "Neu aufbauen" fuer Audio, Video und Bilder sah ich dann sogar alles (...ausser FLAC-Audio). Hab mich schon gefreut, dass es jetzt klappt.

 

Um auch die FLAC-Dateien auch sichtbar zu machen, hab ich dann in "uPnPProfilesV2.xml" einen Eintrag fuer FLAC gemacht, indem ich den von mp3 einfach kopiert und angepasst habe. RS neu gestartet und Audio-neu-aufbauen durchgefuehrt und es wurden nun FLAC-Dateien gelistet. ABER: Es fehlte circa die Haelfte aller Dateien bzw. Ordner. Kein Plan, warum das so passiert ist.

 

Jetzt weiss ich nicht so recht, wo ich weiter suchen soll. Ich mach jetzt erst mal ne Pause und gehe mich mal lueften.

 

LG Goggo

[Goggo16]

Hi,

 

wollte hier noch mal ne Wasserstandsmeldung abgeben.

 

Fürs erste funktioniert jetzt die Suche des RS nach Medien. In meinem Fall war das Problem, dass eine mp3-Datei ein ":" im Namen hatte. Ist mal durch Datei-Umbenennung aus einem ID3Tag entstanden.

 

Auf die Spur bin ich der Sache mit Procmon gekommen. Ist der RS beim Scannen zu dieser Datei gekommen, ist er irgendwie abegeschmiert. Daher auch das oben schon beschriebene Problem mit den Timestamps der temporaeren Dateien.

 

Der einfache Download von m3u Playlisten beim Anklicken eines Ordners im WebIf klappt jetzt auch (da war ich scharf drauf).

 

Was ich jetzt noch finden muss ist, wie und wann der Suchalgorithmus des RS die Verzeichnisse absucht bzw. auslaesst. Hab zwar im RS angegeben, wo er nur nach Audio, bzw. Video bzw. Fotos suchen soll, doch momentan scannt er alle drei Verzeichnisbäume auch nur bei "Video-Sammlung neu aufbauen".

 

Danker fuer die Hinweise zum Suchen (SQlite, Databases etc.)

 

LG Goggo

Edited June 8, 2016 by Goggo16