ZDF: Duplikate entstehen bei Läufen

[pidoubleyou]

siehe Forum

• die doppelten Einträge mit unterschiedlichen Themen liegen vermutlich daran, dass die Filme innerhalb eines Laufes an zwei verschiedenen Stellen mit unterschiedlichen Kontexten gefunden werden. Vermutlich durch die SPECIAL_COLLECTION_IDS und das Tagesprogramm.

• die wechselnden Auflösungen deuten daraufhin, dass die Prüfung auf eine bessere Auflösung nicht immer funktioniert (hat?). die Crawler laufen alle mit der gleichen Version, daran kann es nicht liegen. Evtl. hängt es auch mit dem vorherigen Problem zusammen.

• nach Fix Filmlisten bereinigen

[pidoubleyou]

Ursache für doppelte Themen:

• "Filme" aus langen Lauf über SPECIAL_COLLECTION_IDS
• "Spielfilm-Hightlights" über kurzen Lauf

kurzer Lauf läuft noch mit dem alten Deserialisierungslogik, anscheinend liefert die "alte" API andere Daten als früher?

[MuenchenSued]

Ich habe mir das für eine Sendung genauer angesehen. Eigentlich wollte ich einen Spielfilm verwenden, hier kommt aber zusätzlich noch dazu, dass mal https://www.zdf.de/video/filme und mal https://www.zdf.de/filme als Website verwendet wird.

Daher habe ich jetzt die Sendung https://www.3sat.de/kultur/pop-around-bauhaus/loi-100.html untersucht, bei der die Website gleich bleibt und nur die URL der Sendung relevant ist, hier jeweils die mittlere Auflösung:.

23:08 (Vortag)
https://nrodlzdf-a.akamaihd.net/dach/3sat/25/12/251231_loi_pop_around_bauhaus_bah/1/251231_loi_pop_around_bauhaus_bah_3328k_p15v17.mp4
https://nrodlzdf-a.akamaihd.net/dach/3sat/25/12/251231_loi_pop_around_bauhaus_bah/1/251231_loi_pop_around_bauhaus_bah_3360k_p36v17.mp4

5:07: keine Änderung

6:07, 8:08: 3328k ist entfallen

7:08, 9:08: 3328k wieder da

10:09, .... keine Änderung

Man sieht also, dass die 3328k Auflösung bei den ungeraden Stunden dazu kommt und bei den geraden wieder entfernt wird. Ab dem Zeitpunkt, wo nur noch Delta-Updates vorgenommen werden, bleibt der Zustand stabil. Da es mutmaßlich nur neuere Sendungen betrifft, vermute ich, dass neben einer "falschen" Software für die Suche auch eine alte Liste für die Zusammenführung verwendet wird bzw. die neuen Filme nicht in diese Liste einfließen. Kürzlich wurden ja Änderungen beim ZDF-Crawler und der Zeitpunkt für die globale Liste geändert (#1100).

[MuenchenSued]

Heute habe ich mal nur zu geraden Stunden aktualisiert (6:08, 8:08, 10:08, 12:08) und sehe, dass dieser Crawler rund läuft. Es tauchen keine doppelten Sendungen auf oder verschwinden wieder. Das Problem liegt daher "nur" beim Crawler, der zu ungeraden Stunden (7:xx, 9:xx, etc.) läuft.

[pidoubleyou]

@MuenchenSued danke für deine Analysen. Das Problem scheint zu sein, dass auf diesem Crawler trotz gleichen Softwarestand die Optimierung der Urls nicht funktionieren.

Ich werde versuchen gemeinsam mit @alex1702 die Ursache zu finden.