ARTE: Untertitel im Textformat

[Voidi]

Arte liefert mittlerweile doch Untertitel im Textform (WebVTT) aus, ich kann natürlich nicht sagen ob das für alle verfügbaren Filme gilt.

Ist das bekannt und gibt es Pläne die Downloadmöglichkeit einzubauen?

[pidoubleyou]

das ist mit bisher nicht bekannt gewesen. Bei meinen Stichproben konnte ich keine finden.

Hast du das ein oder andere Beispiel?

[Voidi]

Ich bin darauf gestoßen als ich mir angeschaut habe was für Ressourcen die Mediathek site lädt

• Mediathek Seite: https://www.arte.tv/de/videos/094412-000-A/schwindelig-am-verdon/

• Übersicht von der API(braucht weitere Authorization beim Anfrageheader): https://api.arte.tv/api/player/v2/config/de/094412-000-A

  • In der JSON Response: data->attributes->streams: enhält die verschieden Sprachversionen, es muss die mit (Hörgeschädigte) ausgewählt werden. Manchmal gibt es auch deutsche Untertitel, oft aber auch nur französische

  • die unter url verlinkte playlist: https://arte-cmafhls.akamaized.net/am/cmaf/094000/094400/094412-000-A/220126063004/094412-000-A_VA-STMA_XQ.m3u8

  • verlinkt eine weitere playlist welche die untertitel verlinkt: https://arte-cmafhls.akamaized.net/am/cmaf/094000/094400/094412-000-A/220126063004/medias/094412-000-A_st_VA-MAL.vtt

[styroll]

@Voidi sagte: https://www.arte.tv/de/videos/094412-000-A/schwindelig-am-verdon/

Nur ein Hinweis: Zumindest gibt's diesen Film auch unter der "ARD" in der MV-Filmliste und dort besteht die Möglichkeit des UT-Downloads. Das war auch bei 2 weiteren zufällig ausgewählten ARTE-Sendungen der Fall. Immerhin ein Vorteil, wenn man schon die Sendungen "doppelt" listet.

[pidoubleyou]

Werden wir bis auf weiteres nicht einbauen. An die m3u8-Urls kommt man nur über die v2 der API, die beinhaltet aber nicht die mp4-Urls, die MV benötigt.
Wir müssten also sowohl v1 als auch v2 abrufen, was aufgrund des RateLimitings von ARTE und der ohnehin schon langen Laufzeiten des Crawlers aktuell nicht machbar ist.

Wenn die neue Crawlersteuerung aus develop mal produktiv ist, können wir darüber nachdenken.

[andreygursky]

Seit dem Abend des 19. Aprils funktioniert arte API v1 nicht mehr:

https://api.arte.tv/api/player/v1/config/de/088463-000-A
...
HTTP request sent, awaiting response... 500 Internal Server Error
2022-04-21 12:41:10 ERROR 500: Internal Server Error.

https://api.arte.tv/api/player/v2/config/de/088463-000-A
...
HTTP request sent, awaiting response... 200 OK
Length: 6680 (6.5K) [application/vnd.api+json]
...
2022-04-21 12:42:58 (52.8 MB/s) - ‘088463-000-A’ saved [6680/6680]

[andreygursky]

An die m3u8-Urls kommt man nur über die v2 der API, die beinhaltet aber nicht die mp4-Urls, die MV benötigt.

Das geht glücklicherweise doch:

1. https://api.arte.tv/api/player/v2/config/de/100225-000-A
2. Alle m3u8 Dateien haben eine gemeinsame Basis-URL:
   https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/
3. An die m3u8-Basis-URL medias/ anhängen, dann ID 100225-000-A und dann noch das passende Suffix (jeweils wenn verfügbar):
   • _v720.mp4 (Videospur HD)
   • _v432.mp4 (Videospur)
   • _v360.mp4 (Videospur)
   • _v216.mp4 (Videospur)
   • _aud_VOA.mp4 (Audiospur DE, Original)
   • _aud_VA.mp4 (Audiospur DE, Übersetzung)
   • _aud_VAAUD.mp4 (Audiodeskription DE)
   • _st_VA-MAL.vtt (Untertitel DE)
   • _aud_VOF.mp4 (Audiospur FR, Original)
   • _aud_VF.mp4 (Audiospur FR, Übersetzung)
   • _aud_VFAUD.mp4 (Audiodeskription FR)
   • _st_VF-MAL.vtt (Untertitel FR)

Beispielsweise die komplette URL für die HD-Videospur: https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/medias/100225-000-A_v720.mp4.

Ja, die Audiospuren sind nicht mehr in den Video-Container eingebettet. Aber das hat großen Vorteil für arte: Speicherplatzeinsparung, indem ein einziger Beitrag nicht mehr unnötig bis zu 6-fach abgespeichert werden muss. Indirekt müssten solche Einsparungen bei arte auch Vorteil für Zuschauer sein. Insbesondere, wenn endlich wieder die Bitrate angehoben wäre. Aber auch manchmal ein Vorteil direkt für den Zuschauer: man braucht nicht mehr das komplette Video nochmals herunterladen, wenn man noch die Originalaudiospur in FR haben möchte, geschweige denn die kleinen durchsuchbaren Textuntertiteln (wie bereits @Voidi uns gezeigt hat).

[styroll]

@andreygursky sagte: Ja, die Audiospuren sind nicht mehr in den Video-Container eingebettet. Aber das hat großen Vorteil für arte

Das ist sicher richtig. Im Moment bedeutet das aber für den gewöhnliche User von MV ein Nachteil: Abgesehen davon, dass die Filmliste noch grösser werden dürfte, müssen schliesslich die Video- und die Audio-Spur wieder zusammengebracht werden. Ich hab's mal mit deiner Beispielsendung getestet (mit den HLS-Varianten und der neusten Version 5.0.1 von ffmpeg):

Automatische Stream-Auswahl:
ffmpeg -i https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/100225-000-A_VA-STA_XQ.m3u8 -c copy -bsf:a aac_adtstoasc ~/Desktop/out.mp4

Manuelle Streamauswahl mittels Map-Funktion:
ffmpeg -i https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/100225-000-A_VA-STA_XQ.m3u8 -map v:1 -c copy -map a:8 -bsf:a aac_adtstoasc ~/Desktop/out.mp4

Explizite Streamauswahl via URL:
ffmpeg -i https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/medias/100225-000-A_v720.m3u8 -i https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/medias/100225-000-A_aud_VA.m3u8 -map 0:0 -map 1:0 -c copy -bsf:a aac_adtstoasc ~/Desktop/video_fertig.mp4

ffmpeg bringt bei allen obigen Aufrufen folgende Fehlermeldung:

Mit den MP4-Varianten klappt's auch mit der mit MV integrierten ffmpeg-Version:
ffmpeg -fflags +genpts -i https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/medias/100225-000-A_v720.mp4 -i https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/medias/100225-000-A_aud_VA.mp4 -map 0:0 -map 1:0 -c:a copy -async 1 -c:v copy ~/Desktop/video_fertig.mp4

Auch diese einfache Variante zeigte bei mir keinen Auffälligkeiten in Sache AV-Sync:
ffmpeg -i https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/medias/100225-000-A_v720.mp4 -i https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/medias/100225-000-A_aud_VA.mp4 -c: copy ~/Desktop/video_fertig.mp4

Wenn man das so implementieren möchte, bräuchte es wohl neben der zusätzlichen Kategorie "Audiospur" noch ein angepasstes Set.
Nachteil: Bei MVW gibt's neben dem SRF und ORF neu noch einen weiteren Sender, wo der Download nicht möglich ist bzw. keine komplette Datei ergibt.

[andreygursky]

Im Moment bedeutet das aber für den gewöhnliche User von MV ein Nachteil ...

Was die Handhabung angeht, ja.

ffmpeg: m3u8: "sidx reference_type 1 is not implemented"

Das mit m3u8 tatsächlich.

[styroll]

@andreygursky sagte: Seit dem Abend des 19. Aprils funktioniert arte API v1 nicht mehr:
https://api.arte.tv/api/player/v1/config/de/088463-000-A

@pidoubleyou: Zumindest jetzt scheint es wieder zu funktionieren mit der API v1.

[ldlx]

An die m3u8-Urls kommt man nur über die v2 der API, die beinhaltet aber nicht die mp4-Urls, die MV benötigt.

Das geht glücklicherweise doch:

1. `https://api.arte.tv/api/player/v2/config/de/100225-000-A`

2. Alle m3u8 Dateien haben eine gemeinsame Basis-URL:
   `https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/`

3. An die m3u8-Basis-URL `medias/` anhängen, dann ID `100225-000-A` und dann noch das passende Suffix (jeweils wenn verfügbar):
   
   * `_v720.mp4` (Videospur HD)
   * `_v432.mp4` (Videospur)
   * `_v360.mp4` (Videospur)
   * `_v216.mp4` (Videospur)
   * `_aud_VOA.mp4` (Audiospur DE, Original)
   * `_aud_VA.mp4` (Audiospur DE, Übersetzung)
   * `_aud_VAAUD.mp4` (Audiodeskription DE)
   * `_st_VA-MAL.vtt` (Untertitel DE)
   * `_aud_VOF.mp4` (Audiospur FR, Original)
   * `_aud_VF.mp4` (Audiospur FR, Übersetzung)
   * `_aud_VFAUD.mp4` (Audiodeskription FR)
   * `_st_VF-MAL.vtt` (Untertitel FR)

Beispielsweise die komplette URL für die HD-Videospur: https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/medias/100225-000-A_v720.mp4.

Ja, die Audiospuren sind nicht mehr in den Video-Container eingebettet. Aber das hat großen Vorteil für arte: Speicherplatzeinsparung, indem ein einziger Beitrag nicht mehr unnötig bis zu 6-fach abgespeichert werden muss. Indirekt müssten solche Einsparungen bei arte auch Vorteil für Zuschauer sein. Insbesondere, wenn endlich wieder die Bitrate angehoben wäre. Aber auch manchmal ein Vorteil direkt für den Zuschauer: man braucht nicht mehr das komplette Video nochmals herunterladen, wenn man noch die Originalaudiospur in FR haben möchte, geschweige denn die kleinen durchsuchbaren Textuntertiteln (wie bereits @Voidi uns gezeigt hat).

Mich interessieren vor allem gerade Untertitel und hab das grad mal selbst durchgespielt, aber etwas mehr Aufwand als bei dir beschrieben.

• aus der URL https://www.arte.tv/de/videos/104351-008-A/diener-des-volkes-7-23/ den Abschnitt "104351-008-A" für die API kopiert: https://api.arte.tv/api/player/v2/config/de/104351-008-A
• daraus die URL für die M3U8: https://arte-cmafhls.akamaized.net/am/cmaf-webonly/104000/104300/104351-008-A_VO-STA/211117031612/104351-008-A_VO-STA_XQ.m3u8
• die deutsche Tonspur sollte dann ja https://arte-cmafhls.akamaized.net/am/cmaf-webonly/104000/104300/104351-008-A_VO-STA/211117031612/medias/104351-008-A_st_VA-MAL.vtt lauten (Spoiler: geht nicht)

Also:

• aus der oben genannten M3U8 also die M3U8 für Untertitel herausgefunden: https://arte-cmafhls.akamaized.net/am/cmaf-webonly/104000/104300/104351-008-A_VO-STA/211117031612/medias/104351-008-A_st_VO-ALL.m3u8
• referenziert auf https://arte-cmafhls.akamaized.net/am/cmaf-webonly/104000/104300/104351-008-A_VO-STA/211117031612/medias/104351-008-A_st_VO-ALL.vtt
  --> also im Namen der M3U8 des gewünschten Untertitels (in diesem Fall) M3U8 durch VTT ersetzen
• Beispiel Filmstream: in der ersten M3U8 für die gewünschte Auflösung: medias/104351-008-A_v720_iframe_index.m3u8 --> medias/104351-008-A_v720.mp4 (alles nach v720 löschen und durch Endung mp4 ersetzen)

[andreygursky]

@ldlx, danke für den Hinweis. Dann haben wir noch eine Kategorie für Sendungen, die nur mit Originalton vorliegen:

• _aud_VO.mp4 (Audiospur Fremdsprache, Original)
• _st_VO-ALL.vtt (Untertitel DE dafür)
• _st_VO-FRA.vtt (Untertitel FR dafür)

Wobei die gemeinsame Basis-URL dann nur innerhalb der jeweiligen Sprache wirklich gleich ist. Ja, es ist immer eine Abwägung, wie viel Arbeit man versucht zu sparen und durch Hartcodierung einfacher zu gestalten und wie viel man doch möglichst allgemein aufwendiger parst.

Und sicherlich gibt es noch weitere Varianten. Z.B.: https://api.arte.tv/api/player/v2/config/de/032412-000-A. Der Inhalt der JSON-Datei hat sich innerhalb von einigen Minuten geändert (HLS mit master.m3u8 Streams --> HLS_NG mit gut zu gebrauchenden neueren m3u8 mit Verweisen auf mp4-Dateien). Bei arte wird wohl an den Schnittstellen gerade gearbeitet. Und API v1 funktioniert wieder nicht mehr.