Help
Difference between revisions of "Download datasets/de"
Download of Lingualibre's audio datasets allows external reuse of those audios into native or web applications. LinguaLibre's service of periodic generation of dumps is currently staled, volunteer developers are working on it (Jan. 2022). Current, past and future alternatives are documented below. Other tutorials deal with how to clean up the resulting folders and how to rename these files into more practical {language}−{word}.ogg. Be aware of the overall datasize of estimated 40GB for wav format.
Ameisenigel (talk | contribs) (Created page with "== Programmierte Werkzeuge ==") |
Ameisenigel (talk | contribs) (Created page with "== Siehe auch ==") |
||
| (27 intermediate revisions by the same user not shown) | |||
| Line 29: | Line 29: | ||
== Programmierte Werkzeuge == | == Programmierte Werkzeuge == | ||
| − | + | Die folgenden Werkzeuge rufen zunächst aus einer oder mehreren Wikimedia-Commons-Kategorien die Liste der darin enthaltenen Audiodateien ab. Einige von ihnen ermöglichen es, diese Liste weiter zu filtern, um sich auf einen einzelnen Sprecher zu konzentrieren, entweder durch Bearbeiten ihres Codes oder durch Nachbearbeitung der resultierenden CSV-Liste der Audiodateien. Die aufgelisteten Ziele werden dann mit einer Geschwindigkeit von 500 bis 15.000 pro Stunde heruntergeladen. Elemente, die bereits lokal vorhanden sind und der neuesten Commons-Version entsprechen, werden grundsätzlich nicht erneut heruntergeladen. | |
| − | |||
| − | === | + | === Finde dein Ziel === |
| − | + | Kategorien auf Wikimedia Commons sind wie folgt organisiert: | |
* [[:Commons:Category:Lingua Libre pronunciation by user]] | * [[:Commons:Category:Lingua Libre pronunciation by user]] | ||
| − | * [[:Commons:Category:Lingua Libre pronunciation]] ( | + | * [[:Commons:Category:Lingua Libre pronunciation]] (nach Sprache) |
| − | === Python ( | + | === Python (aktuell) === |
| − | + | Abhängigkeiten: Python 3.6+ | |
| − | '''Petscan''' | + | '''Petscan''' und '''Wikiget''' erlauben dar Herunterladen von etwa 15.000 Audiodateien je Stunde. |
| − | # ''' | + | # '''Wähle deine Kategorie :''' siehe [[:commons:Category:Lingua_Libre_pronunciation|Kategorie:Lingua-Libre-Aussprache]] und [[:commons:Category:Lingua Libre pronunciation by user|Kategorie:Lingua-Libre-Aussprache nach Benutzer]] und finde dann deine Zielkategorie, |
| − | # ''' | + | # '''Liste Zieldateien mit [https://petscan.wmflabs.org Petscan] auf:''' Bei Angabe einer Zielkategorie auf Commons wird eine Liste der Zieldateien bereitgestellt. [https://petscan.wmflabs.org/?&cb_labels_yes_l=1&cb_labels_no_l=1&edits%5Banons%5D=both&interface_language=en&edits%5Bflagged%5D=both&categories=Lingua%20Libre%20pronunciation-cmn&cb_labels_any_l=1&ns%5B0%5D=1&project=wikimedia&since_rev0=&search_max_results=500&edits%5Bbots%5D=both&ns%5B6%5D=1&language=commons&search_query= Beispiel]. |
| − | # ''' | + | # '''Lade die Zieldateien mit [https://pypi.org/project/wikiget/ Wikiget] herunter:''' lädt die Zieldateien herunter. |
| − | + | Kommentare: | |
| − | * | + | * Erfolgreich im November 2021, mit 730.000 heruntergeladenen Audiodateien in 20 Stunden. Dauerhafte Durchschnittsgeschwindigkeit: 10 Downloads/Sek. |
| − | * | + | * Einige gelöschte Dateien auf Commons können dazu führen, dass Wikiget einen Fehler zurückgibt und pausiert. Das Skript muss manuell fortgesetzt werden. Die Häufigkeit wird mit etwa 1/30.000 Dateien angegeben. Die Fehlerbehebung ist im Gange, unterstütze die Anfrage [https://github.com/clpo13/wikiget/issues/2 auf Github]. |
| − | * WikiGet | + | * WikiGet benötigt daher einen Freiwilligen, der das Skript während der Ausführung überwacht. |
| − | * | + | * Seit Dezember 2021 unterstützt WikiGet keine Multi-Thread-Downloads mehr. Um die Effizienz des Download-Prozesses zu steigern, wird daher empfohlen, das Python-Skript auf 20–30 Terminalfenstern gleichzeitig auszuführen. Jedes Terminal, auf dem WikiGet läuft, würde durchschnittlich 20 Kbit/s verbrauchen. |
| − | * WikiGet | + | * WikiGet erfordert eine stabile Internetverbindung. Jede Unterbrechung von 1 Sekunde würde den Downloadvorgang stoppen und einen manuellen Neustart des Python-Skripts erfordern. |
| − | * [[m:Special:MyLanguage/PetScan| | + | * [[m:Special:MyLanguage/PetScan|Handbuch für PetScan]] |
| − | * | + | * Alle Fragen zum Herunterladen von Datensätzen können auf dem Discord-Server von Lingua Libre gestellt werden: https://discord.gg/2WECKUHj |
| − | === NodeJS ( | + | === NodeJS (bald) === |
| − | + | Abhängigkeiten: git, nodejs, npm. | |
| − | + | Ein '''WikiapiJS'''-Skript ermöglicht das Herunterladen der Dateien einer Zielkategorie oder einer Stammkategorie, ihrer Unterkategorien und der enthaltenen Dateien. Lädt etwa 1.400 Audiodateien pro Stunde herunter. | |
| − | # WikiapiJS | + | # WikiapiJS ist das NodeJS/NPM-Paket, das skriptbasierte API-Aufrufe auf Wikimedia Commons und LinguaLibre ermöglicht. |
| − | # | + | # Spezifisches Skript, das zur Ausführung einer bestimmten Aufgabe verwendet wird: |
| − | #* | + | #* Anhand einer gegebenen Kategorie alle Dateien herunterladen: https://github.com/hugolpz/WikiapiJS-Eggs/blob/main/wiki-download-many.js |
| − | #* | + | #* Anhand einer Stammkategorie Unterkategorien auflisten und alle Dateien herunterladen: https://github.com/hugolpz/WikiapiJS-Eggs/blob/main/wiki-download_by_root_category-many.js |
| − | + | Kommentare, Stand Dezember 2021: | |
| − | * | + | * Erfolgreich im Dezember 2021, mit 400 heruntergeladenen Audios in 16 Minuten. Dauerhafte Durchschnittsgeschwindigkeit: 0,4 Downloads/Sek. |
| − | * | + | * Dateien einzelner Kategorien erfolgreich verarbeitet. |
| − | * | + | * Dateien der Stammkategorie und der Unterkategorien erfolgreich verarbeitet und ./isocode/-Ordner generiert. |
| − | * | + | * Skalierbarkeitstests für die Belastbarkeit bei großen Anfragen von >500 bis 100.000 Datenobjekten erforderlich. |
| − | * | + | * Leistungsverbesserungen werden derzeit in Betracht gezogen [https://github.com/kanasimi/wikiapi/issues/51#issuecomment-1002267855 auf Github]. |
| − | === Python ( | + | === Python (langsam) === |
| − | + | Abhängigkeiten: Python. | |
| − | '''CommonsDownloadTool.py''' | + | '''CommonsDownloadTool.py''' ist ein Python-Skript, das früher Datensätze für LinguaLibre erstellte. Es kann umprogrammiert und an deine Bedürfnisse angepasst werden. So lädst du alle Datensätze als ZIP-Dateien herunter: |
| − | * | + | * Skripte herunterladen : |
| − | ** [https://github.com/lingua-libre/operations/blob/master/create_datasets.sh create_datasets.sh] - | + | ** [https://github.com/lingua-libre/operations/blob/master/create_datasets.sh create_datasets.sh] - erstellt Kommandos für das CommonsDownloadTool. |
| − | ** [https://github.com/lingua-libre/CommonsDownloadTool/blob/master/commons_download_tool.py CommonsDownloadTool/commons_download_tool.py] - | + | ** [https://github.com/lingua-libre/CommonsDownloadTool/blob/master/commons_download_tool.py CommonsDownloadTool/commons_download_tool.py] - Kernskript. |
| − | * | + | * Lies sie ein wenig und verschiebe sie an die Stelle, an der sie am besten auf deinen Computer passen, sodass sie nur minimal bearbeitet werden müssen |
| − | * | + | * Bearbeiten es nach Bedarf, damit die Pfade korrekt sind und es funktioniert. |
| − | * | + | * Führe <code>create_datasets.sh</code> aus |
| − | * | + | * Überprüfe, ob die Anzahl der Dateien in den heruntergeladenen ZIP-Dateien mit der Anzahl der Dateien in [[:Commons:Category:Lingua Libre pronunciation]] übereinstimmt. |
| − | + | Kommentare: | |
| − | * | + | * Zuletzt ausgeführt im Februar 2021, wegen langsamer Geschwindigkeit abgebrochen. |
| − | * | + | * Dieses Skript ist langsam und wurde eingestellt, da Lingualibre zu stark gewachsen ist. |
| − | * | + | * Die Seite könnte von etwas HTML und Design profitieren. |
| − | * | + | * Vorschläge auf https://phabricator.wikimedia.org/tag/lingua_libre/ oder im [[LinguaLibre:Chat room]]. |
| − | === Python | + | === Python mit UI (Sulochanaviji) === |
| − | :'' | + | :''Beschreibung zu vervollständigen, siehe das [https://github.com/sulochanaviji/Wiki-bulk-downloader Github-Repositorium].'' |
| − | [[:meta:User:Sulochanaviji| | + | [[:meta:User:Sulochanaviji|Benutzer:Sulochanaviji]] schrieb ein Django/Python-Werkzeug mit einer HTML/CSS-Benutzeroberfläche. Siehe sein [https://github.com/sulochanaviji/Wiki-bulk-downloader Github-Repositorium]. |
| − | === Python | + | === Python-Skript zum Herunterladen der Aussprachen eines Benutzers === |
| − | + | Dieses Skript lädt alle von einem Benutzer hinzugefügten Aussprachen in einen Ordner herunter, indem es zunächst die Lingua-Libre-Datenbank abfragt und dann die Dateien von Commons herunterlädt. Siehe sein [https://github.com/rkosov/Lingua-Libre-User-Audio-Downloader Github-Repositorium]. [[User:Languageseeker|Languageseeker]] ([[User talk:Languageseeker|talk]]) 01:57, 24 May 2022 (UTC) | |
| − | === Anki | + | === Anki-Erweiterung für Lingua Libre === |
| − | + | Das [https://ankiweb.net/shared/info/124265771 Addon Lingua Libre und Forvo]. Es verfügt über eine Reihe erweiterter Optionen zur Verbesserung der Suchergebnisse und kann entweder als Stapelvorgang oder für einzeln ausgeführt werden. | |
| − | + | Standardmäßig prüft es zunächst Lingua Libre und, wenn es keine Ergebnisse bei Lingua Libre gibt, dann Forvo. Um als reine Lingua-Libre-Erweiterung ausgeführt zu werden, musst du ''"disable_Forvo" in deinem Konfigurationsabschnitt auf <code>True</code> setzen. | |
| − | + | Bitte melde Fehler, Probleme und Ideen auf [https://github.com/rkosov/Lingua-Libre-and-Forvo-Audio-Downloader Github]. | |
| − | === Java ( | + | === Java (nicht getestet) === |
| − | + | Abhängigkeiten: | |
<syntaxhighlight lang="bash"> | <syntaxhighlight lang="bash"> | ||
| − | sudo apt-get install default-jre # | + | sudo apt-get install default-jre # Java-Umgebung installieren |
</syntaxhighlight> | </syntaxhighlight> | ||
| − | + | Nutzung: | |
| − | * | + | * Öffne die [https://github.com/MarcoFalke/wiki-java-tools/releases GitHub-Projektseite für Wiki-java-tools]. |
| − | * | + | * Finde die letzte Veröffentlichung von <code>Imker</code>. |
| − | * | + | * Lade das Archiv Imker_vxx.xx.xx'''.zip''' herunter |
| − | * | + | * Entpacke die .zip-Datei |
| − | * | + | * Führe sie wie folgt aus : |
| − | ** | + | ** In Windows : Starte die .exe-Datei. |
| − | ** | + | ** Öffne in Ubuntu, shell: |
<syntaxhighlight lang="bash"> | <syntaxhighlight lang="bash"> | ||
| − | $java -jar imker-cli.jar -o ./myFolder/ -c 'CategoryName' # | + | $java -jar imker-cli.jar -o ./myFolder/ -c 'CategoryName' # Alle Medien der Kategorie "CategoryName" auf Wikimedia Commons herunterladen |
</syntaxhighlight> | </syntaxhighlight> | ||
| − | + | Kommentare: | |
| − | * | + | * Noch von keinem LinguaLibre-Mitglied verwendet. Wenn du es nutzt, teile uns bitte deine Erfahrungen mit diesem Werkzeug mit. |
| − | ==== | + | ==== Handbuch ==== |
<syntaxhighlight lang="bash"> | <syntaxhighlight lang="bash"> | ||
Imker -- Wikimedia Commons batch downloading tool. | Imker -- Wikimedia Commons batch downloading tool. | ||
| Line 154: | Line 153: | ||
</syntaxhighlight> | </syntaxhighlight> | ||
| − | == | + | == Siehe auch == |
| − | * [[Special:MyLanguage/Help:Renaming| | + | * [[Special:MyLanguage/Help:Renaming|Hilfe:Umbenennung]] |
| − | * [[Special:MyLanguage/Help:Converting audios| | + | * [[Special:MyLanguage/Help:Converting audios|Hilfe:Audios umwandeln]] |
| − | * [[:phab:T261519| | + | * [[:phab:T261519|Hilfe:Audios in HTML einbinden]] |
* [[:phab:T261519]] | * [[:phab:T261519]] | ||
| − | == | + | == Siehe auch == |
{{Helps}} | {{Helps}} | ||
{{Technicals}} | {{Technicals}} | ||
[[Category:Lingua Libre:Help]] | [[Category:Lingua Libre:Help]] | ||
Latest revision as of 19:58, 18 September 2023
| Datengröße — 2022/02 | |
|---|---|
| Audiodateien | 800,000+ |
| Durchschnittliche Größe | 100kB |
| Gesamtgröße (geschätzt) | 80GB |
Datensätze per Klick herunterladen
Download nach Sprache:
- Öffne https://lingualibre.org/datasets/
- Finde deine Sprache, das Namensschema ist:
{qId}-{iso639-3}-{language_English_name}.zip - Klicke zum herunterladen
- Entpacke es auf deinem Gerät.
Nachbearbeitung
Sieh dir die entsprechenden Tutorials in #Siehe auch an, um deine heruntergeladenen Audios massenhaft umzubenennen, massenhaft zu konvertieren oder massenhaft zu entrauschen.
Programmierte Werkzeuge
Die folgenden Werkzeuge rufen zunächst aus einer oder mehreren Wikimedia-Commons-Kategorien die Liste der darin enthaltenen Audiodateien ab. Einige von ihnen ermöglichen es, diese Liste weiter zu filtern, um sich auf einen einzelnen Sprecher zu konzentrieren, entweder durch Bearbeiten ihres Codes oder durch Nachbearbeitung der resultierenden CSV-Liste der Audiodateien. Die aufgelisteten Ziele werden dann mit einer Geschwindigkeit von 500 bis 15.000 pro Stunde heruntergeladen. Elemente, die bereits lokal vorhanden sind und der neuesten Commons-Version entsprechen, werden grundsätzlich nicht erneut heruntergeladen.
Finde dein Ziel
Kategorien auf Wikimedia Commons sind wie folgt organisiert:
- Commons:Category:Lingua Libre pronunciation by user
- Commons:Category:Lingua Libre pronunciation (nach Sprache)
Python (aktuell)
Abhängigkeiten: Python 3.6+
Petscan und Wikiget erlauben dar Herunterladen von etwa 15.000 Audiodateien je Stunde.
- Wähle deine Kategorie : siehe Kategorie:Lingua-Libre-Aussprache und Kategorie:Lingua-Libre-Aussprache nach Benutzer und finde dann deine Zielkategorie,
- Liste Zieldateien mit Petscan auf: Bei Angabe einer Zielkategorie auf Commons wird eine Liste der Zieldateien bereitgestellt. Beispiel.
- Lade die Zieldateien mit Wikiget herunter: lädt die Zieldateien herunter.
Kommentare:
- Erfolgreich im November 2021, mit 730.000 heruntergeladenen Audiodateien in 20 Stunden. Dauerhafte Durchschnittsgeschwindigkeit: 10 Downloads/Sek.
- Einige gelöschte Dateien auf Commons können dazu führen, dass Wikiget einen Fehler zurückgibt und pausiert. Das Skript muss manuell fortgesetzt werden. Die Häufigkeit wird mit etwa 1/30.000 Dateien angegeben. Die Fehlerbehebung ist im Gange, unterstütze die Anfrage auf Github.
- WikiGet benötigt daher einen Freiwilligen, der das Skript während der Ausführung überwacht.
- Seit Dezember 2021 unterstützt WikiGet keine Multi-Thread-Downloads mehr. Um die Effizienz des Download-Prozesses zu steigern, wird daher empfohlen, das Python-Skript auf 20–30 Terminalfenstern gleichzeitig auszuführen. Jedes Terminal, auf dem WikiGet läuft, würde durchschnittlich 20 Kbit/s verbrauchen.
- WikiGet erfordert eine stabile Internetverbindung. Jede Unterbrechung von 1 Sekunde würde den Downloadvorgang stoppen und einen manuellen Neustart des Python-Skripts erfordern.
- Handbuch für PetScan
- Alle Fragen zum Herunterladen von Datensätzen können auf dem Discord-Server von Lingua Libre gestellt werden: https://discord.gg/2WECKUHj
NodeJS (bald)
Abhängigkeiten: git, nodejs, npm.
Ein WikiapiJS-Skript ermöglicht das Herunterladen der Dateien einer Zielkategorie oder einer Stammkategorie, ihrer Unterkategorien und der enthaltenen Dateien. Lädt etwa 1.400 Audiodateien pro Stunde herunter.
- WikiapiJS ist das NodeJS/NPM-Paket, das skriptbasierte API-Aufrufe auf Wikimedia Commons und LinguaLibre ermöglicht.
- Spezifisches Skript, das zur Ausführung einer bestimmten Aufgabe verwendet wird:
- Anhand einer gegebenen Kategorie alle Dateien herunterladen: https://github.com/hugolpz/WikiapiJS-Eggs/blob/main/wiki-download-many.js
- Anhand einer Stammkategorie Unterkategorien auflisten und alle Dateien herunterladen: https://github.com/hugolpz/WikiapiJS-Eggs/blob/main/wiki-download_by_root_category-many.js
Kommentare, Stand Dezember 2021:
- Erfolgreich im Dezember 2021, mit 400 heruntergeladenen Audios in 16 Minuten. Dauerhafte Durchschnittsgeschwindigkeit: 0,4 Downloads/Sek.
- Dateien einzelner Kategorien erfolgreich verarbeitet.
- Dateien der Stammkategorie und der Unterkategorien erfolgreich verarbeitet und ./isocode/-Ordner generiert.
- Skalierbarkeitstests für die Belastbarkeit bei großen Anfragen von >500 bis 100.000 Datenobjekten erforderlich.
- Leistungsverbesserungen werden derzeit in Betracht gezogen auf Github.
Python (langsam)
Abhängigkeiten: Python.
CommonsDownloadTool.py ist ein Python-Skript, das früher Datensätze für LinguaLibre erstellte. Es kann umprogrammiert und an deine Bedürfnisse angepasst werden. So lädst du alle Datensätze als ZIP-Dateien herunter:
- Skripte herunterladen :
- create_datasets.sh - erstellt Kommandos für das CommonsDownloadTool.
- CommonsDownloadTool/commons_download_tool.py - Kernskript.
- Lies sie ein wenig und verschiebe sie an die Stelle, an der sie am besten auf deinen Computer passen, sodass sie nur minimal bearbeitet werden müssen
- Bearbeiten es nach Bedarf, damit die Pfade korrekt sind und es funktioniert.
- Führe
create_datasets.shaus - Überprüfe, ob die Anzahl der Dateien in den heruntergeladenen ZIP-Dateien mit der Anzahl der Dateien in Commons:Category:Lingua Libre pronunciation übereinstimmt.
Kommentare:
- Zuletzt ausgeführt im Februar 2021, wegen langsamer Geschwindigkeit abgebrochen.
- Dieses Skript ist langsam und wurde eingestellt, da Lingualibre zu stark gewachsen ist.
- Die Seite könnte von etwas HTML und Design profitieren.
- Vorschläge auf https://phabricator.wikimedia.org/tag/lingua_libre/ oder im LinguaLibre:Chat room.
- Beschreibung zu vervollständigen, siehe das Github-Repositorium.
Benutzer:Sulochanaviji schrieb ein Django/Python-Werkzeug mit einer HTML/CSS-Benutzeroberfläche. Siehe sein Github-Repositorium.
Python-Skript zum Herunterladen der Aussprachen eines Benutzers
Dieses Skript lädt alle von einem Benutzer hinzugefügten Aussprachen in einen Ordner herunter, indem es zunächst die Lingua-Libre-Datenbank abfragt und dann die Dateien von Commons herunterlädt. Siehe sein Github-Repositorium. Languageseeker (talk) 01:57, 24 May 2022 (UTC)
Anki-Erweiterung für Lingua Libre
Das Addon Lingua Libre und Forvo. Es verfügt über eine Reihe erweiterter Optionen zur Verbesserung der Suchergebnisse und kann entweder als Stapelvorgang oder für einzeln ausgeführt werden.
Standardmäßig prüft es zunächst Lingua Libre und, wenn es keine Ergebnisse bei Lingua Libre gibt, dann Forvo. Um als reine Lingua-Libre-Erweiterung ausgeführt zu werden, musst du "disable_Forvo" in deinem Konfigurationsabschnitt auf True setzen.
Bitte melde Fehler, Probleme und Ideen auf Github.
Java (nicht getestet)
Abhängigkeiten:
sudo apt-get install default-jre # Java-Umgebung installieren
Nutzung:
- Öffne die GitHub-Projektseite für Wiki-java-tools.
- Finde die letzte Veröffentlichung von
Imker. - Lade das Archiv Imker_vxx.xx.xx.zip herunter
- Entpacke die .zip-Datei
- Führe sie wie folgt aus :
- In Windows : Starte die .exe-Datei.
- Öffne in Ubuntu, shell:
$java -jar imker-cli.jar -o ./myFolder/ -c 'CategoryName' # Alle Medien der Kategorie "CategoryName" auf Wikimedia Commons herunterladen
Kommentare:
- Noch von keinem LinguaLibre-Mitglied verwendet. Wenn du es nutzt, teile uns bitte deine Erfahrungen mit diesem Werkzeug mit.
Handbuch
Imker -- Wikimedia Commons batch downloading tool.
Usage: java -jar imker-cli.jar [options]
Options:
--category, -c
Use the specified Wiki category as download source.
--domain, -d
Wiki domain to fetch from
Default: commons.wikimedia.org
--file, -f
Use the specified local file as download source.
* --outfolder, -o
The output folder.
--page, -p
Use the specified Wiki page as download source.
The download source must be ONE of the following:
↳ A Wiki category (Example: --category="Denver, Colorado")
↳ A Wiki page (Example: --page="Sandboarding")
↳ A local file (Example: --file="Documents/files.txt"; One filename per line!)