Help:Download datasets/de

Datengröße — 2022/02
Audiodateien	800,000+
Durchschnittliche Größe	100kB
Gesamtgröße (geschätzt)	80GB

Datensätze per Klick herunterladen

Download nach Sprache:

1. Öffne https://lingualibre.org/datasets/
2. Finde deine Sprache, das Namensschema ist: {qId}-{iso639-3}-{language_English_name}.zip
3. Klicke zum herunterladen
4. Entpacke es auf deinem Gerät.

Nachbearbeitung
Sieh dir die entsprechenden Tutorials in #Siehe auch an, um deine heruntergeladenen Audios massenhaft umzubenennen, massenhaft zu konvertieren oder massenhaft zu entrauschen.

Programmierte Werkzeuge

Die folgenden Werkzeuge rufen zunächst aus einer oder mehreren Wikimedia-Commons-Kategorien die Liste der darin enthaltenen Audiodateien ab. Einige von ihnen ermöglichen es, diese Liste weiter zu filtern, um sich auf einen einzelnen Sprecher zu konzentrieren, entweder durch Bearbeiten ihres Codes oder durch Nachbearbeitung der resultierenden CSV-Liste der Audiodateien. Die aufgelisteten Ziele werden dann mit einer Geschwindigkeit von 500 bis 15.000 pro Stunde heruntergeladen. Elemente, die bereits lokal vorhanden sind und der neuesten Commons-Version entsprechen, werden grundsätzlich nicht erneut heruntergeladen.

Finde dein Ziel

Kategorien auf Wikimedia Commons sind wie folgt organisiert:

• Commons:Category:Lingua Libre pronunciation by user
• Commons:Category:Lingua Libre pronunciation (nach Sprache)

Python (aktuell)

Abhängigkeiten: Python 3.6+

Petscan und Wikiget erlauben dar Herunterladen von etwa 15.000 Audiodateien je Stunde.

1. Wähle deine Kategorie : siehe Kategorie:Lingua-Libre-Aussprache und Kategorie:Lingua-Libre-Aussprache nach Benutzer und finde dann deine Zielkategorie,
2. Liste Zieldateien mit Petscan auf: Bei Angabe einer Zielkategorie auf Commons wird eine Liste der Zieldateien bereitgestellt. Beispiel.
3. Lade die Zieldateien mit Wikiget herunter: lädt die Zieldateien herunter.

Kommentare:

• Erfolgreich im November 2021, mit 730.000 heruntergeladenen Audiodateien in 20 Stunden. Dauerhafte Durchschnittsgeschwindigkeit: 10 Downloads/Sek.
• Einige gelöschte Dateien auf Commons können dazu führen, dass Wikiget einen Fehler zurückgibt und pausiert. Das Skript muss manuell fortgesetzt werden. Die Häufigkeit wird mit etwa 1/30.000 Dateien angegeben. Die Fehlerbehebung ist im Gange, unterstütze die Anfrage auf Github.
• WikiGet benötigt daher einen Freiwilligen, der das Skript während der Ausführung überwacht.
• Seit Dezember 2021 unterstützt WikiGet keine Multi-Thread-Downloads mehr. Um die Effizienz des Download-Prozesses zu steigern, wird daher empfohlen, das Python-Skript auf 20–30 Terminalfenstern gleichzeitig auszuführen. Jedes Terminal, auf dem WikiGet läuft, würde durchschnittlich 20 Kbit/s verbrauchen.
• WikiGet erfordert eine stabile Internetverbindung. Jede Unterbrechung von 1 Sekunde würde den Downloadvorgang stoppen und einen manuellen Neustart des Python-Skripts erfordern.
• Handbuch für PetScan
• Alle Fragen zum Herunterladen von Datensätzen können auf dem Discord-Server von Lingua Libre gestellt werden: https://discord.gg/2WECKUHj

NodeJS (bald)

Abhängigkeiten: git, nodejs, npm.

Ein WikiapiJS-Skript ermöglicht das Herunterladen der Dateien einer Zielkategorie oder einer Stammkategorie, ihrer Unterkategorien und der enthaltenen Dateien. Lädt etwa 1.400 Audiodateien pro Stunde herunter.

1. WikiapiJS ist das NodeJS/NPM-Paket, das skriptbasierte API-Aufrufe auf Wikimedia Commons und LinguaLibre ermöglicht.
2. Spezifisches Skript, das zur Ausführung einer bestimmten Aufgabe verwendet wird:
   • Anhand einer gegebenen Kategorie alle Dateien herunterladen: https://github.com/hugolpz/WikiapiJS-Eggs/blob/main/wiki-download-many.js
   • Anhand einer Stammkategorie Unterkategorien auflisten und alle Dateien herunterladen: https://github.com/hugolpz/WikiapiJS-Eggs/blob/main/wiki-download_by_root_category-many.js

Kommentare, Stand Dezember 2021:

• Erfolgreich im Dezember 2021, mit 400 heruntergeladenen Audios in 16 Minuten. Dauerhafte Durchschnittsgeschwindigkeit: 0,4 Downloads/Sek.
• Dateien einzelner Kategorien erfolgreich verarbeitet.
• Dateien der Stammkategorie und der Unterkategorien erfolgreich verarbeitet und ./isocode/-Ordner generiert.
• Skalierbarkeitstests für die Belastbarkeit bei großen Anfragen von >500 bis 100.000 Datenobjekten erforderlich.
• Leistungsverbesserungen werden derzeit in Betracht gezogen auf Github.

Python (langsam)

Abhängigkeiten: Python.

CommonsDownloadTool.py ist ein Python-Skript, das früher Datensätze für LinguaLibre erstellte. Es kann umprogrammiert und an deine Bedürfnisse angepasst werden. So lädst du alle Datensätze als ZIP-Dateien herunter:

• Skripte herunterladen :
  • create_datasets.sh - erstellt Kommandos für das CommonsDownloadTool.
  • CommonsDownloadTool/commons_download_tool.py - Kernskript.
• Lies sie ein wenig und verschiebe sie an die Stelle, an der sie am besten auf deinen Computer passen, sodass sie nur minimal bearbeitet werden müssen
• Bearbeiten es nach Bedarf, damit die Pfade korrekt sind und es funktioniert.
• Führe create_datasets.sh aus
• Überprüfe, ob die Anzahl der Dateien in den heruntergeladenen ZIP-Dateien mit der Anzahl der Dateien in Commons:Category:Lingua Libre pronunciation übereinstimmt.

Kommentare:

• Zuletzt ausgeführt im Februar 2021, wegen langsamer Geschwindigkeit abgebrochen.
• Dieses Skript ist langsam und wurde eingestellt, da Lingualibre zu stark gewachsen ist.
• Die Seite könnte von etwas HTML und Design profitieren.
• Vorschläge auf https://phabricator.wikimedia.org/tag/lingua_libre/ oder im LinguaLibre:Chat room.

Python mit UI (Sulochanaviji)

Beschreibung zu vervollständigen, siehe das Github-Repositorium.

Benutzer:Sulochanaviji schrieb ein Django/Python-Werkzeug mit einer HTML/CSS-Benutzeroberfläche. Siehe sein Github-Repositorium.

Python-Skript zum Herunterladen der Aussprachen eines Benutzers

Dieses Skript lädt alle von einem Benutzer hinzugefügten Aussprachen in einen Ordner herunter, indem es zunächst die Lingua-Libre-Datenbank abfragt und dann die Dateien von Commons herunterlädt. Siehe sein Github-Repositorium. Languageseeker (talk) 01:57, 24 May 2022 (UTC)

Anki-Erweiterung für Lingua Libre

Das Addon Lingua Libre und Forvo. Es verfügt über eine Reihe erweiterter Optionen zur Verbesserung der Suchergebnisse und kann entweder als Stapelvorgang oder für einzeln ausgeführt werden.

Standardmäßig prüft es zunächst Lingua Libre und, wenn es keine Ergebnisse bei Lingua Libre gibt, dann Forvo. Um als reine Lingua-Libre-Erweiterung ausgeführt zu werden, musst du "disable_Forvo" in deinem Konfigurationsabschnitt auf True setzen.

Bitte melde Fehler, Probleme und Ideen auf Github.

Java (nicht getestet)

Abhängigkeiten:

sudo apt-get install default-jre    # Java-Umgebung installieren

Usage:

• Open GitHub Wiki-java-tools project page.
• Find the last Imker release.
• Download Imker_vxx.xx.xx.zip archive
• Extract the .zip file
• Run as follow :
  • On Windows : start the .exe file.
  • On Ubuntu, open shell then :

$java -jar imker-cli.jar -o ./myFolder/ -c 'CategoryName'     # Downloads all medias within Wikimedia Commons's category "CategoryName"

Comments :

• Not used yet by any LinguaLibre member. If you do, please share your experience of this tool.

Manual

Imker -- Wikimedia Commons batch downloading tool.

Usage: java -jar imker-cli.jar [options]
  Options:
    --category, -c
       Use the specified Wiki category as download source.
    --domain, -d
       Wiki domain to fetch from
       Default: commons.wikimedia.org
    --file, -f
       Use the specified local file as download source.
  * --outfolder, -o
       The output folder.
    --page, -p
       Use the specified Wiki page as download source.

The download source must be ONE of the following:
 ↳ A Wiki category (Example: --category="Denver, Colorado")
 ↳ A Wiki page (Example: --page="Sandboarding")
 ↳ A local file (Example: --file="Documents/files.txt"; One filename per line!)

See also

• Help:Renaming
• Help:Converting audios
• Help:Embed audio in HTML
• phab:T261519