La commande wget est un utilitaire puissant utilisé sous Linux pour le téléchargement non interactif de fichiers à partir du Web. Il prend en charge un large éventail de protocoles, notamment HTTP, HTTPS et FTP, ce qui le rend suffisamment polyvalent pour diverses tâches telles que le téléchargement de fichiers uniques, de sites Web entiers ou même de fichiers répertoriés dans un fichier texte. wget est particulièrement utile pour automatiser les tâches de téléchargement, effectuer des téléchargements récursifs et reprendre les téléchargements interrompus. Sa nature en ligne de commande lui permet d'être facilement intégré aux scripts et aux tâches cron, ce qui en fait un outil indispensable pour les administrateurs système et les utilisateurs expérimentés.
Ce guide explorera 30 exemples pratiques d'utilisation de wget, démontrant comment il peut être utilisé pour gérer une variété de tâches de téléchargement courantes et avancées. Des téléchargements de fichiers de base aux scénarios plus complexes tels que la mise en miroir de sites Web et la gestion de l'authentification, ces exemples vous aideront à maîtriser la commande wget et à tirer le meilleur parti de ses capacités.
Comprendre la syntaxe des commandes Wget
La syntaxe de base de wget est la suivante :
wget [option] [URL]Dans la syntaxe ci-dessus :
- La commande wget est le déclencheur du déploiement de l'utilitaire.
- [option] agit comme un paramètre discrétionnaire, vous permettant de définir diverses configurations. Wget est fourni avec une vaste gamme d'options qui permettent aux utilisateurs de modifier son fonctionnement. De l'activation des téléchargements en arrière-plan à la limitation des vitesses de téléchargement, un large éventail de paramètres peut être ajusté pour répondre à vos besoins.
- [URL] correspond à l'adresse Web du fichier que vous souhaitez télécharger. C'est ici que vous saisissez l'emplacement spécifique sur le Web à partir duquel l'utilitaire récupère le fichier.
Exemples de commandes Wget
Ci-dessous, nous montrerons divers exemples utilisant la commande wget.
1. Téléchargement d'un seul fichier
L'utilisation la plus simple de wget consiste à télécharger un seul fichier à partir d'une URL spécifiée.
wget https://example.com/file.zipCette commande téléchargera le fichier nommé file.zip depuis example.com et l'enregistrera dans le répertoire de travail actuel.
2. Téléchargement en arrière-plan
Pour télécharger des fichiers volumineux, wget peut être exécuté en arrière-plan en utilisant l'option « -b ».
wget -b https://example.com/largefile.zipCette commande lance le téléchargement de largefile.zip en arrière-plan, vous permettant de continuer à utiliser le terminal pour d'autres tâches.
3. Limiter la vitesse de téléchargement
Pour empêcher wget de consommer toute la bande passante disponible, vous pouvez limiter la vitesse de téléchargement en utilisant l'option « –limit-rate ».
wget --limit-rate=200k https://example.com/file.zipCette commande limite la vitesse de téléchargement à 200 Ko/s, garantissant ainsi que les autres activités en ligne ne sont pas perturbées.
4. Téléchargement de plusieurs fichiers
Wget peut télécharger plusieurs fichiers à la fois. Ceci est réalisé en créant un fichier texte avec une liste d'URL et en utilisant l'option « -i ».
wget -i urls.txtDans cet exemple, urls.txt est un fichier texte contenant les URL de tous les fichiers à télécharger. La commande télécharge tous les fichiers répertoriés dans urls.txt.
5. Télécharger un site Web entier
Wget peut être utilisé pour télécharger un site Web entier pour une visualisation hors ligne. L'option « –mirror » ou « -m » est utilisée pour ce faire.
wget --mirror https://example.comCette commande reflète l'intégralité du site Web example.com, téléchargeant toutes ses pages et ressources pour une utilisation hors ligne.
6. Téléchargement de fichiers avec des extensions spécifiques
Pour télécharger des fichiers avec des extensions spécifiques à partir d'un site Web, utilisez l'option « -r » pour le téléchargement récursif et « -A » pour spécifier les types de fichiers.
wget -r -A.pdf https://example.comCette commande télécharge tous les fichiers PDF de example.com et de ses sous-répertoires.
7. Téléchargement de fichiers sous différents noms
En utilisant l'option '-O', vous pouvez enregistrer un fichier sous un nom différent.
wget -O myFile.zip https://example.com/file.zipCette commande télécharge file.zip depuis example.com et l'enregistre sous myFile.zip dans le répertoire actuel.
8. Enregistrement de fichiers dans un répertoire spécifié
Vous pouvez spécifier un répertoire pour enregistrer le fichier téléchargé en utilisant l'option « -P ».
wget -P /path/to/directory https://example.com/file.zipCette commande télécharge le fichier.zip depuis example.com et l'enregistre dans le répertoire spécifié par /path/to/directory.
9. Définition des tentatives de nouvelle tentative
En utilisant l'option « –tries », vous pouvez définir le nombre de nouvelles tentatives en cas d'échec du téléchargement.
wget --tries=3 https://example.com/file.zipCette commande tente de télécharger le fichier.zip depuis example.com jusqu'à 3 fois avant d'abandonner.
10. Téléchargement via FTP
Wget peut également télécharger des fichiers via FTP. Vous devez spécifier le nom d'utilisateur et le mot de passe.
wget --ftp-user=USERNAME --ftp-password=PASSWORD ftp://example.com/file.zipCette commande télécharge le fichier.zip depuis le serveur FTP sur example.com en utilisant le nom d'utilisateur et le mot de passe spécifiés.
11. Poursuite des téléchargements interrompus
Si votre téléchargement est interrompu, vous pouvez continuer à utiliser l'option « -c ».
wget -c https://example.com/file.zipCette commande reprend le téléchargement de file.zip depuis example.com là où il s'était arrêté.
12. Récupération de sites Web entiers
Vous pouvez télécharger l’intégralité du contenu d’un site Web pour une visualisation hors ligne en utilisant une combinaison d’options.
wget --mirror --convert-links --page-requisites --no-parent -P /path/to/directory https://example.comCette commande télécharge l'intégralité du site Web example.com et ses ressources, convertit les liens pour une utilisation hors ligne et enregistre le tout dans le répertoire spécifié par /path/to/directory.
13. Localisation des liens brisés
Wget peut être utilisé pour rechercher toutes les URL cassées qui affichent une erreur 404 sur un site Web spécifique.
wget -o wget-log -r -l 5 --spider http://example.comCette commande vérifie tous les liens sur example.com jusqu'à 5 niveaux de profondeur et enregistre les résultats dans wget-log.
14. Téléchargement de fichiers numérotés
Si vous avez des fichiers ou des images numérotés dans une liste spécifique, vous pouvez facilement les télécharger tous.
wget http://example.com/images/{1..50}.jpgCette commande télécharge les images 1.jpg à 50.jpg depuis example.com/images.
15. Téléchargement de fichiers avec un délai d'attente
Avec l'option « –timeout », vous pouvez définir un délai d'expiration lorsque vous arrêtez d'essayer de vous connecter ou de lire sur un site.
wget --timeout=30 https://example.com/file.zipCette commande tente de télécharger le fichier.zip depuis example.com mais s'arrêtera si elle ne parvient pas à se connecter ou à lire sur le site dans les 30 secondes.
16. Ignorer la casse lors de la correspondance de fichiers/répertoires
L'option '-nc' ou '–no-clobber' empêche wget d'écraser les fichiers ou répertoires existants.
wget -nc https://example.com/file.zipCette commande télécharge file.zip depuis example.com uniquement si un fichier du même nom n'existe pas déjà dans le répertoire actuel.
17. Téléchargement uniquement de certains types de fichiers
En utilisant les caractères '-r' et '-A', vous pouvez demander à wget de télécharger uniquement des types de fichiers spécifiques à partir d'un site.
wget -r -A jpeg,jpg,bmp,gif,png https://example.comCette commande télécharge tous les fichiers JPEG, JPG, BMP, GIF et PNG depuis example.com et ses sous-répertoires.
18. Téléchargement de tous les fichiers sauf certains types de fichiers
En utilisant l'option « -R » ou « -reject », vous pouvez demander à wget de télécharger tous les fichiers à l'exception de certains types de fichiers à partir d'un site.
wget -r -R pdf https://example.comCette commande télécharge tous les fichiers de example.com et de ses sous-répertoires, à l'exception des fichiers PDF.
19. Téléchargement de fichiers à partir de sites Web utilisant des cookies
Certains sites Web exigent que les utilisateurs acceptent les cookies avant de pouvoir accéder aux fichiers. Vous pouvez utiliser l'option « –load-cookies » dans ce cas.
wget --load-cookies /path/to/cookies.txt https://example.comCette commande télécharge les fichiers depuis example.com en utilisant les cookies stockés dans cookies.txt.
20. Téléchargement de fichiers à partir de sites protégés par mot de passe
Si un site nécessite une authentification par nom d'utilisateur et mot de passe, vous pouvez les transmettre en utilisant les options « –user » et « –password ».
wget --user=USERNAME --password=PASSWORD https://example.comCette commande télécharge les fichiers depuis example.com en utilisant le nom d'utilisateur et le mot de passe spécifiés.
21. Téléchargement de fichiers à partir d'une liste d'URL
Vous pouvez télécharger des fichiers à partir d'une liste d'URL en utilisant l'option « -i ».
wget -i list.txtCette commande télécharge les fichiers à partir des URL répertoriées dans list.txt.
22. Téléchargement de fichiers vers un répertoire spécifique
En utilisant l'option '-P', vous pouvez spécifier le répertoire dans lequel les fichiers téléchargés seront enregistrés.
wget -P /path/to/directory -i list.txtCette commande télécharge les fichiers à partir des URL répertoriées dans list.txt et les enregistre dans le répertoire spécifié par /path/to/directory.
23. Téléchargement de fichiers avec une extension de fichier spécifique
Vous pouvez télécharger des fichiers avec une extension de fichier spécifique en utilisant l'option « -A ».
wget -r -A .pdf https://example.comCette commande télécharge tous les fichiers PDF depuis example.com.
24. Téléchargement de fichiers à partir d'un répertoire spécifique
Vous pouvez télécharger des fichiers à partir d'un répertoire spécifique sur un site Web à l'aide de wget.
wget -r -np -nH --cut-dirs=3 -R index.html https://example.com/dir/subdir/Cette commande télécharge tous les fichiers du répertoire sous-répertoire sur example.com.
25. Téléchargement de fichiers avec un modèle spécifique dans leur URL
Vous pouvez télécharger des fichiers avec un modèle spécifique dans leur URL en utilisant wget.
wget -r -np -nH --cut-dirs=3 -A '*.pdf' https://example.com/dir/subdir/Cette commande télécharge tous les fichiers PDF à partir du répertoire sous-répertoire sur example.com.
26. Téléchargement de fichiers à partir d'un site Web via FTP
Vous pouvez télécharger des fichiers depuis un site Web via FTP avec wget.
wget --ftp-user=USERNAME --ftp-password=PASSWORD ftp://example.com/Cette commande télécharge les fichiers depuis example.com via FTP avec le nom d'utilisateur et le mot de passe spécifiés.
27. Téléchargement de fichiers à partir d'un site Web via HTTPS
Vous pouvez télécharger des fichiers à partir d'un site Web en utilisant HTTPS avec wget.
wget https://example.com/file.zipCette commande télécharge le fichier.zip depuis example.com à l'aide de HTTPS.
28. Téléchargement de fichiers à partir d'un site Web via HTTP
Vous pouvez télécharger des fichiers à partir d'un site Web en utilisant HTTP avec wget.
wget http://example.com/file.zipCette commande télécharge le fichier.zip depuis example.com à l'aide de HTTP.
29. Téléchargement de fichiers à partir d'un site Web à l'aide d'un proxy
Vous pouvez télécharger des fichiers depuis un site Web en utilisant un proxy avec wget.
wget -e use_proxy=yes -e http_proxy=PROXY_URL:PORT https://example.com/file.zipCette commande télécharge le fichier.zip depuis example.com à l'aide du proxy spécifié.
30. Télécharger des fichiers à partir d'un site Web et les enregistrer sous un nom différent
Vous pouvez télécharger des fichiers à partir d'un site Web et les enregistrer sous un nom différent à l'aide de wget.
wget -O newname.zip https://example.com/file.zipCette commande télécharge file.zip depuis example.com et l'enregistre sous newname.zip.
Conclusion
En maîtrisant les différentes fonctionnalités de la commande wget à travers ces 30 exemples pratiques, vous pouvez grandement améliorer votre efficacité dans la gestion des téléchargements sous Linux. Que vous ayez besoin de télécharger un seul fichier, d'automatiser une série de téléchargements ou de mettre en miroir un site Web entier, wget offre la flexibilité et la puissance nécessaires pour accomplir ces tâches en toute simplicité. L'utilisation régulière de wget peut rationaliser vos flux de travail, gagner du temps et garantir que vous exploitez l'un des outils les plus utiles disponibles dans la boîte à outils de ligne de commande Linux.
