Jak používat Wget ke stažení čehokoli z internetu

Wget je nástroj příkazového řádku, který lze použít ke stažení téměř čehokoli dostupného na internetu. Háček je v tom, že by měl být dostupný přes protokoly HTTP, HTTPS nebo FTP; jinak jej Wget nebude moci stáhnout. Existuje několik způsobů, jak lze Wget použít, například můžete použít Wget ke stažení každého obrázku na webu nebo si můžete stáhnout i jeden soubor. Wget je dokonce schopen obnovit stahování, pokud je to možné. Pokud vás tedy zajímá, jak Wget funguje a co pro vás může udělat, zde je návod, jak používat Wget:

Instalace Wget

1. Instalace Wget na macOS Sierra

Než začneme používat Wget, budeme jej muset nainstalovat do našeho systému. Nyní je naštěstí většina linuxových distribucí dodávána s předinstalovaným Wgetem, takže nebudete muset dělat žádnou další práci. Pokud však používáte Mac, budete si muset nainstalovat Wget. To lze snadno provést pomocí Homebrew (stažení). Pokud potřebujete pomoc, zde jsou kroky, které musíte provést:

• Nejprve si budete muset nainstalovat Homebrew na váš Mac, abyste si mohli stáhnout Wget. K tomu stačí spusťte Terminála zadejte následující příkaz:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

• Po dokončení příkazu Homebrew bude nainstalován na vašem systému. Nyní můžete Homebrew používat k instalaci balíčků, jako je Wget. V terminálu stačí spustit následující příkaz:

brew install wget

• Homebrew se automaticky spustí stahování, rozbalování a instalace Wgetu na vašem systému. Tento krok může nějakou dobu trvat v závislosti na rychlosti vaší sítě, takže buďte trpěliví. Po dokončení příkazu byste měli být schopni používat Wget na vašem Macu. Chcete-li zkontrolovat, zda byl nainstalován, použijte příkaz:

wget -V

2. Instalace Wget na Windows

Instalace Wget na Windows vyžaduje trochu více úsilí, ale lze ji snadno provést. Pokud chcete nainstalovat Wget do počítače se systémem Windows, postupujte podle následujících kroků:

• Za prvé, stažení Cygwin a pak spusťte stažený instalační soubor.

• Když se zeptá na výchozí zdroj stahování, vyberte možnost, která říká „Instalace z internetu“, a klikněte na „Další“.

• Vyberte instalační adresář pro Cygwin a také adresář, kam bude ukládat soubory balíčků pro instalaci utilit.

• Na další obrazovce musíte vybrat připojení k internetu. Pokud používáte proxy, vyberte typ proxy a vyplňte podrobnosti. Pro většinu uživatelů by však volba byla „Přímé spojení“.

• Poté se vám zobrazí a seznam zrcadel, vyberte kteroukoli z nich a stáhněte si Cygwin. Pokud se stahování nezdaří, můžete to zkusit znovu s jiným zrcadlem.

• V dalším okně vyhledejte „wget“, a klikněte na plus vedle „web“ v seznamu, který se objeví. Zde zaškrtávací políčko vedle „wget” bude vybrána automaticky. Stačí kliknout na „Další“.

• Na další obrazovce se zobrazí balíčky, které je třeba stáhnout. Stačí kliknout „Další“.

• Po dokončení instalace budete dotázáni, zda chcete vytvořit ikonu na plošea/nebo přidat vstup do nabídky Start. Toto je zcela věc osobních preferencí, ale navrhoval bych, abyste si jej přidali alespoň do nabídky Start, abyste jej snadno našli.

A je to. Wget je nyní nainstalován na vašem počítači se systémem Windows. Nebudete jej však moci spustit z příkazového řádku. Místo toho budete muset spusťte Cygwin Terminal a odtud použijte Wget.

Jak používat Wget

Nyní, když jsme v našem systému zprovoznili Wget, pojďme prozkoumat všechny skvělé způsoby, jak můžeme použít Wget ke stahování souborů, složek a dokonce celých webových stránek z internetu. Zde je několik zajímavých věcí, které můžete dělat s Wget na vašem systému.

Poznámka: Používám Wget na MacBooku Air se systémem macOS Sierra 10.12.3 beta. Protože však nástroj, který používáme, je stejný (Wget), příkazy budou stejné na jakémkoli operačním systému, na kterém používáte Wget.

1. Ke stažení souborů použijte Wget

Pomocí Wget můžete snadno stahovat soubory z internetu. Stačí použít následující příkaz

wget <url>

• Stáhněte soubor a uložte jej s konkrétním názvem souboru

Soubory na serverech mají někdy ty nejpodivnější názvy a možná budete chtít soubor stáhnout a nechat Wget automaticky přejmenovat na něco, co vám dává větší smysl. K tomu stačí použít následující příkaz

wget -o <output_file.extension> <url_to_download>

• Stáhnout pouze specifické typy souborů

Webový server může hostovat řadu různých souborů. Co když si tedy chcete stáhnout pouze všechny soubory PDF na serveru nebo možná všechny GIFy? Jednoduše použijte následující příkaz:

wget -r -A pdf <url_to_download>

Tento konkrétní příkaz použil Mark Zuckerberg na své koleji na Harvardu ke stažení všech obrázků pomocí jediného příkazu a vytvoření nechvalně známé webové stránky „facesmash.com“.

wget -r -A jpg, jpeg, png, bmp <url_to_download>

2. Stáhněte si soubory z více URL pomocí Wget

Řekněme, že potřebujete stahovat soubory z mnoha různých míst na internetu. Může být a PDF soubor na url1důležitý ZIP soubor na adrese URL2a něco jiného v url3. Pokud jste Wget používali tradičním způsobem, budete jej muset spustit třikrát. Existuje však mnohem jednodušší způsob, jak toho dosáhnout.

• Nejprve vytvořte soubor se všemi adresami URL, ze kterých potřebujete data stáhnout. Ujisti se ponechat každou adresu URL na vlastním řádku. Uložte soubor a ujistěte se, že si pamatujete název.

• V Terminálu použijte následující příkaz ke stažení souborů ze všech adres URL:

wget -i <file_name>

kde „název souboru“ je název souboru, který jste vytvořili se všemi adresami URL potřebovali jste si něco stáhnout.

3. Stáhněte si celý web pomocí Wget

Ano, čtete správně. Wget můžete použít také ke stažení obsahu celé webové stránky. Je zřejmé, že pokud je web příliš velký, dokončení tohoto příkazu zabere spoustu času, nemluvě o tom, že zabere spoustu místa ve vašem systému. To znamená, že pokud chcete použít Wget ke stažení celého webu, stačí použít následující příkaz:

wget --mirror -p <url> -P ./LOCAL-DIR WEBSITE-URL

Tím se stáhne celý web do složky „MÍSTNÍ-DIR“ ve vašem pracovním adresáři. Soubory webu budou uloženy ve složce se stejným názvem jako web, a to díky „URL STRÁNKY“.

4. Použijte Wget jako Web Spider

Můžete také přimět Wget, aby se choval jako webový prohledávač (nebo webový pavouk). To je užitečné, když chcete potvrďte, že adresa URL souboru, který chcete stáhnout, je platná. Chcete-li použít Wget jako webový pavouk a zkontrolovat platnost adres URL, stačí použít následující příkaz:

wget --spider <url>

Tím se zkontroluje, zda adresa URL, kterou jste zmínili, existuje, a obdržíte odpověď s výsledky kontroly.

• Pozitivní odpověď:

• Negativní odpověď:

5. Pokračujte v neúplném stahování

Toto je další opravdu skvělá věc, kterou Wget umí. Řekněme, že jste stahovali soubor pomocí Wget, ale z nějakého důvodu jste museli vypnout notebook. Až se příště budete chtít pokusit stáhnout stejný soubor, Wget to skutečně zvládne pokračovat ve stahování pro tebe. Prostě musíš ujistěte se, že jste ve stejné složce, ze které jste soubor stahovali naposledya poté použijte následující příkaz:

wget -c <url>

Když Wget uvidí, že část souboru je již ve vašem systému přítomna, bude automaticky pokračovat ve stahování.

Poznámka: Pokud se soubor na serveru od posledního pokusu o jeho stažení změnil, pak byste tento příkaz neměli používat, protože by to mělo za následek poškození souboru, který nebudete moci číst.

Také, pokud server nepovolí pokračování stahování, pak Wget odmítne zahájit stahování od nuly. Chcete-li zahájit stahování od začátku, budete muset částečně stažený soubor odstranit ze systémuza prvé.

Existuje několik dalších podmínek pro použití tohoto argumentu a můžete si o něm přečíst více na Manuální stránka Wget.

6. Omezte rychlost stahování

Pokud používáte Wget ke stahování souborů a zároveň prohlížíte internet, pravděpodobně byste nechtěli, aby Wget zabral celou vaši šířku pásma. Naštěstí Wget obsahuje argument, který můžete použít omezit množství šířky pásma které může Wget použít pro stahování souborů do vašeho systému:

wget --limit-rate=<speed> <url>

Poznámka: Mějte na paměti, že rychlost je uvedena v bytech, nikoli v bitech. Pokud tedy použijete Wget –limit-rate=20k, omezí to využití šířky pásma na 20 kB, nikoli na 20 kb.

7. Použijte Wget ke stažení souborů z FTP serverů

Pokud potřebujete stáhnout soubor z FTP serveru, můžete to udělat také pomocí Wget. Ke stažení souborů z FTP serverů jednoduše použijte následující příkaz:

wget <ftp_url>

• Stahujte soubory z FTP serverů s přihlášením

Pokud váš FTP server vyžaduje přihlášení, abyste mohli stahovat soubory, můžete také jednoduše předat přihlašovací údaje pomocí Wget. Stačí použít následující příkaz:

wget --ftp-username=USERNAME --ftp-password=PASSWORD <ftp_url>

VIZ TAKÉ: 30 příkazů terminálu Mac pro přístup ke skrytým funkcím

Snadno použijte Wget ke stažení souborů z internetu

Wget můžete použít ke stahování souborů odkudkoli na internetu. I když Wget funguje téměř vždy, existují určité servery, které brání přístupu k Wgetu, v takovém případě můžete zkusit změnit –user-agent pro váš příkaz Wget. To však není doporučený postup, pokud absolutně nevíte, co děláte. Z větší části vám Wget umožní stáhnout jakýkoli soubor z internetu, pokud k němu máte přístup a jeho URL.

Takže, použili jste někdy Wget ke stahování souborů z internetu? Dejte nám vědět o svých zkušenostech s používáním Wgetu ke stahování souborů přes protokoly HTTP, HTTPS a FTP. Také, pokud víte o některých dalších použitích Wget, o kterých si myslíte, že si zaslouží být na tomto seznamu, dejte nám o nich vědět v sekci komentářů níže.