Kako brzo navesti sve URL-ove povezane s web stranicom

Dakle, trebate popis koji sadrži sve URL-ove web mjesta? Radite li možda neka preusmjeravanja? Dostigli ste ograničenje za XML Sitemapove? Super, i ja također. Za vas imam samo alat koji će to obaviti otprilike jednakom brzinom kao i XML Sitemaps, ali izgledat ćete hladnije dok to radite.

Gdje tutorial zapravo započinje

Da bismo dobili vaš popis URL-ova, koristit ćemo Wget!

Što je Frigg Wget?

"Wget je besplatni softverski paket za preuzimanje datoteka pomoću HTTP-a, HTTPS-a i FTP-a, najčešće korištenih internetskih protokola." - Brew ‍Formulas

A možete ga koristiti i za traženje velikog popisa URL-ova povezanih s domenom.‍

‍1. Instaliranje Wgeta

Da biste instalirali Wget, ako već niste, prvo ćete trebati instalirati HomeBrew; zvani Brew. ? Brew je upravitelj paketa, što znači da za vas instalira softver i upravlja njime. Upute možete pogledati na njihovoj web stranici ili samo slijediti one u nastavku.

Instalirajte Brew

Zalijepite ovo u terminalski upit i dvaput pritisnite Enter (možda će vas tražiti lozinku.)

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"‍

Instalirajte Wget

Sad kad ste instalirali Brew, vrijeme je da instalirate Wget. Zalijepite ovo u prompt terminala i pritisnite enter ⮐

brew install wget

2. Vrijeme je za dobivanje "Dem URL-ova"

Sada s instaliranim Wgetom jednostavno preuzmemo web mjesto i zatim prikazujemo sve njegove URL-ove. Započnite s preuzimanjem web stranice s kojom želite

Wget -r www.shutterandcode.com

Tada ćemo nakon završetka preuzimanja navesti URL-ove s

Find www.shutterandcode.com

(Obavezno koristite istu domenu web mjesta kao i preuzetu).

Zaključak

Nakon niza ležernih testova kojima Wget uspoređujem s XML kartama web lokacija koristeći manje web stranice, otkrio sam da su obojica prilično jednaki jedni drugima. Povremeno bi jedan bio brži od drugog, ali sveukupno su obojica imali slične brzine.‍

Ako želite saznati više o naredbama Wget, jednostavno upišite ovo u upit

wget --help

Nadam se da ste uživali čitajući ovo! Ne zaboravite lajkati, komentirati i pretplatiti se! ?

ps se zapravo ne osjećaju obveznima lajkati, komentirati ili pretplatiti se jer je to jednostavno šala za YouTubere :)

AŽURIRANJE: ako ne želite da se stranica zapravo preuzme na vaše računalo, dodajte "- pauk" nakon "wgeta" poput
wget -r --spider www.example.com

Pogledajte izvorni post i ostatak Snippeta! serija na

Kapci i kôd - Le Blog