Páginas

quarta-feira, 25 de novembro de 2015

Como fazer o download de uma website completo com wget no Linux




Para fazer o download de uma página bastaria o comando wget -r( wget recusivo) e a página, porém muitas páginas não deixam você fazer isso e depois de feito é muito provável que o admin te coloque em uma blacklist.

Então pensando nisso usei as opções abaixo:


wget --wait=15 --limit-rate=50K -r -p -k -U Mozilla http://yourwebsite.com/


Explicação das opções:



O comando --wait=15 espera 15 segundos antes de baixar o próximo elemento, isso diminui a atenção sobre sua navegação no site.

Já o comando --limit-rate=50K limita o download a 50K e.e.

O -r como explicado no inicio dá a recursividade, ou seja, ele baixa os elementos das pastas dentro de outras pastas no mesmo diretório.

O -p e o -k são específicos para quem quer navegar na página offline o -p te dá os elementos para ver o site corretamente(css,imagens...) e o -k muda todos os links para que você possa ver offline as páginas que estão online.

 O -U seguido pelo argumento Mozilla dá ao wget as características de um "navegador" comum, isso porque muitos websites não deixam que você navega por eles sem informar qual navegador você está usando, como diria um amigo meu "Frescura de web designer rsrs".

Se você quiser baixar um local específico do website use -no--noparente.

Para mais informações nunca se esqueça do help, com wget --help você terá todas as opções do comando. 

Nenhum comentário:

Postar um comentário

Obrigado pelo seu comentário, vamos responder assim que possível.