[inizio] [indice generale] [precedente] [successivo] [indice analitico] [contributi]


306. Scaricamento file - riproduzione (mirror) di siti

306.1 Getright o Go!zilla per Linux

Esiste un programma per Linux tipo Go!zilla oppure Getright di Windows?

gtm per Gnome;
caitoo per KDE; 

<!> (KDE)

wget per console testuale.

D: Renzo Francesco
R: Luca Pedrielli

306.2 Wget di un sito e dei link che contiene

Voglio copiare il contenuto di un sito fino ai primi 5 link consecutivi, anche quelli che puntano fuori dal dominio del sito di partenza, ma non riesco. Mi copia solo quello che c'è nel dominio e non vuole andare "fuori".

wget -r -k -l 5 -H http://sito

D: Yuri
R: Giacomo Comes

306.3 Effettuare il mirror di un sito

Come si fa il mirror di un sito?

Con wget, dai il comando:

wget -m http://www.sito.com

e fai il mirror completo di http://www.sito.com
               
R: Marco Fiocchi

306.4 Wget con i proxy

Mi servirebbe un qualcosa di simile al wget che però supporti i server proxy

Devi impostare le variabili:

export http_proxy="http://proxy.server.it:8080/"
export ftp_proxy="http://proxy.server.it:8080/"

naturalmente si usa -Y per abilitare l'uso del proxy:

wget -Y on <URL>

attenzione che però, usando il proxy, il wget -c non funziona (per
la cronaca -c significa "continua da dove ti eri fermato")

D: David Pisa
R: Luca (area[c]), Antonio Doldo

306.5 Permessi dei file scaricati mediante FTP

Ho installato un server Linux (Debian GNU/Linux 2.1 Kernel 2.2.10), funziona tutto ma ho il seguente problema:

quando, via ftp, scarico sul server un file, i permessi di quest'ultimo vengono impostati così: rw-r-----

Si deve cambiare l'umask.
Prova a dare il comando "umask 000" all'utente ftp
Così ottieni rw-rw-rw-

D: Gherardo
R: Detonator

306.6 Scaricamento file notturno automatizzato rateale

Come posso automatizzare lo scaricamento di file in orari particolari?

Ingredienti: wget, uno scriptino bash, un paio di "demoni".

Innanzitutto se sulla nostra distribuzione ancora non fosse presente
vediamo di procurarci wget, un programma potentissimo, estremamente
facile da utilizzare, avente la capacità di scaricare file o interi
siti da Internet, offrendo tra l'altro la possibilità di riprendere i
download interrotti.

Poi dobbiamo decidere se e quando operare lo scaricamento dei file da noi
scelti. Il momento migliore chiaramente è quando la riga è meno
intasata, ossia verso le 5 del mattino. 

Linux incorpora almeno un paio di demoni che possono fare al caso nostro:
Crond (se pensiamo di ripetere ad intervalli regolari nel tempo una
certa operazione, tipo tutti i giorni alle 5 del mattino) o Atd (per
operazioni univoche. Consultiamo le relative pagine di manuale.

Vcron, è molto semplice da utilizzare e mi
evita di dovermi ricordare la noiosa sintassi del crontab.

A questo punto ci scriviamo un piccolo script che, richiamato da cron
ad una certa ora, si colleghi ad Internet,
lanci wget, al termine dello scaricamento dei file interrompa la
connessione, e spenga il pc. 

############################################################
#!/bin/sh
#d_script = download script
#Script di Roberto Veronico
#(da utilizzare con Vcron ma non necessariamente)

###lancio la connessione in secondo piano
/usr/sbin/pppd &

###aspetto che si colleghi
until
test -f /var/run/ppp0.pid
do cat /dev/null
done

###aspetto 15 secondi per l'assegnazione dell'ip dinamico
a=$[SECONDS]
b=$[$a+15]
until test $[SECONDS] -gt $[b]
do cat /dev/null
done

###lancio wget che scaricherà quanto scritto in d_file
/usr/bin/wget -c -i /home/rob/d_file -P /home/rob/temp/download
;

###uccido la connessione
kill `cat /var/run/ppp0.pid`

##########fine dello script########################

È sufficiente quindi avere l'indirizzo del file da scaricare nel file
/home/rob/d_file (o, ovviamente, modificare il nome del file da 
scaricare nello script).

R: Roberto Veronico

[inizio] [indice generale] [precedente] [successivo] [indice analitico] [contributi]