Отправляет email-рассылки с помощью сервиса Sendsay

wget закачивает все файлы вместо только измененных

Тут проблема возникла. Мне надо выкачать сайт. Причем очень важно,
чтобы выкачивались только реальные изменения. Я взял wget.exe 1,8,2 и запустил
его в таком виде:
wget -p -r -l0 -N -k -nv http://tm/tm/index.lhtml 2>wget.log

На сайте у меня валяются PHP скрипты, которые устанавливают Last-Modified.
Вот пример ответа сервера:
GET /tm/index.lhtml HTTP/1.0

HTTP/1.1 200 OK
Server: Apache/1.3.9 (Win32) PHP/4.2.3
X-Powered-By: PHP/4.2.3
Last-Modified: Sun, 13 Jun 2004 10:42:58 GMT
Content-Length: 10901
Connection: close
Content-Type: text/html; charset=windows-1251

...
Тогда wget делает следующее: он, не взирая на -N закачивает все файлы
и ставит им дату, взятую из Last-Modified, а по окончании работы
переустанавливает ее в текущее время. Ну, такое поведение не лезет ни в
какие ворота!

Кто знает, что ему еще надо?!

Мне это нужн для того, чтобы потом выкачать только изменения в
интернет.

Идеальным раскладом было бы, если бы у файлов оставалась дата из
Last-Modified, или, в крайнем случае, чтобы он обращал внимание на
дату, и не закачивал то, что датой раньше уже скаченного.
-*Название листа "Linux: разрешение вопросов, перспективы и общение";
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Адрес правил листа http://subscribe.ru/catalog/comp.soft.linux.discuss/rules
Номер письма: 8357; Возраст листа: 325; Участников: 1164
Адрес сайта рассылки: http://www.linuxrsp.ru
Адрес этого письма в архиве: http://subscribe.ru/archive/comp.soft.linux.discuss/msg/170173



-*Информационный канал Subscribe.Ru
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Отписаться: mailto:comp.soft.linux.discuss--unsub@subscribe.ru

http://subscribe.ru/ mailto:ask@subscribe.ru

Ответить   Tue, 15 Jun 2004 14:25:05 +0400 (#170173)

 

Ответы:

Organization:

В Вто, 15.06.2004, в 13:25, vabv***@m*****.ru пишет:

wget -c -- докачивает неполные файлы. Если в рекурсивном
режиме - только те, которые еще не скачаны.

и вообще man wget

Ответить   15 Jun 2004 23:33:21 +0300 (#170649)

 

В целом проблема закрыта, но документации на этот раз помогла мало. В
документации не написано, какой эффект дает сочетание опций -k -c и
заголовка Content-Length, а так же, что именно опция -k изменяет время
модификации файлов. Это становится ясно только после того, как были
включены полные логи с ответами сервера.
А расклад оказался таким:
1. Сперва проверяется размеры файлов. Из-за опции -k они различны.
2. Полностью перескачивается файл (опция -c).
3. Изменяется файл - редактируются ссылки (опция -k).

Далее по кругу.

Разрывается путем убирания -c в wget или заголовка Content-Length на
www-сервере Ж-).
-*Название листа "Linux: разрешение вопросов, перспективы и общение";
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Адрес правил листа http://subscribe.ru/catalog/comp.soft.linux.discuss/rules
Номер письма: 8397; Возраст листа: 326; Участников: 1166
Адрес сайта рассылки: http://www.linuxrsp.ru
Адрес этого письма в архиве: http://subscribe.ru/archive/comp.soft.linux.discuss/msg/170928



-*Информационный канал Subscribe.Ru
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Отписать : mailto:comp.soft.linux.discuss--unsub@subscribe.ru

http://subscribe.ru/ mailto:ask@subscribe.ru

Ответить   Wed, 16 Jun 2004 11:17:32 +0400 (#170928)