Подписаться Бесплатный дискуссионный лист Подписчиков 998

←   Ноябрь 2004   →
1 01.11.2004 00:41:21 00:45:26 00:46:23 09:17:36 09:40:17 10:22:05 13:08:34 13:27:12 13:27:31 13:35:29 13:35:43 15:07:26 15:08:06 19:18:59 19:57:46 19:58:04 20:09:11 21:33:09 22:03:48 22:04:41 22:05:01 22:35:38 23:09:02 23:09:53 23:10:12	2 02.11.2004 00:13:09 00:14:57 01:39:01 01:39:40 03:23:36 03:24:01 05:45:08 06:00:10 06:44:52 08:56:32 09:01:16 09:02:19 09:04:00 09:04:26 09:08:21 10:07:02 10:21:13 11:33:16 11:49:07 12:06:19 13:48:28 14:19:09 15:17:05 15:31:06 17:41:42 18:01:27 18:15:36 19:23:19 20:04:34 20:51:19 20:59:45 21:00:12 21:37:35 22:16:45 23:21:37 23:29:26 23:30:45 23:31:17 23:31:56 23:32:57	3 03.11.2004 00:25:20 00:26:51 00:30:19 02:26:25 02:39:00 08:07:16 08:42:54 08:47:59 08:48:32 08:48:56 08:52:21 08:54:15 08:57:50 09:02:15 09:06:03 09:20:59 09:21:38 10:03:57 10:22:50 10:29:28 10:43:10 12:12:58 12:27:57 12:29:46 12:37:51 12:42:44 12:43:00 13:04:34 14:05:05 14:36:06 17:57:45 19:35:19 20:01:35 20:05:00 20:05:15 20:46:41 21:09:54 21:10:12 21:10:30 21:10:45 21:11:05 21:12:41 21:13:05 21:13:18 21:13:32 21:13:55 21:14:11 21:14:23 21:16:04 21:37:05 21:46:33 22:25:53 22:26:27 22:27:09 23:10:10 23:23:42	4 04.11.2004 00:27:00 00:28:02 00:28:48 00:32:08 00:51:02 01:16:13 01:18:56 02:12:31 02:15:51 02:29:10 02:29:27 02:29:45 03:31:31 04:50:34 07:24:52 08:04:12 09:01:01 09:24:00 09:29:27 09:41:13 10:03:33 10:26:07 11:07:17 11:21:48 12:16:52 12:20:05 12:25:04 12:34:57 12:50:58 12:56:31 14:01:14 14:01:59 14:02:17 14:02:38 14:04:04 14:12:20 14:50:14 14:51:12 15:12:24 15:20:39 15:54:34 15:55:39 16:37:58 16:38:44 17:23:49 18:37:02 21:24:13 21:43:03 21:55:20 22:13:18 22:13:42 22:13:55 22:14:15 22:24:12 22:25:09 22:33:16 23:00:47 23:41:41 23:44:59 23:46:05 23:46:20 23:46:40	5 05.11.2004 00:40:24 00:43:53 00:44:54 01:59:10 02:08:09 05:49:24 05:49:54 05:50:58 05:51:38 05:52:01 05:52:41 06:40:30 06:41:18 06:47:35 07:36:14 08:00:07 09:24:44 09:52:52 09:57:39 10:01:42 10:05:52 10:23:09 11:07:08 11:07:46 11:10:02 11:18:49 11:36:39 11:49:43 12:29:16 13:06:24 13:12:16 14:00:20 14:18:01 15:21:32 15:46:05 17:59:37 19:32:42 20:04:16 20:47:39 21:16:01 21:34:51 21:35:25 22:15:47 22:16:19 22:35:33 23:06:28 23:06:58	6 06.11.2004 00:02:52 00:23:35 01:24:23 01:25:04 01:25:40 01:30:11 01:30:45 01:31:44 01:35:59 03:06:37 07:18:07 10:01:03 11:47:35 12:26:59 12:28:01 12:28:38 12:30:09 12:30:55 12:31:36 12:31:50 12:32:04 14:33:32 14:33:47 17:11:10 17:20:23 18:09:55 19:00:11 19:06:06 21:32:23 22:10:57 22:41:23 22:43:58 22:45:27 22:45:49 23:07:33 23:24:27 23:25:42 23:26:30 23:27:43	7 07.11.2004 02:20:01 05:41:29 05:41:55 06:26:12 07:30:16 11:38:35 12:47:12 22:15:22
8 08.11.2004 00:15:13 00:26:40 02:40:43 07:25:09 18:53:05 20:55:37 20:55:54 21:21:27 21:21:57 21:27:11 21:27:46 21:28:02 21:33:24 21:38:50 21:39:14 21:50:58 22:48:15 23:21:34 23:26:08	9 09.11.2004 00:08:35 00:38:09 01:21:29 02:32:15 09:39:01 09:40:13 09:47:50 10:00:33 10:03:05 10:07:14 10:12:01 10:30:56 10:31:58 11:13:23 11:15:26 11:57:31 12:12:01 12:12:43 12:36:30 13:40:27 14:44:53 15:01:20 15:17:30 15:33:29 15:37:02 17:53:01 18:44:47 19:09:46 20:22:23 20:22:46 20:24:16 20:24:32 20:37:16 23:22:11 23:22:45 23:48:55	10 10.11.2004 00:20:58 00:21:16 00:21:38 00:23:30 00:32:32 08:02:15 09:49:55 09:56:03 11:19:18 11:23:05 11:30:06 11:42:18 11:43:11 12:17:57 12:56:38 13:52:38 13:54:28 14:16:48 14:32:04 14:45:33 15:09:43 16:06:02 16:10:11 16:10:27 16:10:56 16:45:09 17:19:32 18:12:36 18:24:19 18:37:03 18:41:05 18:41:20 19:00:20 19:24:13 20:04:52 21:12:07 22:09:05	11 11.11.2004 00:29:46 00:35:23 00:36:08 00:39:52 00:44:03 00:46:22 00:50:04 00:50:47 00:51:05 00:58:52 01:41:08 01:42:24 01:54:36 08:05:22 08:05:37 08:06:02 08:06:23 08:41:47 09:19:01 09:59:35 10:05:15 10:17:02 10:47:54 11:15:32 11:21:15 11:39:44 11:39:59 12:39:53 12:40:14 12:58:11 13:13:19 18:18:06 18:50:42 19:18:55 19:29:29 19:57:00 19:57:14 19:57:28 20:41:48 21:56:08 21:57:54 21:58:33 22:07:20 22:19:44 23:20:07 23:20:58 23:21:16 23:21:56 23:22:29 23:25:27 23:50:17 23:50:44 23:52:39	12 12.11.2004 00:17:44 00:58:10 01:13:23 01:27:28 01:27:57 01:28:32 01:28:49 01:29:35 01:30:11 01:30:46 01:31:01 01:32:08 01:56:50 03:19:10 04:01:50 04:25:35 04:31:56 04:40:25 06:23:23 07:53:04 08:12:50 08:16:02 09:52:18 10:07:09 10:19:16 10:39:47 10:50:37 10:52:15 10:58:57 11:32:51 11:34:11 11:40:35 11:42:53 11:48:41 11:49:41 12:17:36 12:39:37 12:39:57 12:46:40 12:47:02 12:47:29 12:47:45 13:38:20 13:57:26 15:09:01 15:46:52 15:52:07 16:18:59 16:22:46 16:35:16 16:41:50 16:42:04 16:49:12 16:49:56 17:00:24 17:11:32 17:31:35 17:48:08 17:49:46 17:51:30 17:59:03 18:00:40 18:00:53 18:03:27 18:19:08 18:20:05 18:22:18 18:28:46 18:45:45 20:22:24 20:35:53 21:04:55 22:40:26 22:51:22 23:03:42 23:24:29 23:24:47 23:25:06 23:53:52	13 13.11.2004 00:42:03 00:49:15 00:54:01 01:37:34 01:44:50 01:45:25 01:52:09 04:34:18 07:22:04 07:29:52 07:30:32 07:30:54 07:31:18 09:07:48 09:08:08 09:20:51 12:01:01 12:37:02 12:51:00 13:17:36 13:49:13 16:14:33 17:02:46 17:03:02 17:03:38 17:23:26 20:00:15 20:00:33 20:00:48 20:01:02 20:01:17 21:23:06 21:59:29 23:10:15 23:40:54 23:41:11 23:41:38 23:41:53 23:42:17 23:42:33 23:43:12 23:43:37 23:44:31 23:50:29	14 14.11.2004 00:43:04 00:48:05 01:09:43 03:52:02 14:03:44 14:03:58 14:18:51 14:19:13 14:19:43 14:27:39 15:20:32 15:20:45 16:09:40 18:23:42 18:23:56 18:24:12 18:36:47 19:47:06 19:47:19 20:01:38 20:20:59 20:21:35 21:33:07 21:33:26 22:01:47 22:02:16 22:17:37 22:20:37 23:35:14 23:56:46
15 15.11.2004 00:08:07 00:16:52 01:02:11 02:16:50 05:49:40 07:39:05 09:02:56 09:13:15 09:38:09 09:42:43 10:05:05 11:38:28 12:43:38 12:44:43 12:46:35 13:12:00 13:36:21 14:10:16 14:10:45 15:55:29 15:55:44 16:03:15 16:12:04 16:50:57 17:01:43 18:34:06 18:39:28 21:01:20 21:17:50 21:18:25 21:19:01 21:26:28 21:26:47 22:45:45 22:47:20 22:48:57 22:49:13 22:49:37 22:53:38 22:53:55 23:41:15 23:44:06 23:52:01	16 16.11.2004 01:19:09 01:23:57 01:27:22 01:27:40 01:27:58 01:28:13 01:31:35 05:37:13 08:09:50 08:14:40 09:09:28 09:45:26 10:22:31 10:32:33 10:46:41 10:56:32 10:57:04 10:58:05 10:58:44 10:59:21 11:01:08 11:11:31 11:12:49 11:38:23 11:46:41 11:54:49 12:01:04 12:35:12 13:12:09 14:27:02 14:42:18 14:46:07 14:48:12 15:26:35 15:34:52 16:55:18 17:31:28 18:53:05 20:13:18 20:13:36 20:13:50 20:14:06 20:52:43 22:05:16 22:26:49 22:29:07 22:56:12 22:56:49 22:57:23 22:58:00 22:58:34 22:58:50 22:59:07 22:59:24 22:59:42 23:13:06 23:56:26	17 17.11.2004 00:11:27 00:14:27 00:29:18 00:33:26 01:05:14 02:16:17 02:16:39 08:37:10 09:34:03 10:18:30 10:45:50 10:58:24 13:23:17 14:41:05 15:04:37 16:55:39	18 18.11.2004 00:04:07 00:37:53 00:53:22 00:59:57 01:05:36 01:06:10 01:07:34 01:08:13 02:38:31 07:05:07 07:08:13 07:08:57 07:09:39 07:10:19 07:10:50 07:11:22 07:13:28 09:05:43 09:14:10 09:28:51 09:33:48 09:39:04 10:12:37 10:25:37 10:27:54 10:37:55 10:38:45 11:20:07 13:04:42 13:46:39 16:54:35 18:43:31 20:44:06 20:50:56 21:32:30 23:10:28 23:10:56 23:11:24 23:12:17	19 19.11.2004 00:16:12 00:19:30 01:12:52 01:27:34 01:48:43 02:08:59 02:10:06 04:39:01 05:17:22 05:17:50 10:27:37 10:29:09 11:23:27 13:16:04 14:52:43 17:46:45 17:51:35	20 20.11.2004 21:29:51 21:30:20 21:36:47 21:37:58 21:38:25 21:38:37 21:38:58 21:38:59 21:39:23 21:39:40 21:39:48 21:40:10 21:40:31 21:41:57 21:42:28 21:43:04 21:43:30 21:43:42 21:44:17 21:44:47 23:48:00	21 21.11.2004 00:32:12 03:24:25 18:27:18 21:30:14 21:36:21 21:37:29 21:41:13 21:41:26 21:48:42 21:51:07 21:51:43 21:57:08 22:01:54 22:02:08 22:07:40 22:08:35 22:16:01 22:16:53 22:17:07 22:17:21 22:20:11 22:47:19 23:25:02 23:45:23
22 22.11.2004 00:41:10 00:56:06 01:01:41 01:18:00 02:24:41 06:32:14 06:44:11 06:57:45 06:58:12 08:02:47 08:59:27 10:05:46 10:08:13 10:34:13 12:52:23 15:23:16 15:23:29 15:23:55 15:24:16 15:24:34 15:26:46 15:49:57 16:40:48 18:08:45 18:46:30 18:47:03 18:47:16 18:47:41 18:48:55 18:49:11 18:57:54 19:00:42 19:16:53 21:03:39 22:49:31 23:06:05	23 23.11.2004 00:15:44 02:52:29 08:22:30 08:24:14 10:05:25 10:23:01 12:00:04 13:21:07 13:21:16 14:54:37 14:57:43 15:11:15 15:12:16 15:17:12 15:19:52 15:22:20 15:23:14 16:30:18 20:31:47 22:20:34 22:47:12	24 24.11.2004 00:35:22 00:36:11 00:36:27 00:36:38 00:37:38 00:37:47 00:38:15 00:38:31 00:38:47 04:24:02 05:57:58 05:58:18 08:21:22 10:04:33 10:05:31 10:19:37 10:44:29 10:48:22 11:00:31 11:22:03 13:01:42 13:33:07 13:52:03 13:52:39 14:23:57 19:27:32 21:05:14 21:05:32 22:52:55 22:53:31 23:41:37	25 25.11.2004 00:15:03 00:15:17 00:49:01 00:52:19 06:36:10 07:54:32 09:28:19 10:12:40 10:18:43 11:48:38 12:45:13 12:47:04 13:04:11 13:04:25 16:06:18 16:33:13 16:55:10 17:04:51 17:25:26 17:32:48 17:40:18 18:01:39 18:03:04 18:03:37 18:05:01 18:18:44 18:22:06 18:30:03 18:51:03 18:53:02 19:19:24 19:19:41 19:20:12 19:20:30 19:25:01 22:28:31 22:28:41 22:35:11 22:36:47 23:02:42 23:05:01 23:07:09	26 26.11.2004 01:42:07 01:47:57 03:17:30 03:18:36 07:42:26 08:37:57 09:46:58 09:51:24 09:54:44 10:10:36 11:31:06 11:48:25 12:17:48 12:53:06 13:10:47 13:11:33 13:53:20 14:01:27 14:51:19 15:25:17 15:42:09 15:42:39 15:43:19 15:45:56 16:22:29 16:22:57 16:40:33 16:46:59 16:47:56 17:16:27 18:09:39 18:26:53 19:06:37 20:53:07 22:21:53 22:22:22 22:44:12 22:52:32 22:56:08 23:03:09 23:14:42 23:45:29	27 27.11.2004 00:12:33 00:12:52 00:15:16 00:15:39 00:15:59 00:16:19 00:16:36 00:33:32 00:33:46 00:57:38 08:04:50 09:15:16 11:01:27 11:09:01 14:06:11 14:39:40 19:25:06 19:26:49 19:26:59 19:27:31 21:00:22	28 28.11.2004 00:07:06 00:08:22 00:28:21 00:33:01 00:47:48 01:27:18 01:33:17 12:50:37 13:48:28 18:39:48 19:08:03 19:53:49 20:16:33 20:17:18 20:17:52 21:14:05 22:30:42
29 29.11.2004 00:03:11 00:03:35 05:42:04 05:44:59 06:15:31 08:01:51 09:38:44 10:07:41 10:41:00 10:42:57 11:09:12 11:44:03 12:02:51 12:34:28 12:42:40 12:44:24 12:47:03 12:58:27 13:15:18 14:18:06 14:22:15 14:22:56 14:57:16 17:46:23 18:30:28 18:30:39 18:39:03 19:25:24 20:15:02 20:15:19 20:33:10 20:55:50 21:02:19 21:15:05 22:33:50 23:11:31	30 30.11.2004 00:28:20 00:28:54 00:29:21 00:29:41 00:30:06 00:31:55 00:32:23 00:32:43 00:33:01 00:33:23 00:33:41 00:36:47 01:16:47 02:09:34 02:11:50 05:06:53 05:07:20 06:27:46 07:07:14 07:43:13 07:43:57 09:59:36 10:08:33 11:51:44 12:08:38 12:45:37 13:13:38 13:29:28 13:55:33 15:56:28 17:50:43 18:03:32 19:41:43 19:42:06 20:20:23 20:20:47 20:21:02 20:39:24 22:33:25 22:34:09 22:34:23 22:34:56 22:35:42 22:36:24 22:37:27 22:39:10 22:40:46 22:42:06 23:37:41 23:45:17 23:52:41

За последние 60 дней ни разу не выходила

Сайт листа: http://www.linuxrsp.ru
Открыт: 25-07-2003
Пре-модерация: Нет
Адрес для писем в лист: comp.soft.linux.discuss-list@subscribe.ru
Адрес модератора: comp.soft.linux.discuss-owner@subscribe.ru

Модератор

Фёдор Сорекс

Статистика

998 подписчиков
0 за неделю

• Выпуски
• Статистика

large files by wget

Доброе время суток всем!

Требуется закачать большой файл ( 650 метров ).
Можно как-нибудь указать wget'у, чтобы он начинал закачку например с
29687 байта?
Если да то как? Если нет, то чем можно качать большие файлы по кускам
или с определенной позиции?

-*Название листа "Linux: разрешение вопросов, перспективы и общение";
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Адрес правил листа http://subscribe.ru/catalog/comp.soft.linux.discuss/rules
Номер письма: 13190; Возраст листа: 471; Участников: 1289
Адрес сайта рассылки: http://www.linuxrsp.ru
Адрес этого письма в архиве: http://subscribe.ru/archive/comp.soft.linux.discuss/msg/259442

-*Информационный канал Subscribe.Ru
Подписан адрес:
Код этой рассылки: comp.soft.linux.discuss
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Отписаться: mailto:comp.soft.linux.discuss--unsub@subscribe.ru?subject=comp.soft.linux.discuss

http://subscribe.ru/ http://subscribe.ru/feedback

Ответить   "H.R.Giger -=dead tillias_TT=-" Mon, 08 Nov 2004 22:48:03 +0300 (#259442)

 

Ответы:

› показать цитату

> Требуется закачать большой файл ( 650 метров ). > Можно как-нибудь указать wget'у, чтобы он начинал закачку например с > 29687 байта? > Если да то как? Если нет, то чем можно качать большие файлы по кускам > или с определенной позиции?

допустим, мы говорим про файл file.avi :)

$ dd if=/dev/zero of=file.avi bs=1 count=29687
$ wget -c -nd http://www.site.com/file.avi

Ответить  

Kolotov Alexandr

Tue, 09 Nov 2004 00:00:52 +0300 (#259481)

 

В сообщении от 09.11.2004 00:00 Kolotov Alexandr пишет:

› показать цитату

> допустим, мы говорим про файл file.avi :) > > $ dd if=/dev/zero of=file.avi bs=1 count=29687 > $ wget -c -nd http://www.site.com/file.avi

Оригинально!
Большое спасибо!

Ответить   "H.R.Giger -=dead tillias_TT=-" Wed, 10 Nov 2004 15:08:38 +0300 (#260691)

 

Hello H.R.Giger,

Monday, November 8, 2004, 10:48:03 PM, you wrote:

› показать цитату

HRGdt> Доброе время суток всем!

› показать цитату

HRGdt> Требуется закачать большой файл ( 650 метров ). HRGdt> Можно как-нибудь указать wget'у, чтобы он начинал закачку например с HRGdt> 29687 байта? HRGdt> Если да то как? Если нет, то чем можно качать большие файлы по кускам HRGdt> или с определенной позиции?

wget имеет опцию докачивания файла. Если же надо начать именно с
конкретного места и именно конкретное количество байт, то подключаемся
telnet-ом к 80 порту нужного сервера и выдаем что-то вроде следующего
(подправить то, что нужно):

GET /pdf/example.pdf HTTP/1.0
Connection: Keep-Alive
Range: bytes= 1024-2047,4096-5000,6000-7000,8000-

... и лови результат :-).

Best regards,
vabvab mailto:vabv***@m*****.ru

-*Название листа "Linux: разрешение вопросов, перспективы и общение";
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Адрес правил листа http://subscribe.ru/catalog/comp.soft.linux.discuss/rules
Номер письма: 13249; Возраст листа: 473; Участников: 1291
Адрес сайта рассылки: http://www.linuxrsp.ru
Адрес этого письма в архиве: http://subscribe.ru/archive/comp.soft.linux.discuss/msg/260656

-*Информационный канал Subscribe.Ru
Подписан адрес:
Код этой рассылки: comp.soft.linux.discuss
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Отписаться: mailto:comp.soft.linux.discuss--unsub@subscribe.ru?subject=comp.soft.linux.discuss

http://subscribe.ru/ http://subscribe.ru/feedback

Ответить  

vabv***@m*****.ru

Wed, 10 Nov 2004 13:55:55 +0300 (#260656)

 

В сообщении от 10.11.2004 13:55 vabv***@m*****.ru пишет:

› показать цитату

> Если же надо начать именно с > конкретного места и именно конкретное количество байт,

Именно!

› показать цитату

> то подключаемся > telnet-ом к 80 порту нужного сервера и выдаем что-то вроде следующего > (подправить то, что нужно):

Как подключиться к 80 порту нужного сервера? ( например www.lamer.ru )
Точнее какой тулзой ( желательно стандартной ).

-*Название листа "Linux: разрешение вопросов, перспективы и общение";
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Адрес правил листа http://subscribe.ru/catalog/comp.soft.linux.discuss/rules
Номер письма: 13255; Возраст листа: 473; Участников: 1291
Адрес сайта рассылки: http://www.linuxrsp.ru
Адрес этого письма в архиве: http://subscribe.ru/archive/comp.soft.linux.discuss/msg/260754

-*Информационный канал Subscribe.Ru
Подписан адрес:
Код этой рассылки: comp.soft.linux.discuss
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Отписаться: mailto:comp.soft.linux.discuss--unsub@subscribe.ru?subject=comp.soft.linux.discuss

http://subscribe.ru/ http://subscribe.ru/feedback

Ответить   "H.R.Giger -=dead tillias_TT=-" Wed, 10 Nov 2004 16:10:21 +0300 (#260754)

 

Hello H.R.Giger,

Wednesday, November 10, 2004, 4:10:21 PM, you wrote:

› показать цитату

HRGdt> В сообщении от 10.11.2004 13:55 vabv***@m*****.ru пишет:

› показать цитату

>> Если же надо начать именно с >> конкретного места и именно конкретное количество байт,

› показать цитату

HRGdt> Именно!

› показать цитату

>> то подключаемся >> telnet-ом к 80 порту нужного сервера и выдаем что-то вроде следующего >> (подправить то, что нужно):

› показать цитату

HRGdt> Как подключиться к 80 порту нужного сервера? ( например www.lamer.ru

)

› показать цитату

HRGdt> Точнее какой тулзой ( желательно стандартной ).

telnet host [port]
Это самая примитивная из всех возможных.
Но можно найти и более продвинутые, если нужно.

Ответить  

vabv***@m*****.ru

Wed, 10 Nov 2004 18:13:45 +0300 (#260847)

 

› показать цитату

> wget имеет опцию докачивания файла. Если же надо начать именно с > конкретного места и именно конкретное количество байт, то подключаемся > telnet-ом к 80 порту нужного сервера и выдаем что-то вроде следующего > (подправить то, что нужно): > > > GET /pdf/example.pdf HTTP/1.0 > Connection: Keep-Alive > Range: bytes= 1024-2047,4096-5000,6000-7000,8000- > > > > ... и лови результат :-).

это все навело меня к мысли написать следующее письмо, ибо мысль
реализовать ниже описанное елозит по моему мозгу довольно давно....

Вводная: у диалапщиков (и не только) иногда случается следующая
проблема: качаем здоровый файл (архив или документ), в итоге получаем
локальную копию файла, но оказывается, что она битая - т.е. где-то в
каком-то месте что-то не срослось, передалось не так и т.д. и т.п.
Получается, что нужно качать файл снова, а если он большой, то это долго
и в итоге упирается в проблему траты лишних денег (тем более если
говорить про скачанные мегабайты)

Предложение: хотелось бы иметь такой сервис (наверное, требуется должны
быть серверная и клиентская части): некоторой тулзе я скармливаю битый
файл и размер "кластера", тулза логически разбивает файл на "кластера" и
вычисляет CRC (MD5 и пр.) для каждого файла, потом мы посылаем
результаты вычислений на сервер, а также файл (URL) и размер "кластера".
Серверная часть также разбивает файл на "кластера", вычисляет CRC,
сравнивает полученные CRC cо своими. И высылает ответ клиенту. В итоге,
клиентская тулза выводит пользователю, что ему нужно скачать
определенный "кластер" (или несколько) из сети снова (начальное и
конечное смещение) или даже сама предлагает скачать их и скачивает.

Итог: Данный сервис можно реализовать как довески к http и ftp, p2p. В
зависимости от файла (по размеру, для каждого разный) и пропускной
ширины канала должна быть свой размер "кластера".

Ответить  

Kolotov Alexandr

Wed, 10 Nov 2004 16:44:55 +0300 (#260784)

 

› показать цитату

KA> это все навело меня к мысли написать следующее письмо, ибо мысль KA> реализовать ниже описанное елозит по моему мозгу довольно давно....

› показать цитату

KA> Вводная: у диалапщиков (и не только) иногда случается следующая KA> проблема: качаем здоровый файл (архив или документ), в итоге получаем KA> локальную копию файла, но оказывается, что она битая - т.е. где-то в KA> каком-то месте что-то не срослось, передалось не так и т.д. и т.п. KA> Получается, что нужно качать файл снова, а если он большой, то это долго

› показать цитату

KA> и в итоге упирается в проблему траты лишних денег (тем более если KA> говорить про скачанные мегабайты)

› показать цитату

KA> Предложение: хотелось бы иметь такой сервис (наверное, требуется должны KA> быть серверная и клиентская части): некоторой тулзе я скармливаю битый KA> файл и размер "кластера", тулза логически разбивает файл на "кластера" и

› показать цитату

KA> вычисляет CRC (MD5 и пр.) для каждого файла, потом мы посылаем KA> результаты вычислений на сервер, а также файл (URL) и размер "кластера".

› показать цитату

KA> Серверная часть также разбивает файл на "кластера", вычисляет CRC, KA> сравнивает полученные CRC cо своими. И высылает ответ клиенту. В итоге, KA> клиентская тулза выводит пользователю, что ему нужно скачать KA> определенный "кластер" (или несколько) из сети снова (начальное и KA> конечное смещение) или даже сама предлагает скачать их и скачивает.

› показать цитату

KA> Итог: Данный сервис можно реализовать как довески к http и ftp, p2p. В KA> зависимости от файла (по размеру, для каждого разный) и пропускной KA> ширины канала должна быть свой размер "кластера".

Мысль в воздухе витает. И мою голову она навещала. В качестве довеска
было бы достаточно команды получения от сервера MD5 суммы для
выбранного диапазона файла. Если указан набор диапазонов, то по MD5
сумме для каждого диапазона. Тогда получится что-то вроде:
MD5 /pdf/example.pdf HTTP/1.0
Connection: Keep-Alive
Range: bytes= 1024-2047,4096-5000,6000-7000,8000-

Тогда можно сделать даже "очень умного" клиента, который, поняв в каком
блоке проблема, может попробовать уточнить кусок в приделах сбойного
блока, и тем еще больше ускорить скачивание.

Другое дело, что такие подсчеты на стороне сервера могут его серьезно
прогрузить. Так что решение не банально.

Ответить  

vabv***@m*****.ru

Wed, 10 Nov 2004 18:25:01 +0300 (#260865)

 

<vabv***@m*****.ru> написано 10.11.2004 18:25:01:

› показать цитату

> KA> это все навело меня к мысли написать следующее письмо, ибо мысль > KA> реализовать ниже описанное елозит по моему мозгу довольно давно.... > > KA> Вводная: у диалапщиков (и не только) иногда случается следующая > KA> проблема: качаем здоровый файл (архив или документ), в итоге

получаем

› показать цитату

> KA> локальную копию файла, но оказывается, что она битая - т.е. где-то в

› показать цитату

> KA> каком-то месте что-то не срослось, передалось не так и т.д. и т.п. > KA> Получается, что нужно качать файл снова, а если он большой, то это

долго

› показать цитату

> > KA> и в итоге упирается в проблему траты лишних денег (тем более если > KA> говорить про скачанные мегабайты) > > KA> Предложение: хотелось бы иметь такой сервис (наверное, требуется

должны

› показать цитату

> KA> быть серверная и клиентская части): некоторой тулзе я скармливаю

битый

› показать цитату

> KA> файл и размер "кластера", тулза логически разбивает файл на

"кластера" и

› показать цитату

> > KA> вычисляет CRC (MD5 и пр.) для каждого файла, потом мы посылаем > KA> результаты вычислений на сервер, а также файл (URL) и размер

"кластера".

› показать цитату

> > KA> Серверная часть также разбивает файл на "кластера", вычисляет CRC, > KA> сравнивает полученные CRC cо своими. И высылает ответ клиенту. В

итоге,

› показать цитату

> KA> клиентская тулза выводит пользователю, что ему нужно скачать > KA> определенный "кластер" (или несколько) из сети снова (начальное и > KA> конечное смещение) или даже сама предлагает скачать их и скачивает. > > KA> Итог: Данный сервис можно реализовать как довески к http и ftp, p2p.

В

› показать цитату

> KA> зависимости от файла (по размеру, для каждого разный) и пропускной > KA> ширины канала должна быть свой размер "кластера". > > Мысль в воздухе витает. И мою голову она навещала. В качестве довеска > было бы достаточно команды получения от сервера MD5 суммы для > выбранного диапазона файла. Если указан набор диапазонов, то по MD5 > сумме для каждого диапазона. Тогда получится что-то вроде: > > MD5 /pdf/example.pdf HTTP/1.0 > Connection: Keep-Alive > Range: bytes= 1024-2047,4096-5000,6000-7000,8000- > > > Тогда можно сделать даже "очень умного" клиента, который, поняв в каком > блоке проблема, может попробовать уточнить кусок в приделах сбойного > блока, и тем еще больше ускорить скачивание. > > Другое дело, что такие подсчеты на стороне сервера могут его серьезно > прогрузить. Так что решение не банально.

Помоему в OpenBSD такая фиговина уже организована.
Потому что месяца 3 назад я читал как раз об этом.
А 3 месяца назад я читал в основном про опен.

С уважением,
Антонов Александр

-*Название листа "Linux: разрешение вопросов, перспективы и общение";
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Адрес правил листа http://subscribe.ru/catalog/comp.soft.linux.discuss/rules
Номер письма: 13260; Возраст листа: 473; Участников: 1291
Адрес сайта рассылки: http://www.linuxrsp.ru
Адрес этого письма в архиве: http://subscribe.ru/archive/comp.soft.linux.discuss/msg/260876

-*Информационный канал Subscribe.Ru
Подписан адрес:
Код этой рассылки: comp.soft.linux.discuss
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Отписаться: mailto:comp.soft.linux.discuss--unsub@subscribe.ru?subject=comp.soft.linux.discuss

http://subscribe.ru/ http://subscribe.ru/feedback

Ответить   aanton***@w*****.ru Wed, 10 Nov 2004 18:38:16 +0300 (#260876)

 

On Wed, Nov 10, 2004 at 18:38 +0300, AAnton***@w*****.ru wrote:

› показать цитату

> Помоему в OpenBSD такая фиговина уже организована.

в каком месте? :-)

› показать цитату

> Потому что месяца 3 назад я читал как раз об этом. > А 3 месяца назад я читал в основном про опен.

да бросте вы... ничего там подобного нет и быть не может.

Ответить  

Mike Belopuhov

Wed, 10 Nov 2004 22:07:48 +0300 (#261020)

 

Среда 10 Ноябрь 2004 16:44, Kolotov Alexandr написал:

› показать цитату

> > это все навело меня к мысли написать следующее письмо, ибо мысль > реализовать ниже описанное елозит по моему мозгу довольно давно.... > > Вводная: у диалапщиков (и не только) иногда случается следующая > проблема: качаем здоровый файл (архив или документ), в итоге получаем > локальную копию файла, но оказывается, что она битая - т.е. где-то в > каком-то месте что-то не срослось, передалось не так и т.д. и т.п. > Получается, что нужно качать файл снова, а если он большой, то это > долго и в итоге упирается в проблему траты лишних денег (тем более > если говорить про скачанные мегабайты) > > Предложение: хотелось бы иметь такой сервис (наверное, требуется > должны быть серверная и клиентская части): некоторой тулзе я > скармливаю битый файл и размер "кластера", тулза логически разбивает > файл на "кластера" и вычисляет CRC (MD5 и пр.) для каждого файла, > потом мы посылаем результаты вычислений на сервер, а также файл (URL) > и размер "кластера". Серверная часть также разбивает файл на > "кластера", вычисляет CRC, сравнивает полученные CRC cо своими. И > высылает ответ клиенту. В итоге, клиентская тулза выводит > пользователю, что ему нужно скачать определенный "кластер" (или > несколько) из сети снова (начальное и конечное смещение) или даже > сама предлагает скачать их и скачивает. > > Итог: Данный сервис можно реализовать как довески к http и ftp, p2p. > В зависимости от файла (по размеру, для каждого разный) и пропускной > ширины канала должна быть свой размер "кластера".

На сколько я понял описана (возможно не совсем точно) утилита rsync :)

Ответить   Xinus Thu, 11 Nov 2004 00:30:18 +0300 (#261100)

 

› показать цитату

> На сколько я понял описана (возможно не совсем точно) утилита rsync :)

и что? описанный мною сервис уже предоставляется? Понятно, что если у
некоторого сайта есть доступ к файлам по rsync, то я скорее всего
пожелаю им воспользоваться, а если нет, то я могу попасть в "битую"
ловушку... Речь идет именно о расширении существующих сервисов или о
создании в сети некоторого ресурса предоставляющего данный сервис
относительно внешних для него серверов.

Ответить  

Kolotov Alexandr

Thu, 11 Nov 2004 11:23:52 +0300 (#261358)

 

Hi H.R.Giger -=dead tillias_TT=-!On Mon, Nov 08, 2004 at 22:48 +0300, you wrote:

› показать цитату

> Требуется закачать большой файл ( 650 метров ). > Можно как-нибудь указать wget'у, чтобы он начинал закачку например с > 29687 байта? > Если да то как? Если нет, то чем можно качать большие файлы по кускам > или с определенной позиции?

Можно с помощью curl так попробовать:
curl -r 29687- -o file_avi.part2 http://www.site.ru/file.avi
А потом две части "склеить":
cat file_avi.part? > file.avi

Ответить   APT Thu, 11 Nov 2004 02:59:06 +0500 (#261129)

 

В сообщении от 11.11.2004 00:59 APT пишет:

› показать цитату

> Можно с помощью curl так попробовать: > curl -r 29687- -o file_avi.part2 http://www.site.ru/file.avi > А потом две части "склеить": > cat file_avi.part? > file.avi

Судя по ману абсолютно то, что я хотел. Большое спасибо вам и тем кто
откликнулся!

-*Название листа "Linux: разрешение вопросов, перспективы и общение";
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Адрес правил листа http://subscribe.ru/catalog/comp.soft.linux.discuss/rules
Номер письма: 13286; Возраст листа: 474; Участников: 1298
Адрес сайта рассылки: http://www.linuxrsp.ru
Адрес этого письма в архиве: http://subscribe.ru/archive/comp.soft.linux.discuss/msg/261217

-*Информационный канал Subscribe.Ru
Подписан адрес:
Код этой рассылки: comp.soft.linux.discuss
Написать в лист: mailto:comp.soft.linux.discuss-list@subscribe.ru
Отписаться: mailto:comp.soft.linux.discuss--unsub@subscribe.ru?subject=comp.soft.linux.discuss

http://subscribe.ru/ http://subscribe.ru/feedback

Ответить   "H.R.Giger -=dead tillias_TT=-" Thu, 11 Nov 2004 08:05:44 +0300 (#261217)

 

{#template MAIN} <div id="loginForm" style="display:none;" class="subscriberu_popup"> <div class="popup_register"> {#include js_tmpl_auth_reg_tab} {#if $P.login_register_tab == 1} <form class="authentication-form" method="post" action="/MEMBERLOGIN_authen_cred"> <dl class="rg_block_options"> <dt id="js_tap_panel_auth"> <h1>Войти на сайт</h1> {* {#include js_tmpl_auth_reg_button} *} {#include js_tmpl_auth_reg_action} <hr class="logreg_line noPhones"> <div class="logreg_descr noPhones"><p>{#include js_tmpl_auth_reg_descr} </p></div> <div class="logreg_advice noPhones"> Если вы еще не с нами, то начните с <a href="#" onclick="rgNav('js_tab_reg');return false;" class="dashed" data-func="registr">регистрации</a> </div> <br><br> <a class="dashed auth-enter" href="/manage/author/"><b>Вход для авторов</b></a> </dt> </dl> </form> {#/if} {#if $P.login_register_tab == 2} <div class="rg_block_options"> <div id="js_tap_panel_auth"> <h1>Регистрация</h1> <div class="social_reg"> {* <div class="rg_description">{#include js_tmpl_soc_auth_reg_descr}</div> *} {#include js_tmpl_auth_reg_soc} <div class="rg_soc_auth_agree">{#include js_tmpl_auth_reg_agree}</div> </div> <div class="subscribe_reg"> {* <div class="rg_description"> #include js_tmpl_auth_reg_descr </div> *} {#include js_tmpl_auth_reg_action} </div> {* {#include js_tmpl_auth_reg_button} *} <div class="clr"> </div> <hr class="logreg_line noPhones"> <div class="logreg_descr noPhones">{#include js_tmpl_auth_reg_descr} {#include js_tmpl_soc_auth_reg_descr} </div> </div> </div> {#/if} </div> {* <div class="gray_bg register_shadow"></div> *} </div> {#/template MAIN} {#template js_tmpl_auth_reg_tab} <ul class="rg_nav"> <li id="js_tab_auth" class="{#if $P.login_register_tab == 1} rg_active_nav {#/if} rg_first_nav"><a onclick="rgNav('js_tab_auth');return false;" href="">Вход на сайт</a></li> <li id="js_tab_reg" class="{#if $P.login_register_tab == 2} rg_active_nav {#/if}"><a onclick="rgNav('js_tab_reg');return false;" href="">Регистрация </a></li> </ul> <span onclick="hidebo();" class="rg_closed"> </span> {#/template js_tmpl_auth_reg_tab} {#template js_tmpl_auth_reg_action} {#if $P.login_register_tab == 1} {#include js_tmpl_auth_reg_soc} {#/if} <div class="rg_forms"> <input type="hidden" id="login_register_destination" value="{$P.login_register_destination}"/> {#if $P.login_register_tab == 1} <div class="rg_for_input"> <span class="rg_text_inner">E-mail или код подписчика</span> <input id="credential_0" class="js_keydown_selector rg_input_text" data-js_submit="no" data-js_next_input_name="credential_1" name="" type="text" /> </div> <div class="rg_for_input"> <span class="rg_text_inner">Пароль</span> <input id="credential_1" class="js_keydown_selector rg_input_text" data-js_submit="yes" data-js_action="js_loginFormBut" name="" type="password" onkeyup="showAttention(this,!!window.event.shiftKey)" /> <span class="pswd_attention" id="attention_pswd"> <span class="icon_attention"></span> <span class="pswd_attention-text" id="attention-text_pswd1">Русская раскладка клавиатуры!</span> <span class="pswd_attention-text" id="attention-text_pswd2">У вас включен Caps Lock!</span> <span class="pswd_attention-text" id="attention-text_pswd3">У вас включен Caps Lock и русская раскладка клавиатуры!</span> </span> </div> <div class="rg_for_input input-alien"> <span class="chk noPhones"><input id="chk_alien" name="" type="checkbox" /></span><label for="chk_alien" class="noPhones"> Чужой компьютер</label> <a class="forgot_pass" href="/member/totalrecall">Забыли пароль?</a> </div> <div class="rg_for_input"> <em id="auth_msg" class="reg_error"></em> <input id="lf_typeauthid" value="email" type="hidden"> <input type="submit" class="button button-red logreg_submit" id="js_loginFormBut" value="Войти"> <!--</a>--> <div class="loading loading-cover" style="display: none;"><div class="loader"></div></div> </div> {#/if} {#if $P.login_register_tab == 2} <div class="rg_for_input"> <span class="rg_text_inner">E-mail</span> <input id="arfemail" class="js_keydown_selector rg_input_text" name="" type="text" data-js_submit="yes" data-js_action="js_regFormBut"/> </div> <div class="rg_for_input rg_set_lineh rg_for_input_wide"> <label class="js_tap_panel_checkbox"> <span class="chk"><input name="" id='js_tap_panel_checkbox_terms' type="checkbox" data-js_submit="yes" /></span> Я ознакомился и согласен с <a class="link_txd logreg_accLink" href="/faq/vereinbarung.html">условиями сервиса Subscribe.ru</a> </label> <br /> <label class="js_tap_panel_checkbox"> <span class="chk"><input name="" id='js_tap_panel_checkbox_personal' type="checkbox" data-js_submit="yes" /></span> Нажимая на кнопку "Готово!", я даю <a class="link_txd logreg_accLink" href="/faq/persverordnung.html">согласие на обработку персональных данных</a> </label> </div> {* <div style="float: left;position: absolute;left: 11em;"> <img src="http://www.kupivip.ru/images/vip/logo.png?1604" style="width: 86px; vertical-align: middle;display: block;"> </div> <div class="rg_for_input rg_set_lineh"> <label class="js_tap_panel_checkbox"><input name="" id="js_tap_panel_checkbox_kupivip" type="checkbox" data-js_submit="yes"> Я хочу получать новости о скидках на одежду</label> </div> *} <div class="rg_for_input"> <em id="reg_msg" class="reg_error rg_for_input_wide"></em> <em id="reg_msg2" class="reg_error rg_for_input_wide"></em> <input id="rf_typeauthid" value="email" type="hidden"> <a class="button button-red logreg_submit" id="js_regFormBut" href="#">Готово!</a> <div class="loading loading-cover" style="display: none;"><div class="loader"></div></div> </div> {#/if} </div> {#/template js_tmpl_auth_reg_action} {#template js_tmpl_auth_reg_agree} <div class="rg_for_input rg_set_lineh rg_for_input_wide"> <label class="js_tap_panel_checkbox"> <span class="chk"><input name="" id='js_tap_panel_checkbox_terms_reg' type="checkbox" data-js_submit="yes" /></span> Я ознакомился и согласен с <a class="link_txd logreg_accLink" href="/faq/vereinbarung.html">условиями сервиса Subscribe.ru</a></label> <em id="reg_msg_soc" class="reg_error rg_for_input_wide"></em> </div> {#/template js_tmpl_auth_reg_agree} {#template js_tmpl_auth_reg_button} <div class="rg_butons_socials"> {#if $P.login_register_tab == 1} <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="auth_email" href="#"><span><i></i>Email</span></a> <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="auth_openid" href="#"><span><i></i>OpenID</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="auth_vkontakte" href="#"><span><i></i>Вконтакте</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="auth_mailru" href="#"><span><i></i>Mail.Ru</span></a> {#/if} {#if $P.login_register_tab == 2} <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="reg_email" href="#"><span><i></i>Email</span></a> <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="reg_openid" href="#"><span><i></i>OpenID</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="reg_vkontakte" href="#"><span><i></i>Вконтакте</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="reg_mailru" href="#"><span><i></i>Mail.Ru</span></a> {#/if} </div> {#/template js_tmpl_auth_reg_button} {#template js_tmpl_auth_reg_descr} {#if $P.login_register_tab == 1} Для оформления подписки на выбранную рассылку, работы с интересующей вас группой или доступа в нужный вам раздел, просим авторизоваться на Subscribe.ru {#/if} {#if $P.login_register_tab == 2} Для регистрации укажите ваш e-mail адрес. Адрес должен быть действующим, на него сразу после регистрации будет отправлено письмо с инструкциями и кодом подтверждения. {#/if} {#/template js_tmpl_auth_reg_descr} {#template js_tmpl_soc_auth_reg_descr} Или зарегистрируйтесь через социальную сеть. {#/template js_tmpl_soc_auth_reg_descr} {#template js_tmpl_auth_reg_soc} <div class="rg_soc"> {#if $P.login_register_tab == 1} <a onclick="return _checkSocConfirm(event)" href="https://oauth.vk.com/authorize?client_id=3954260&scope=wall,offline,photos,groups,video,audio,email&redirect_uri={location.protocol+'//'+location.host}/member/login/vk/&response_type=code&v=5.15" class="login_register_vk_button"> <span class="login_register_vk_icon"></span> </a> {#/if} {#if $P.login_register_tab == 2} <a onclick="return _checkSocConfirm(event)" href="https://oauth.vk.com/authorize?client_id=3954260&scope=wall,offline,photos,groups,video,audio,email&redirect_uri={location.protocol+'//'+location.host}/member/join/vk&response_type=code&v=5.15" class="login_register_vk_button"> <span class="login_register_vk_icon"></span> </a> {#/if} </div> {#/template js_tmpl_auth_reg_soc}

{#template MAIN} <div id="loginForm" style="display:none;" class="subscriberu_popup"> <div class="popup_register"> {#include js_tmpl_auth_reg_tab} <dl class="rg_block_options"> <dt id="js_tap_panel_auth"> <p class="rg_description">{#include js_tmpl_auth_reg_descr}</p> <div class="clr"> </div> {#include js_tmpl_auth_reg_action} <div class="clr"> </div> </dt> </dl> </div> <!-- <div class="gray_bg register_shadow"></div> --> </div> {#/template MAIN} {#template js_tmpl_auth_reg_tab} <ul class="rg_nav"> <li id="js_tab_reg" class="rg_active_nav rg_first_nav"><a href="" onclick="return false;" >Регистрация</a></li> </ul> <span onclick="hidebo();" class="rg_closed"> </span> {#/template js_tmpl_auth_reg_tab} {#template js_tmpl_auth_reg_descr} <strong>Пожалуйста, подтвердите ваш адрес.</strong><br><br>Вам отправлено письмо для подтверждения вашего адреса {$P.register_confirm_mail}.<br>Для подтверждения адреса перейдите по ссылке из этого письма. {#/template js_tmpl_auth_reg_descr} {#template js_tmpl_auth_reg_action} <div class="rg_forms confirm_code_from_letter"> <div class="rg_for_input"> <span class="rg_inp_descr" style="width:15em;">Или введите код из письма:</span> <input type="text" value="" id="confirm_code" name="" data-js_submit="yes" data-js_action="js_confirmFormBut" class="js_keydown_selector rg_input_text_conf" > </div> <div class="rg_for_input"><label>Не пришло письмо? <b>Пожалуйста, проверьте папку Спам</b><br /> (папку для нежелательной почты).</label><br />  <a href="" onclick="ajax_recall_code();return false" >Вышлите мне письмо еще раз!</a></div> <div class="rg_for_input"> <em class="reg_error" id="confirm_msg"></em> <a href="#" class="button button-red" id="js_confirmFormBut">Готово</a> <div class="loading loading-cover" style="display: none;"><div class="loader"></div></div> <br> </div> </div> {#/template js_tmpl_auth_reg_action}