• Авторизация


Скрипт закачки дневника вместе с комментами. Ещё 25-03-2005 18:36 к комментариям - к полной версии - понравилось!


Скрипт закачки дневника вместе с комментами.
Ещё не доведён до ума, но уже работает.
Может кому-то пригодится, а может кто-то доведёт до ума, если у меня самого желание пропадёт, да и на хостинг получше не мешало бы положить.
Исходники в прикреплённом файле. Попробовать в работе можно тут: http://kalina.webm.ru/li/
VictorT
вверх^ к полной версии понравилось! в evernote
Комментарии (19):
Fritz_Inferno 25-03-2005-18:50 удалить
Спасибо) Нужная чтучка)
Богданыч 25-03-2005-19:01 удалить
Вау! работает. :-))
жаль только, что фотки не сохраняет.

теперь бы еще приделать опцию "скачать все страницЫ"... впрочем, для сэйва своего дневника можно и помучаться.
VictorT 25-03-2005-19:15 удалить
Исходное сообщение Fritz_Inferno
Нужная чтучка)

Чтучка то нужная, но правильнее и проще бы то было бы делать на самом лирушном сервере... только что-то администрация сервера не шевелится... Намного проще и экономичнее просто вытягивать данные из базы и отдавать в архиве, чем качать каждую страницу и парсить HTML. Кроме того, в случае измения HTML-кода скрипт может перестать работать, а чтобы этого избежать, нужен полноценный HTML-парсер, а не упрощённый, как в этом скрипте.
Исходное сообщение Богданыч
жаль только, что фотки не сохраняет.
теперь бы еще приделать опцию "скачать все страницЫ"... впрочем, для сэйва своего дневника можно и помучаться.

Что успел, то и сделал... Скрипт ещё совершенствовать и совершенствоать... Кроме того, есть ограничение у хостинга, скрипт должен успеть выполнится за 30 секунд, он за это время может не успеть скачать все страницы.
Богданыч 25-03-2005-19:16 удалить
ксатати, нормально скачало толькопоследнюю страницу.
2 попытки счкачать не-последнюю страницу завершились неудачей :-(
Богданыч 25-03-2005-19:19 удалить
ага. уже вижу объяснения.
может, скрипт не успел выполнится в 30 секунд?

ЗЫ. к сожалению, я не программист, а только пытаюсь спользовать сие творение.
если что - готов в понедельник побетатестить %)

единственная поднятая мной в форумах тема была именно об этом :-/
VictorT 25-03-2005-19:19 удалить
Исходное сообщение Богданыч
ксатати, нормально скачало толькопоследнюю страницу.
2 попытки счкачать не-последнюю страницу завершились неудачей :-(

Вот, это видимо как раз в том и дело, что скрипт не успевает скачивать.
Да, и кстати, и пока что, если коментов больше одной страницы, то качает только первую страницу, тоже недоделка.
Богданыч 25-03-2005-19:28 удалить
а ограничение в 30 сек - это только если через твой хостинг качать, верно?

кстати, а может можно шепнуть что-то качалке типа ТелепортПро, чтобы он такое сделал?
VictorT 25-03-2005-19:35 удалить
Исходное сообщение Богданыч
а ограничение в 30 сек - это только если через твой хостинг качать, верно?

На моём и на большинстве жругих бесплатных хостингах
кстати, а может можно шепнуть что-то качалке типа ТелепортПро, чтобы он такое сделал?

Можно, но тогда инфа будет закачиваться не в архиве.
Богданыч 25-03-2005-19:49 удалить
VictorT, не подскажешь тогда, какая версия Телепорт-а это умеет делать? В смысле, версия которой ты реально скачивал весь свой дневник с комментами.

и что ей нужно шепнуть, чтобы заработало?

у меня какая-то древняя, 1.29 билд 976
так вот, он комментарии не скачивает, и прошлые страницы не скачивает.
хотя явно ей говорю, мол какчать все, что начинается с
http://www.liveinternet.ru/users/643994/

то, что не архивируется - не так критично - у меня в комментах в основном мои же фотоотчеты, т.е., содержательная часть.
VictorT 26-03-2005-13:09 удалить
Богданыч, Я лично телепорт практически не юзал, потому с ходу не подскажу.
VictorT 26-03-2005-14:54 удалить
Возникла мысля, что стоит изменить логику работы сервиса.
Нужно разделить на клиентскую и серверную части, это решит проблемы с таймаутом и другие...
VictorT 26-03-2005-19:15 удалить
Ещё немного переделал серверный скрипт.
Имхо, уже есть всё необходимое для работы клиентской программы, которая бы скачивала весь дневник вместе с коментами, картинками etc. Есть желающие реализовать?
Как я вижу работу клиентской программы:
Скачиваются страницы дневника.
Скачанные страницы парсятся на предмет ссылок на коменты к записям.
Удаляются дубли ссылок.
Скачиваются коменты.
Скачанные коменты опять же парсятся на предмет получения урлов картинок попутно заменяя пути на локальные.
Опять же удаляются дубли и скачиваются картинки.
Дабы меньше нагружать сервер, между запросами к нему выдерживается пауза.
Богданыч 28-03-2005-11:25 удалить
Исходное сообщение VictorT
Ещё немного переделал серверный скрипт.
Имхо, уже есть всё необходимое для работы клиентской программы, которая бы скачивала весь дневник вместе с коментами, картинками etc. Есть желающие реализовать?

реализовать или потестить? :-)
потому как реализатор я нулевой.
а потестить - эт в моих же интересах, готов.
VictorT 30-03-2005-00:18 удалить
Ещё немного подправил скрипт, теперь многостраничные комменты тоже скачиваются.
ПОМОГИТЕ ПОМОГИТЕ!!!! Я НИЧЕВО НЕ ПОНИМАЮ И У МЕНЯ НИЧЕГО НЕ ПОЛУЧАЕТСЯ!!! НУ КАК МНЕ СКАЧАТЬ МОЙ ДНЕВНИК??????
Donadecasa 28-04-2005-23:30 удалить
Представляете, что из этого может получиться?
Кое-кто может уже бежать за авансом в издательство! Практически готовая книга скачивается и прямиком в печать! Надо бы подумать о копирайте, и о том, чтобы только хозяин дневника мог его качать...
VictorT 08-06-2005-13:43 удалить
Дам тут ссылочку на аналогичные работы:
http://www.liveinternet.ru/users/community_coding/post6173854/


Комментарии (19): вверх^

Вы сейчас не можете прокомментировать это сообщение.

Дневник Скрипт закачки дневника вместе с комментами. Ещё | community_coding - Сообщество программистов | Лента друзей community_coding / Полная версия Добавить в друзья Страницы: раньше»