Отправлено: 26.06.10 18:22. Заголовок: Набирается группа актуариусов (архивистов)

"Актуариус имеет по должности чина своего получаемые в коллегии письма прилежно собирать, оным реестр чинить, листы перемечивать." Петр I

Возникла необходимость архивирования всего форума. Так как сейчас на сервисе идут техработы и любые скрипты не работают, автоматически сохранить форум нет возможности. Частично поэтому, и еще по другим причинам набирается группа для архивирования форума.

Требования к участникам группы - нужно чтобы у них было:
1) Быстрый интернет, модемное и GPRS соединения не подходят, нужно чтобы было что-то типа xDSL или выделенки. Кто не знает какое у него соединение с интернетом, критерий отбора простой - если интернет подключен постоянно - подходит. Если производите какие-то действия для подключения к интернету, то нет.
2) Желание помочь форуму.
3) Свободное время которое вы готовы потратить на эту работу.
4) Умение работать с компьютером на уровне пользователя ( уметь создавать папки, сохранять вебстраницы в нужную папку, архивировать, работать с почтой и т.п.)

Сначала группа набирается, затем каждому дается задание, потом все члены группы высылают сохраненное мне. По окончанию работ группа распускается. Первым делом сохраняется архив, там 108 страниц по 20 тем. Сохраняем все темы без разбора, потом разберемся.

Если кто-то может подсказать какие-то программы или скрипты для автоматического сохранения форума, или предложить кого-то кто это сделает, хоть и за плату, пишите. Требования такие:
1) очень желательно сохранение в HTML страницах.
2 очень желательно сохранение с фотографиями, которые находятся как вы знаете на сторонних сервисах, это в основном радикал и jpe.ru , т.е. программа должна уметь тащить картинки с других серверов.
Свои кандидатуры предлагайте в этой теме.
Если что то непонятно, задавайте вопросы.

 Отправлено: 26.06.10 22:44. Заголовок: Какие примерно (пред..

Какие примерно (пределы мин-макс) размеры тем, разделов, общий суммарный объем? На чем предполагаешь хранить и как и куда пересылать?
Рассматривалась ли возможность использования онлайновых хранилищ?

 Отправлено: 26.06.10 23:37. Заголовок: Tamir, Я подтвержд..

Tamir,

Я подтверждаю, что через две недели могу этим заняться.

Вопросы есть и будут, наверное у всех и у всех разные, так как у пользователей знания мозаичные, где-то много, а где-то пробелы. Так что понадобится пошаговая подробная инструкция от Вас.

Например: "сохранять вебстраницы в нужную папку". Какая тут тонкость?

У меня страницы распадаются на несколько папок или файлов и ничто не открывается.

Каким оффисом пользоваться? Это имеет значение?

Tamir пишет:

цитата:

Если кто-то может подсказать какие-то программы или скрипты для автоматического сохранения форума

Что имеется в виду? Можно или нельзя все сразу перевести?

Tamir пишет:

цитата:

сохранение с фотографиями, которые находятся как вы знаете на сторонних сервисах, это в основном радикал и jpe.ru , т.е. программа должна уметь тащить картинки с других серверов

Это мне лично не понятно как переформулировать, чтобы задать вопрос моему провайдеру.

Tamir пишет:

цитата:

критерий отбора простой - если интернет подключен постоянно - подходит. Если производите какие-то действия для подключения к интернету, то нет.

Не совсем. Интернет-то широкополосный, но компьютер отключаем. Постоянно комьютер не включен по ряду причин. Поэтому, когда комп. включается, надо к интернету спец. действиями подключиться. Но для Вас важна только скорость?

 Отправлено: 27.06.10 00:16. Заголовок: Если мен подробно р..

Если мне подробно расскажут, как это делать - я попробую. Просто тупо сохранять у меня не получается. Почему-то файлы не просматриваются.

 Отправлено: 27.06.10 02:08. Заголовок: Готова поучаствовать..

Готова поучаствовать, если будет дан конкретный фронт работ, потому как не хотелось бы делать то, что будет сдублировано ещё энным кол-вом человек.

Опера эту радость сохраняет в формате .mht - это устраивает? (хожу только через неё). 7-й IE это читает.

Устроит ли, если темы будут сохраняться в режиме all, потому как я ленива? :-)

 Отправлено: 27.06.10 08:30. Заголовок: ezelenyk пишет: Как..

ezelenyk пишет:

цитата:

Какие примерно (пределы мин-макс) размеры тем, разделов, общий суммарный объем?

Тема из 8 страниц без фото в html ( т.е. со всем оформлением, как вы ее видите на экране) около 1 мБ, тема из 5 страниц нашпигованная фотографиями - 7 мб. Это темы немного больше средних. Т.е. минимальный размер темы примерно 0,5 мБ, максимальный до 10 мБ

Отношение, тема с фото и тема без фото, где-то 1:10, в архиве 108 страниц по 20 тем в каждой это всего 2160 тем, т.е. архив где-то 2-3 Гб ( в архиве много тем коротких и без фоток).

ezelenyk пишет:

цитата:

На чем предполагаешь хранить и как и куда пересылать?

Собирать предполагаю на жесткий диска + для резерва на двд скину, а в конечном итоге выложить в виде сайта-архива (поэтому лучше в хтмл сохранять, чтоб потом меньше переделывать) + в виде полного архива в zip одним или несколькими файлами. Архивирование вижу так - каждый собирает свой участок и высылает мне.
ezelenyk пишет:

цитата:

Рассматривалась ли возможность использования онлайновых хранилищ?

Будет в открытом доступе, я лично не хочу вылаживать на сервисы хранения файлов (они в массе своей хранят ограниченный срок и бесплатная скорость скачки с них медленная), но возможно придется, все зависит от объемов и востребованности.

AE пишет:

цитата:

Так что понадобится пошаговая подробная инструкция от Вас.

Инструкция будет, но может быть не совсем досканальная, участник группы все же должен свободно уметь работать с Виндоус. Это одно из условий.
AE пишет:

цитата:

Например: "сохранять вебстраницы в нужную папку". Какая тут тонкость?

тут тонкости нет, делаете папку у себя на компе, например "форум БАП" и сохраняете в нее веб. страницы.

AE пишет:

цитата:

У меня страницы распадаются на несколько папок или файлов и ничто не открывается.

Я потом позже объясню что и как.

AE пишет:

цитата:

Каким оффисом пользоваться? Это имеет значение?

Офисом пользоватся не надо, он вообще не нужен. Нужен браузер и скорей всего это будет Chome, т.е. всем архивистам нужно будет его поставить, так как он всех быстрее, а главное всех полнее сохраняет вебстраницы.

AE пишет:

цитата:

Что имеется в виду? Можно или нельзя все сразу перевести?

Имеется ввиду - запустил программу и она сама весь форум сохранила тебе на жесткий диск. Но, сервис борда не дает доступа к своим базам данных, и у них так все построено что и качалками не скачаешь, поэтому скачивание автоматом невозможно. Т.е. сразу всё перевести нельзя, я по крайней мере не нашел возможности и все пишут что невозможно.

AE пишет:

цитата:

Это мне лично не понятно как переформулировать, чтобы задать вопрос моему провайдеру.

Не чего провайдеру задавать не надо. Это требование к программе.

AE пишет:

цитата:

Но для Вас важна только скорость?

Да, не столько для меня, как для скачивающего, сидеть десятки минут над скачиванием одной страницы не очень-то приятно, да и накладно. У вас подойдет.

 Отправлено: 27.06.10 08:45. Заголовок: Лада пишет: Если мн..

Лада пишет:

цитата:

Если мне подробно расскажут, как это делать - я попробую. Просто тупо сохранять у меня не получается. Почему-то файлы не просматриваются.

Расскажу конечно, будет подробная инструкция. Сохранять надо как раз "просто тупо", только должен быть правильный браузер. Наиболее подходит Chrome.
Rau пишет:

цитата:

Готова поучаствовать, если будет дан конкретный фронт работ, потому как не хотелось бы делать то, что будет сдублировано ещё энным кол-вом человек.

Естественно каждому будет выделен участок, например, тебе темы с 1-20, тебе с 21 по 40, тебе раздел такой-то и т.д.
Rau пишет:

цитата:

Опера эту радость сохраняет в формате .mht - это устраивает? (хожу только через неё). 7-й IE это читает.

Нет, формат .mht не устраивает как и другие форматы сохраняющие одним файлом, да это удобнее, но для последующей обработке неприемлемо. Нужно сохранять чтобы получился файл хтмл с сопутствующей папочкой, в которой все картинки лежат. Опера вообще не устраивает, она "ленится" сохранять HTML файл с рисунками полностью, надеясь потом взять недостающее с интернета. IE медленный, лучше всего подходит для этой задачи Chrome, так что, наверное обязательным условием будет его установка.

Rau пишет:

цитата:

Устроит ли, если темы будут сохраняться в режиме all, потому как я ленива?

Не только устроит, но и обязательно. Мне тоже будет потом лениво делать для одной темы 10 страниц вместо одной. Лень-двигатель прогресса

 Отправлено: 27.06.10 09:02. Заголовок: Еще важное дополнени..

Еще важное дополнение - я не собираюсь что-то коробчить с архивом форума, он будет для всех абсолютно бесплатен и максимально возможно доступен. Как я планирую, всё будет выглядеть сайтом с такими же страничками как на форуме, только более структуированно ( не свалено в один архив) и с поиском. Писать на диск и высылать всем желающим у меня нет ни желания, ни возможности. Скорей всего сделаю еще заархивированый файл ( или несколько) со всем архивом форума и так же выложу его в свободный доступ.

 Отправлено: 27.06.10 09:09. Заголовок: Tamir пишет: архив ..

Tamir пишет:

цитата:

архив где-то 2-3 Гб

Примерно неделю займет создание полного архива на флешке, в форматах html и mht , объем пусть до 8 Ггб - попробую переписать и переслать. Чем больше форматов и вариантов будет - тем лучше и надежнее!
А вот поиск по этому архиву - большая работа, ключевые слова (далеко не совпадающие с названиями тем!), рубрикация... короче, все элементы базы данных... Но тут программистов много, может, найдутся и те, кто основные принципы помнит - помогут...

 Отправлено: 27.06.10 10:12. Заголовок: ezelenyk пишет: При..

ezelenyk пишет:

цитата:

Примерно неделю займет создание полного архива на флешке, в форматах html и mht , объем пусть до 8 Ггб

АРхив это только Архив форума:<\/u><\/a> плюс еще сам форум, так что все вместе может быть и побольше 8Гб. Но самое главное архив, оттуда постоянно при привышении лимита автоматически удаляются темы.

Буду рад если у тебя все получится. В любом случае первый опыт архивирования будет полезен.

Лучше в формате html, с ним удобно работать, mht не годится, хотя как дополнение может быть удобен.

По поиску - можно просто прикрутить яндексовский или гуглевский, а то и оба вместе. Это просто и действенно.

 Отправлено: 27.06.10 15:02. Заголовок: Tamir пишет: Нет, ф..

Tamir пишет:

цитата:

Нет, формат .mht не устраивает как и другие форматы сохраняющие одним файлом, да это удобнее, но для последующей обработке неприемлемо. Нужно сохранять чтобы получился файл хтмл с сопутствующей папочкой, в которой все картинки лежат. Опера вообще не устраивает, она "ленится" сохранять HTML файл с рисунками полностью, надеясь потом взять недостающее с интернета. IE медленный, лучше всего подходит для этой задачи Chrome, так что, наверное обязательным условием будет его установка.

Так... Моя установила Хром. Пытается сохранять, но нашла всего два вар-та: веб-страница, только HTML и веб-страница, полностью. Что из этого требуется и как сделать то, что нужно, если это не то? После веб-страница целиком у меня получились файл html и папочка с картинками. Оно?

 Отправлено: 27.06.10 15:36. Заголовок: Приеду домой, попроб..

Приеду домой, попробую выкачать форум с помощью специальной проги.

 Отправлено: 27.06.10 16:44. Заголовок: Есть программки спец..

Есть программки специальные для выкачки, нашла несколько, пока не разобралась.

 Отправлено: 27.06.10 19:35. Заголовок: Rau пишет: После ве..

Rau пишет:

цитата:

После веб-страница целиком у меня получились файл html и папочка с картинками. Оно?

Оно самое.

Kusaka пишет:

цитата:

Приеду домой, попробую выкачать форум с помощью специальной проги.

Попробуйте, я сам не пробовал, но пишут что не чем не не получается.

 Отправлено: 27.06.10 23:31. Заголовок: Tamir пишет: Оно са..

Tamir пишет:

цитата:

Оно самое.

Отлично. Тогда я по-прежнему готова, только мне надо пальцем ткнуть, что именно выкачивать. И можно ещё сразу сказать, чем архивировать. 7z? Или ещё чем?

 Отправлено: 28.06.10 06:42. Заголовок: Rau Я сам весь проце..

Rau Я сам весь процесс прочувствую и тогда пальцем ткну что и где выкачивать. Мне все равно чем архивировать? но нужно выбрать для всех удобный формат, наверное это будет zip.

 Отправлено: 28.06.10 06:45. Заголовок: jaramat пишет: Есть..

jaramat пишет:

цитата:

Есть программки специальные для выкачки, нашла несколько, пока не разобралась.

Говорят такие программы из-за особенностей скрипта борды не могут связи подхватить и качают только первые странички.

 Отправлено: 28.06.10 14:39. Заголовок: Попробовала скачать ..

Попробовала скачать форум через HTTrack Website Copier. Не скачивается. По-моему, одно только это - уже достаточный повод, чтобы послать Борду на хрен. Не потому, что вручную сохранять инфу влом, а просто из принципа.
Имхо, везде, где можно не доверять свою инфу бесплатному общественному сервису, лучше ее таковому не доверять.

 Отправлено: 28.06.10 16:43. Заголовок: Kusaka пишет: Имхо,..

Kusaka пишет:

цитата:

Имхо, везде, где можно не доверять свою инфу бесплатному общественному сервису, лучше ее таковому не доверять.

Согласен. 7 лет назад для тех задач это был лучший сервис ( выбирали тщательно). Сейчас времена изменились. Кстати, глядючи на наш форум, очень многие собачники, не только азиатчики, открыли на борде свои форумы.
Пиркольные тогда времена были, мы зарегистрировались месяца через три после открытия борды, сервер у владельца стоял дома, он уехал в отпуск, свет в его квартире отключали и сервер завис. И владельцы форумов искали хозяина, чтобы он сообщил кому оставил ключи, что бы те пустили человека, который бы перезагрузил сервер. И всё это получилось. И не кто особо не ругался.

 Отправлено: 28.06.10 16:44. Заголовок: Пиркольные тогда вре..

цитата:

Пиркольные тогда времена были, мы зарегистрировались месяца через три после открытия борды, сервер у владельца стоял дома, он уехал в отпуск, свет в его квартире отключали и сервер завис. И владельцы форумов искали хозяина, чтобы он сообщил кому оставил ключи, что бы те пустили человека, который бы перезагрузил сервер.

Ну нифига себе!

 Отправлено: 29.06.10 02:40. Заголовок: Tamir пишет: нужно ..

Tamir пишет:

цитата:

нужно выбрать для всех удобный формат, наверное это будет zip.

Так даже удобнее - не надо искать, где у меня 7z исходник валяется или удалён нафиг. А zip с максимальным сжатием у меня по умолчанию, так что вообще кайф.