Время от времени перед каждым встают задачи сбора информации, находящейся в индексе поисковиков. При объемах, близких к промышленным, нужно использовать парсер. Из бесплатных наиболее популярен Aggress Parser. Из (не знаю как назвать)-платных я выбираю Allsubmitter. Дело в том, что сам по себе Allsubmitter платный. Но в бесплатной демо верси функции парсинга работают. Соответственно, если он вам нужен только как парсер – велком за демоверсией. В этом посте рассмотрю сравнение двух парсеров по некоторым параметрам.

Итак, первое, на что я обратил внимание – это то, что Allsubmitter работает с базой данных, а Aggress Parser пишет в текстовой файл. Причем при реально больших результатах парсинга текстовой файл раздувается до неприличия и Aggress Parser начинает тупить и вылетает с ошибкой. В Allsubmitter такой проблемы никогда не будет, потому что он работает с бд, за что ему большой плюс.

Второе – капча. Настраивать задержки поиска можно и там и там. Но даже при задержках в 20 секунд гугл иногда выкидывает капчу. Что делает Allsubmitter? Он выводит картинку капчи и предлагает ее ввести пользователю. Что делает Aggress Parser? Стоит. В результате, если вы работаете с Aggress Parser без прокси, то приходится время от времени искать абракадабру в гугле, чтобы проверить на наличие капчи или мониторить – увеличилось ли количество страниц в результатах парсинга за период времени задержки. Если нет – значит, вылезла капча и ее нужно ввести через браузер. Поэтому по этому пункту тоже плюс уходит к Allsubmitter -у. Еще бы добавить звуковое оповещение при выскакивании окошка с капчами, чтобы мониторить ее во время работы в полноэкранных приложениях.

Теперь о прокси. Парсить через прокси можно и там и там, но здесь Allsubmitter отхватывает пол балла и становится явным лидером! А все потому, что он имеет офигенно удобный инструмент сбора прокси в три шага. На первом вводим запрос для поиска прокси (к стандартным free proxy list и free socks list можно добавить русское слово прокси или “список прокси”), выбираем поисковые системы, в которых следует искать по этим запросам и парсим урлы всех сайтов, на которых встречаются эти словосочетания. На втором этапе Allsubmitter заходит на каждый из этих сайтов и выдирает данные в формате айпи:порт. Полученную базу чистим от мертвых прокси уже на третьем этапе. Все переключения между этапами происходят в пару кликов, что очень удобно.

Казалось бы, Allsubmitter явный лидер и нафиг нужен этот Aggress Parser? Но не все так просто, и у последнего есть свои преимущества:
1) (субъективно) парсит гораздо быстрее
2) можно заточить под любую поисковую систему, например, ту, которая никогда не выдаст капчу
3) встроенные инструменты разделения и перемешки баз

Похожие новости:

1. Покупать ли сателлиты или нет? В жизни практически каждого оптимизатора наступает момент, когда скапливается некая...