|
10.02.2012, 23:42
|
|
#1
|
Регистрация: 05.01.2012
Сообщений: 11
|
Добываем прокси. Подробный мануал.
|
Для множества SEO программ, для различных парсеров, грабберов нужны прокси. Брать прокси с 1 сайта не ликвидно ( их используют многие и они быстро "умирают" ). Значит надо несколько сайтов, но ручками собрать списки со всех страниц будет долго, а потом же ещё и отчекать надо будет.
В плане сбора прокси с страниц сайтов, блогов нам поможет Digrabber:
В программе три рабочие области:
1)Links - сюда вставляем страницы сайтов с проксями
Load - загрузить список ( тхт формат )
Clear - очистить.
2)Link Check Resultat - лог программы
3)Work - настройки самого граббера.
Threads - количество потоков.
TOut - задержка.
Start Grab - запуск граббинга.
Dub - удаление дублей прокси.
Save - сохранение проксей в текстовый файлик.
Настройки самого граббера можете увидеть на скрине, я их считаю самыми оптимальными что б комп не грузить и шустренько парсить.
Создавать пункт "Начало работы с граббером" решил не создавать, так как всё предельно просто:
1) Нашли страницы с проксями ( желательно страницы которые ежедневно обновляются )
2) Загрузили их в окошко программы ( Ctrl+c --- Ctrl+v )
3) Выставили настройки как на скриншоте
4) Нажали Start Grab >Dub >Save
Итак, у вас появился тхт файлик с прокси, у меня с 40 ссылок порядка 12000-13000 прокси парсится ( это только httphttps )
Далее надо из списка убрать нерабочие прокси и по желанию прозрачные.
Для этого переходим на сайт - http://checkerproxy.net/
В Place Proxy List Here как вы догадались, загружаем наш списочек ( желательно более 5к за раз не проверять, браузер виснет ).
Тайм-аут оставляем 20, тип прокси я выбрал httphttps ( список сайтов с такими проксями будет ниже ).
Очень важный пункт, не забыть поставить галочку напротив don`t save my proxy list , если не поставить галочку, то список наших прочеканых прокси окажется опубликованным на сайте, а его грабят тоже, лишние пользователи на наши прокси нам не нужны.
Нажимаем Check List и ждём пока чекаются прокси.
В то время как чекаються прокси, рассмотрим какие они бывают:
High anonymous / Elite proxy - анонимные, лучшая степень защиты
Anonymous proxy - анонимные
Transparent proxy - прозрачные
not working - не рабочие
Как видите на скрине выше, там где окошечко Good Proxies, там все рабочие прокси появляются, если же надо анонимные прокси, то в полученной таблице группируем прокси ( Proxy Status ).
Желательно отбирать анонимные прокси. Время отклика не более 3 сек ( если хотите летать, так сказать ). Ищите свои сайты с прокси ( желательно ежедневное обновление на статической странице)
В общем то всё, удачного всем парсинга.
Скачать программу и списочек можете отсюда - http://narod.ru/disk/40333325001/Soft%2Blist.zip.html
|
|