Ответ
Добываем прокси. Подробный мануал. Опции темы
Старый 10.02.2012, 23:42
  #1
regnet
 
Аватар для regnet
Регистрация: 05.01.2012
Сообщений: 11

Добываем прокси. Подробный мануал.
Для множества SEO программ, для различных парсеров, грабберов нужны прокси. Брать прокси с 1 сайта не ликвидно ( их используют многие и они быстро "умирают" ). Значит надо несколько сайтов, но ручками собрать списки со всех страниц будет долго, а потом же ещё и отчекать надо будет.


В плане сбора прокси с страниц сайтов, блогов нам поможет Digrabber:





В программе три рабочие области:

1)Links - сюда вставляем страницы сайтов с проксями
Load - загрузить список ( тхт формат )
Clear - очистить.

2)Link Check Resultat - лог программы

3)Work - настройки самого граббера.
Threads - количество потоков.
TOut - задержка.
Start Grab - запуск граббинга.
Dub - удаление дублей прокси.
Save - сохранение проксей в текстовый файлик.

Настройки самого граббера можете увидеть на скрине, я их считаю самыми оптимальными что б комп не грузить и шустренько парсить.

Создавать пункт "Начало работы с граббером" решил не создавать, так как всё предельно просто:

1) Нашли страницы с проксями ( желательно страницы которые ежедневно обновляются )
2) Загрузили их в окошко программы ( Ctrl+c --- Ctrl+v )
3) Выставили настройки как на скриншоте
4) Нажали Start Grab >Dub >Save

Итак, у вас появился тхт файлик с прокси, у меня с 40 ссылок порядка 12000-13000 прокси парсится ( это только httphttps )

Далее надо из списка убрать нерабочие прокси и по желанию прозрачные.

Для этого переходим на сайт - http://checkerproxy.net/





В Place Proxy List Here как вы догадались, загружаем наш списочек ( желательно более 5к за раз не проверять, браузер виснет ).

Тайм-аут оставляем 20, тип прокси я выбрал httphttps ( список сайтов с такими проксями будет ниже ).

Очень важный пункт, не забыть поставить галочку напротив don`t save my proxy list , если не поставить галочку, то список наших прочеканых прокси окажется опубликованным на сайте, а его грабят тоже, лишние пользователи на наши прокси нам не нужны.

Нажимаем Check List и ждём пока чекаются прокси.






В то время как чекаються прокси, рассмотрим какие они бывают:
High anonymous / Elite proxy - анонимные, лучшая степень защиты
Anonymous proxy - анонимные
Transparent proxy - прозрачные
not working - не рабочие

Как видите на скрине выше, там где окошечко Good Proxies, там все рабочие прокси появляются, если же надо анонимные прокси, то в полученной таблице группируем прокси ( Proxy Status ).

Желательно отбирать анонимные прокси. Время отклика не более 3 сек ( если хотите летать, так сказать ). Ищите свои сайты с прокси ( желательно ежедневное обновление на статической странице)

В общем то всё, удачного всем парсинга.


Скачать программу и списочек можете отсюда - http://narod.ru/disk/40333325001/Soft%2Blist.zip.html
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием

Ответ
 
 

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Полный мануал по Video Thumbnails Maker dangerous Файлообмен 67 25.09.2015 01:49
Настраиваем анонимный прокси для постинга на своем VPS Dantomo Файлообмен 3 14.07.2014 16:40
Мануал по использованию программы ThemaPoster StrannikK Файлообмен 39 30.05.2012 02:26
Установка скрипта для постинга sBorg - подробный мануал Dantomo Файлообмен 0 12.01.2012 11:49
Прокси vital501 Файлообмен 3 02.01.2012 14:36



Здесь присутствуют: 1 (пользователей: 0, гостей: 1)
 
Опции темы

Быстрый переход


Текущее время: 07:40. Часовой пояс GMT +3.