|
Порнолаб-граббер: парсинг ссылок и создание постов
|
|
18.02.2022, 14:19
|
|
#11
|
Регистрация: 01.08.2011
Сообщений: 494
|
Важное обновление. Добавил граббинг из категории "Фото и журналы". Если честно, никогда не постил картинки, поэтому до конца не понимаю что нужно постерам...
Во вкладке "Граббер", в разделе "Оригинальный постер", добавил пару новых настроек:
1) Максимальная ширина и высота (постера);
2) Максимальное количество постеров;
3) Пункт "Разное": искать постеры под спойлерами; искать постеры в скачанном торренте; искать постеры ТОЛЬКО в скачанном торренте;
Алгоритм граббинга фоток и журналов следующий:
Загружается страница торрент-раздачи на ПорноЛабе.
- Если в настройках "искать постеры под спойлерами" то, соответственно, парсятся ссылки на все возможные картинки.
- Если в настройках "искать постеры в скачанном торренте" и максимальное количество постеров (пункт 2) не превышено, то после скачивание торрента будет произведён поиск недостающего числа картинок из него.
- Если в настройках "искать постеры ТОЛЬКО в скачанном торренте" то картинки на странице торрент-раздачи вообще игнорируются, и после скачивания торрента все картинки будут парситься из него.
Но тут есть нюанс: если в настройках стоит "искать постеры в скачанном торренте" и постеров на странице торрент-раздачи вообще не найдено, либо в настройках стоит "искать постеры ТОЛЬКО в скачанном торренте" - в таком случаи, в первую очередь в скаченном торренте будут искаться картинки с ключевым словом "cover".
Так же, если в скаченном торренте несколько папок, например три, а "Максимальное количество постеров" 15 картинок, то 15 делить на три равно 5 - т.е. из каждой скаченной папки будет взято по пять картинок, чтобы постеры загруженные на фотохостинги отражали всё содержимое загруженного на ФО архива. Так же, из каждой папки картинки всегда берутся рандомно, чтобы не было кучи постов-клонов на форумах.
Если в настройке "Максимальная ширина и высота" (постера) стоит, к примеру, значение "1920x10000", то в таком случаи каждая картика превышающая эти числа сперва будет обрезана по ширине, а далее, если нужно, и по высоте. Оригинальные пропорции сохраняются. Если в настройках стоит "искать постеры ТОЛЬКО в скачанном торренте" либо "искать постеры в скачанном торренте" - то это не значит, что будут обрезаны и сжаты оригинальные картинки, для загрузки постеров на фотохостинги сперва создаются копии картинок, именно они и будут обрезаться, оригинальные изображения из скаченного торрента никак не будут изменены.
Так же для категории "Фото и журналы" архивация всегда по умолчанию включена.
Новые макросы-переменные для раздела "Фото и журналы":
{imgResolution} - разрешение картинок
{imgNumberPhotos} - количество картинок
{imgNumberSets} - количество сетов
{imgNumberMagazines} - количество журналов
{imgNumberPages} - количество страниц
{imgFormat} - формат картинок
Ну всё, вроде... Если лень читать, запомните главное: для категории "Фото и журналы" в настройках лучше ставьте "искать постеры в скачанном торренте" либо "искать постеры ТОЛЬКО в скачанном торренте", чтобы уж наверняка были обложки.
|
|
|
07.05.2022, 22:40
|
|
#12
|
Регистрация: 01.08.2011
Сообщений: 494
|
Добавил:- daofile.com;
- FTP-загрузку;
- Таймаут ожидания в минутах;
- Настройку максимального количества скриншотов;
Пункт 2: Автоматическое получение ссылок на загруженные файлы невозможно, зато теперь можете загружать на любые сервера куда хотите.
Пункт 3: Граббер ==> Торрент ==> Таймаут ожидания в минутах.
Настройка влияет на ошибку "нулевая скорость загрузки". Загрузка остановится если скорость скачивания равна нулю на протяжении n минут. Ноль -- неограниченное время ожидания.
Пункт 4: Граббер ==> Скринлисты == > Максимальное количество.
В одной торрент-раздаче может быть очень много видеофайлов. Если проверка не нужна, оставьте это поле пустым.
|
|
|
20.06.2022, 18:57
|
|
#13
|
Регистрация: 01.08.2011
Сообщений: 494
|
Добавил:
- Индивидуальные прокси для порнолаб-аккаунтов. Разделитель " || ";
- Оригинальные названия видеофайлов;
- Резервные фотохостинги на случай сбоя основных;
- Файлообменник ddownload.com;
1) Теперь можно добавлять в txt-файл порнолаб-аккаунты в таком формате:
логин:пароль || username:password@ip:port
Это позволит вам добавить отдельный уникальный прокси для каждого порнолаб-аккаунта.
2) По умолчанию видеофайлам после скачивания даётся новое имя которое генерируется в поле "Тайтл поста". Но если вам обязательно необходимо оставить старые имена, тогда вкладка "Шаблон поста" == > Разное == > сохранять оригинальные названия видеофайлов -- поставьте галочку.
3) Раньше, если во время граббинга случался сбой во время загрузки на фотохостинг, это приводило к завершению всего потока с ошибкой. А теперь вы можете выбрать дополнительные(ный) фотохостинги на случай сбоя основных: Фотохостинги == > Запасные. Это должно повысить стабильность работы граббера.
|
|
|
25.11.2022, 20:04
|
|
#14
|
Регистрация: 01.08.2011
Сообщений: 494
|
Добавил на выбор две программы для генерации постеров "Movie Thumbnailer" (была изначально) и "Video Thumbnails Maker". Это позволит немного разнообразить ваши посты на форумах. Однако пришлось слегка изменить входные параметры граббера, самое важное: путь к файлу-шаблону "Video Thumbnails Maker" перенёс из вкладки "Шаблон поста" во вкладку "Граббер" -- укажите там заново шаблон для скринлистов ".vtm"
Если вы выбрали "Video Thumbnails Maker" для генерации постеров, и хотите создать несколько картинок-постеров на одно видео, в "Video Thumbnails Maker" в меню "Опции", в пункте "Компоновка", настройте нужное вам количество кадров. Далее в "Video Thumbnails Maker" в меню "Настройки", выберите опцию "Каждому кадру - свой файл". Так же не забудьте сохранить ваш шаблон постеров в формат ".vtm" и указать в граббере путь к этому файлу.
При таких настройках, "Video Thumbnails Maker" кроме отдельных кадров-картинок создаст так же и общую картинку со всеми кадрами, её можно автоматически удалить поставив галочку во вкладке "Граббер".
|
|
|
25.11.2022, 20:34
|
|
#15
|
Регистрация: 01.08.2011
Сообщений: 494
|
Вот такие настройки "Video Thumbnails Maker" я тестировал в граббере для генерации постеров:
Это если вы хотите много картинок-постеров на одно видео. Суть ясна, я думаю.
|
|
|
05.03.2023, 17:53
|
|
#16
|
Регистрация: 01.08.2011
Сообщений: 494
|
Добавил в граббер постинг на DLE.
Теперь во вкладке "Сайты" есть отдельный шаблон новостей в который вы можете вставить переменные из вкладки "Памятка".
Во вкладке "Main" выбираете тип задания, и новость после граббинга будет автоматически отправлена на ваш DLE-сайт. Если вы выбрали тип задания "сгенерировать из папки", то во вкладке "Сайты" нет смысла добавлять переменные порнолаб-текста, они будут пустые в итоге. Также есть поддержка дополнительных полей DLE, всего добавил четыре доп. полня в которые вы также можете вставить любые переменные из вкладки "Памятка".
Кстати, новый шаблон новостей во вкладке "Сайты" никак не влияет на вкладку "Шаблон поста", текстовик с готовой новостью всё равно может быть создан -- т.е. в итоге вы можете настроить два разных шаблона для одной новости.
|
|
|
06.06.2023, 21:23
|
|
#17
|
Регистрация: 01.08.2011
Сообщений: 494
|
Добавил постинг на WordPress.
Пароль приложения (обязательно):
Работа с сайтом осуществляется посредством встроенного в движок WordPress "REST API", это позволяет добиться стабильности работы и повышает вариативность настроек в граббере. Чтобы граббер получил доступ к загрузке и постингу, вы должны указать "пароль приложения" (по-сути api-токен) который вы можете получить на своём сайте в разделе "Пользователи, Профиль": https://ваш-сайт.com/wp-admin/profile.php
Пришлось полностью переписать загрузку картинок, поэтому, если вы грузите картинки граббером на сайт но не собираетесь постить им, вам всё равно обязательно нужно добавить в граббер "пароль приложения" во вкладке "Сайты".
По умолчанию "пароль приложения" доступен только для сайтов работающих по протоколу HTTPS, однако вы можете принудительно включить "REST API", для этого вы должны отредактировать файл "functions.php" который находиться в корневой директории движка, добавив в него одну строчку кода:
add_filter( 'wp_is_application_passwords_available', '__return_true' );
Произвольные поля (необязательно):
Чтобы произвольные (дополнительные) поля стали доступны для заполнения через "REST API", вам необходимо вручную отредактировать файл "functions.php" движка WordPress: ваш-сайт.com/wp-content/themes/активная тема/functions.php
Либо: ваш-сайт.com/wp-includes/functions.php
Пример кода который нужно добавить в файл "functions.php" для отображения одного поля:
add_action( 'init', 'register_my_custom_field' );
function register_my_custom_field(){
register_meta( 'post', 'название произвольного поля латиницей', array(
'type' => 'string',
'single' => true,
'show_in_rest' => true,
) );
}
Теперь, в теории, граббер вообще имба! Кстати, "пароль приложения" это то что нужно параноикам: никто не украдёт пароль от вашего аккаунта на сайте, который вы вставляете в левую прогу от какого-то чувака с форума... "Пароль приложения" не даёт доступ к админке сайта.
|
|
|
08.06.2023, 14:14
|
|
#18
|
Регистрация: 01.08.2011
Сообщений: 494
|
Цена за подписку в WMZ повышается с 15 до 19 WMZ в месяц.
После того как у них отозвали лицензию в РФ, а главное стали популярны и легко доступны стейбл-коины, ВебМани приуныли и окончательно отвязались от доллара.
Я, конечно, далеко не математик, но у меня получилось следующее:
1WMZ = 64 рубля - самый выгодный курс который я смог найти.
82р - 64р = 18р.
18/64 * 100% ≈ 28.125% - настолько в процентах 1WMZ дешевле одного USDT
Прибавляем к 15 WMZ разницу в 28 процентов:
15:100 * 28 = 4.2WMZ + 15WMZ = 19 WMZ
И это я ещё в меньшую сторону округлял всё. Долго ждал и надеялся, но нет, ВебМани протухли, в эпоху крипты в них больше нет смысла.
|
|
|
01.11.2024, 14:08
|
|
#19
|
Регистрация: 01.11.2024
Сообщений: 1
|
Добрый день. Не много не понял для работы парсера нужен еще зенопостер?!
Меня интересует парсер именно в другой торрент.
|
|
|
02.11.2024, 11:59
|
|
#20
|
Регистрация: 01.08.2011
Сообщений: 494
|
Зенопостер не обязателен. Если у вас нет ZennoPoster, я могу продать вам граббер на основе ZennoBox, это урезанный вариант ZennoPoster, но для вас никакой разницы не будет. Платите 10 долларов за 30 дней и получаете доступ, если всё устраивает в граббере, далее платите по 15 долларов за 30 дней.
"Меня интересует парсер именно в другой торрент." - нет, другие торрент-трекеры не поддерживаются к сожалению. Я постоянно пытаюсь улучшать граббер, обновляю программу, однако новые торрент-трекеры добавлять не планирую пока что.
|
|
|
|
Здесь присутствуют: 1 (пользователей: 0, гостей: 1)
|
|
|