[AlexanderSh88]

Фредди.

Эта ссылка с "<s> "в имени файла недействителен.

Да, у меня таких ссылок нету, это дело в форме ( sexfetishforum, xxxfetishforum), иногда в постах он заменяет текст, если символы с чем-то совпадают, например с каким-нибудь стоп словом или например код какого-нибудь смайлика.
Я не раз замечал на форуме, что в середине ссылки оказывался какой-нибудь смайлик. То есть часть символов из ссылки совпали с кодом какого-то смайлика.. поэтому мне и необходимо было найти эти посты, чтобы их вручную отредактировать, Я думал можно будет нажать правой кнопкой мыши на статус мёртвой ссылки и перейти на пост, в котором была найдена эта ссылка, чтобы его не искать самому.. Можно конечно во вкладке в posts воспользоваться поиском, но там можно выделить только один форум и одного пользователя, А мне нужен поиск глобально.. Но даже если бы этот поиск глобальный был, Я думаю я бы просто не дождался, программа искала бы в ни одно миллионе сообщений.. вычислить пост у меня получилось через total commander.. я вставил ссылку и провёл поиск по txt файлам в /user/posts/ вообще каталогах и подкаталогах..


Сейчас запустил процесс редактирования (большой процесс, переезжаю на новый хостинг картинок). В первое время во вкладке edit статусы (задание на редактирование) появлялись быстро, но потом начало всё замедляться.. я очистил успешные статусы, стало немножко быстрее, но через время опять всё стало медленно.. на следующий день стало всё ещё медленнее.. в очереди ещё 50 форумов, на каждом в среднем 50 000 постов, а с учётом того, что переезжаю на другой хостинг картинок, будут заменяться абсолютно все посты, так как все ссылки в предыдущем хостинге картинок мертвы..
Наверное как только количество статусов достигает определенного количества, добавления новых статусов значительно замедляется.... Можно ли как-то это исправить, или что-то может быть windows очистить или настроить, чтобы этот процесс добавления проходил как изначально быстро (как тогда, когда ни одного статуса ещё не было)?, или тут ничего нельзя сделать и придётся очень долго ждать? Кстати, в настройках не нашёл функцию автоматической очистки успешных зелёных статусов во вкладке edit, чтобы самому постоянно не нажимать кнопку очистки. Нашёл только очистку статусов старше нескольких дней.

[Freddy.]

Removing successful statuses does help and should be done (they are eating memory and resources).

There is no option to remove them automatically at the moment, but will add it.

There is only option in "Settings" -> "Edits" -> "Automatically remove edit statuses older than (in days)". But it's not really for that and they are cleared on start-up only.

Will add an option to remove successful edit statuses automatically.

Will think about the "see the post with dead link" option or something similar.

[AlexanderSh88]

Freddy., а можно ли как-то решить проблему с большим количеством статусов в списке редактирования? Сейчас у меня как будто сломалось окно редактирования.. Я попытался выделить один статус и нажал retry.. Операция прошла успешно, но теперь визуально в окне редактирования ничего не появляется (новые статусы, задания на редактирование), а также я не могу ничего выделять, я нажимаю левой кнопкой мыши на какой-нибудь статус, но он не выделяется.. Внизу в логе я вижу что очередь постов очень медленно но уменьшается.. Когда пытаюсь очистить зелёные статусы, внизу вижу написано что статусы очищается, потом вижу сообщение об успешной очистке статусов, но визуально в окне этого не видно, все зелёные статусы я продолжаю видеть, то есть как будто бы окно редактирования не меняется, оно как будто заморозилось.. Если в фильтры что-то писать, то ничего не меняется, при том как-то странно набирается текст, когда я набираю буквы он набирается как-то задом наперёд, то есть последняя напечатанная буква самая левая
Что мне теперь делать? Просто закрывать приложение и заново открывать?, но процесс редактирования не закончен, во вкладке links заменённые ссылки зелёного цвета, можно ли потом процесс редактирования запустить заново? И может быть его запускать как-то частично? (чтобы много статусов не появлялось в окне), но частично вроде нельзя запускать редактирование, редактирования будут проводиться везде, где записаны новые ссылки... Компьютер не слабый... процессор загружен только на 15–20%, оперативная память на 34% (всего 32 Гб), загрузка диска 0%.

-----------------------

Может как-то можно сделать, чтобы был какой-то предел заданий на редактирование для одного форума?, например если я установил предел 1000, то задания в очереди на редактирование для каждого форума не может быть больше 1000, если для какого-то форума достигнут этот предел, то программа ждёт, пока статусы для этого форума будут очищены (их станет хотя бы меньше 1000), и потом только продолжает добавлять новые задания в очередь на редактирование для этого форума... Форумов у меня 80, получается в окне редактирования будет не больше 80 000 статусов.. Функция автоматической очистки успешных редактирований будет работать, и статусы будут уменьшаться, а новые задания на редактирование будут добавляться...
Ведь зачем добавлять сразу все задания в очередь на редактирование для одного форума, если редактируется всё равно по одному заданию? Так пусть они появляются постепенно по мере очистки статусов, таким образом нагрузка окна редактирования будет ограничена, она не будет перегружаться..

[AlexanderSh88]

Ведь зачем добавлять сразу все задания в очередь на редактирование для одного форума, если редактируется всё равно по одному заданию? Так пусть они появляются постепенно по мере очистки статусов, таким образом нагрузка окна редактирования будет ограничена, она не будет перегружаться..

Ведь так процесс редактирования будет быстрее.. сейчас у меня примерно 6 форумов на редактирование по 50 000 постов, новые статусы добавляются очень долго (по 20 в минуту примерно). Один форум редактируется в 1 поток, то есть всего 6 потоков на редактирование.
Если бы все форумы добавились с пределом в 1000 заданий на 1 форум, то у меня бы сейчас в списке редактирования были все 80 форумов.. в настройках process limit установлен 50, т.е. общая редактирование выполнялось бы в 50 потоков (1 поток на один форум). То есть в 8 раз больше чем в первом случае, поэтому выполненные статусы очищались бы быстрее, а новые также быстрее ставились в очередь, то есть весь процесс работы был бы быстрее.. а если в опциях можно будет process limit установить больше, то все 80 форумов редактировались бы одновременно (1 поток на один форум), всего было бы 80 потоков.. таким образом было бы всё ещё быстрее...

[Freddy.]

@AlexanderSh88

Will review a bit later. A bit busier day.

[Freddy.]

@AlexanderSh88

* If you close the programs while there are edit statuses they will be aborted automatically and you can retry them on next start-up.

However if you had any background tasks (searching posts to replace links for example) they will be lost and would need to be re-done again (it would be faster since some posts would already be edited). You should not have too many tasks at once, it's better to wait for them to finish before doing more.

* Added options for processes limit up to 80 for next update (3.90).

* As mentioned before will add the option to remove success statuses automatically as well.

* Not adding the statuses immediately would be tricky because there won't be anything to abort when closing the program and you won't be able to retry them later, but will think more about it.

Removing the success statuses automatically should help.

[AlexanderSh88]

* If you close the programs while there are edit statuses they will be aborted automatically and you can retry them on next start-up. However if you had any background tasks (searching posts to replace links for example) they will be lost and would need to be re-done again (it would be faster since some posts would already be edited). You should not have too many tasks at once, it's better to wait for them to finish before doing more.

Я закрыл программу, т.к. ждать было не возможно, новые задания уже просто не добавлялись (в минуту может быть 1 добавлялось), а в очереди было ещё 43 форума.. Уже столкнулся с тем, что не могу продолжить фоновый процесс.. то, что успешно добавится в очередь можно было продолжить редактировать.., но то, что не добавилось, потеряно.. потом во вкладке links, ссылки стали зелёными сразу, хоть и редактирование ещё не прошло, и я не смогу запустить процесс заново на зелёных ссылках, там новые ссылки уже были добавлены, я думал можно будет заново запустить задание, но пришлось зелёные ссылки удалять, заново проводить проверку ссылок, они появились красные, потом опять вставлять новые ссылки и запускать задание.
- Может как-то можно сделать паузу для фонового процесса добавления в очередь, чтобы если нужно перезагрузить программу или компьютер, чтобы потом можно было продолжить.. либо, чтобы он автоматически сохранялся и продолжал выполняться после перезагрузки? Или например сделать возможность повторного выполнения заданий, для зелёных ссылок, чтобы хотя бы можно было заново запустить процесс, и не проверять с начала на мертвые ссылки..

Removing the success statuses automatically should help.

Я настроил макрос, 1 раз в минуту автоматически нажималась кнопка очистить успешные статусы, но это не помогло.. дело в том, что сообщения редактировать гораздо медленнее, чем добавляются новые задания на редактирование (вы это знаете), а также форумы добавляются поочередно (сначала добавляются все задания для первого форума, потом все задания для второго форума и т.д.), если заданий много, например 25 000 для каждого форума, то 3 форума добавятся быстро, а потом задания будут добавлять медленнее (из за того, что слишком много заданий уже добавлено), и выполнение заданий будет идти гораздо медленнее, т.к. 1 форум = 1 поток редактирования, 3 форума = всего 3 потока..
- возможно как-то сделать, чтобы задания для всех форумов добавлялось сразу, или например часть (например 500 заданий) добавилось для первого форума, потом 500 заданий для второго и т.д., как только 1 круг закончился, опять по 500 заданий с каждого форума добавляется для каждого форума и т.д.. таким образом у нас будет сразу много потоков редактирования (количество потоков = количество форумов), задания будут выполняться и очищаться быстрее.

----------
Сделал второе редактирование.. примерно определил скорость, на сколько уменьшается цифра "посты в очереди" в логе. Примерно 30 000 постов для одного пользователя уменьшалось за 6 минут!! Представляете какая разница? Когда я закрыл программу в прошлом редактировании (то задание было запрещено несколько дней) там эта цифра уменьшалось в лучшем случае на 1 - 5 в минуту, т.е. можно сказать стояло на месте.
Ночью я проснулся посмотреть, стало медленнее, примерно 10 000 постов из очереди уходило за 7 минут. (30 000 получается за 21 минуту), в окне было 70 000 заданий, макрос работал и очищал успешные статусы 1 раз в 1 минуту. Утром проснулся, осталось 6 форумов в очереди, 58 000 заданий.. странно, что из стало меньше, возможно потому, что потоков стало больше. Очередь постов уменьшалось быстрее, я ее не замерял, но не так быстро как в начале, когда только начинал задание..
Ещё заметил, что вентилятор на мини пк работал громче, загрузка ЦП 15%, может какие то ядро перегревается и начинает медленнее работать? Я е специалист в этом.. ещё заметил что загрузка оперативной памяти была 52%, при запуске была 24%. (Объем у меня 32гб). Может дело не в очереди а в перегреве или ещё чем то? Надо причину узнать.
скоро опять буду делать редактирование, в первый раз я исправлял 92 000 ссылок (тогда я не дождался конца работы и закрыл программу), в этот раз 12 000 (с учётом того, что за первый раз уже было что-то отредактировано). В следующий раз поставлю 15 000 - 20 000 ссылок на редактирование.
- может вы зайдёте ко мне на компьютер через google удаленный рабочий стол и посмотрите в чем причина, вы точнее сможете определить ее.., я могу вас позвать, когда процесс уменьшения очереди станет медленным, по сравнению со скоростью, которая была при запуске задания.

[Freddy.]

I have added an option to remove success edit status automatically for next update (3.90). It will work better than the button (the button increases the load since it tries to remove multiple statuses at once). With the option it will be better.

Also improved how statuses are saved. It might help as well.

For the green links replacements -> for now just delete that status, if the same dead link will be detected in some old post the status will appear there again and the "new link" will be already added automatically under "new link column", you will only need to confirm and replace (no need to load new link again in that case).

[AlexanderSh88]

Почему занимается так много оперативной памяти? Как её очистить Кроме того как перезагрузить компьютер? Сделал проверку на Мёртвые ссылки, после этого оперативная память загружена на 56%, . До начала операции загружено было 10%.
Перезагрузка программы не очищает оперативную память, только перезагрузка компьютера, есть ли какой-то способ без перезагрузки компьютера очистить память?

32,0 ГБ Скорость: 4800 МГц Использовано гнезд: 2 из 2 Форм-фактор: SODIMM Зарезервировано аппаратно: 2,3 ГБ Доступно 13,1 ГБ Кэшировано 9,3 ГБ Выделено 17,6/34,2 ГБ Выгружаемый пул 6,6 ГБ Невыгружаемый пул 5,1 ГБ Используется (сжатая) 16,5 ГБ (227 МБ)

[Freddy.]

Closing the program obviously is not using anything after that (it's not running anymore).

Something else is using those resources. Check in Task Manager (there won't be any themaManager if you closed it).

If it didn't close properly you can kill it there as well.