В поле можно ввести список url или текст где присутствуют url.

PHP Скрипт Links Tool предназначен для удаления дубликатов url. Поддерживает DOS/UNIX/MAC форматы строк, работает с верхним и нижним регистрами, преобразует любую кодировку текста в utf-8.

Возможности скрипта:

В параметрах предлагаются дополнительные условия для обработки текста:

- очистка url до последнего слеша;

- очистка динамического запроса в url;

- очистка домена от url;

- удаление протокола и порта в url.

Выбора определенных url из текста:

- только домены на латинице и кириллице;

- только домены punycode;

- только ipv4 адреса.

Сортировка ссылок по доменной зоне в алфавитном порядке.

BETA Проверка наличия домена в ссылках с возможностью указать количество потоков для парсинга, что в отличии от аналогов значительно ускоряет процесс проверки.


Пример работы функции «Удаление дубликатов»:

Если обработать следующий текст с включенным параметром «оставить исходный url» и «удаление дубликатов»:

example.com/index.php http://example.com/forum/index.php www.example.com

В результате получим следующий список:

example.com/index.php
www.example.com

В данном примере www.example.com не будет удален, т.к уникальность проверяется по домену целиком, а не по его части.
Но если сравнить www.example.com и http://www.example.com:8080/index.php тогда второй url будет удален, т.к является дубликатом первого домена.
Протокол, порт и путь при проверке уникальности будут игнорироваться.

Требуемые версии php: 5.4, 5.5, 5.6, 7.x
Расширение php-mbstring

Скачать скрипт можно по ссылке: linkstool_upd11.zip