Автокликер Clickermann :: Форум

Основной раздел => Биржа труда => Topic started by: garr24 on November 12, 2014, 11:27:33 AM

Title: Поиск внутренних ссылок на сайте
Post by: garr24 on November 12, 2014, 11:27:33 AM

Привет. Есть такая задачка:
1.Открыть любой сайт(это я знаю как сделать ;D)
2.Найти все внутренние ссылки(переходы по сайту) , исключить повторяющиеся и которые начинаются с вк.ком и тд.(все соц сети)  :o
3.Записать все переходы в текстовый файл в случайном порядке (каждая ссылка на отдельной строке)
3.1 ИЛИ перейти по 3-4 случайным переходам внутри сайта

Суть задумки:
1.открыть сайт(сайт случайный и в каком месте сайта будут переходы хз)
2.сделать в нем 3-4 случайных перехода внутри сайта

Есть какие варианты или готовые решения?
Хотел искать ссылки в коде станицы, но там все напичкано "" с которыми КМ не дружит.

Title: Re: Поиск внутренних ссылок на сайте
Post by: Vint on November 12, 2014, 02:56:03 PM

Нужно решать задачи подходящими инструментами. Делать всё описанное кликером - это чесать правой ногой левое ухо.
Всё гораздо проще делается любыми другими средствами. Парсить код страницы напрямую используя регулярные выражения.

Title: Re: Поиск внутренних ссылок на сайте
Post by: Луций on November 13, 2014, 01:58:50 AM

как вариант - сохранять код страницы в текстовый файл и искать там по аштитипи с записью их в файл и последующим переходом по этим адресам

не уверен что будет работать везде

Title: Re: Поиск внутренних ссылок на сайте
Post by: security on June 28, 2015, 09:11:37 AM

Код на пхп. Прошу прощения за ап некротемы, просто код сделал, а заметил что теме больше 120 дней только потом.

Code: (php) [Select]

<?php

$url = "http://yandex.ru";
$output = array();
$content = file_get_contents($url);

if(preg_match_all('/<a\s[^>]*href=(\"??)([^\" >]*?)\\1[^>]*>(.*)<\/a>/siU', $content, $matches, PREG_SET_ORDER))
{
foreach($matches as $match)
{
if(!empty($match[2])) $output[] = $match[2];
}
}

$output = array_unique($output);

echo "<xmp>";
print_r($output);
echo "</xmp>";

?>