Pobieranie całej witryny za pomocą łączy w PHP

Stosunkowo często rozwiązuję zadanie pobrania wszystkich stron w obrębie jednej witryny lub domeny, ponieważ następnie wykonuję różne pomiary z wykorzystaniem wyników lub wykorzystuję strony do wyszukiwania pełnotekstowego.

Jednym z możliwych rozwiązań jest użycie gotowego narzędzia Xenu, które jest bardzo trudne do zainstalowania na serwerze WWW (jest to program dla systemu Windows), lub Wget, które nie wszędzie jest obsługiwane i tworzy kolejną niepotrzebną zależność.

Jeśli zadanie polega tylko na wykonaniu kopii strony do późniejszego przeglądania, bardzo przydatny jest program HTTrack, który lubię najbardziej, tylko że przy indeksowaniu sparametryzowanych adresów URL w niektórych przypadkach możemy stracić dokładność.

Zacząłem więc szukać narzędzia, które potrafi automatycznie indeksować wszystkie strony bezpośrednio w PHP z możliwością zaawansowanej konfiguracji. Ostatecznie stał się on projektem typu open source.

Baraja WebCrawler

Właśnie dla takich potrzeb zaimplementowałem własny pakiet Composer WebCrawler, który sam potrafi elegancko obsłużyć proces indeksowania stron, a jeśli natrafię na nowy przypadek, jeszcze go udoskonalam.

Instaluje się go za pomocą polecenia Composer:

composer require baraja-core/webcrawler

I jest łatwy w użyciu. Wystarczy utworzyć instancję i wywołać metodę crawl():

$crawler = new \Baraja\WebCrawler\Crawler;

$result = $crawler->crawl('https://example.com');

W zmiennej $result kompletny wynik będzie dostępny jako instancja encji CrawledResult, którą polecam przestudiować, ponieważ zawiera ona wiele ciekawych informacji o całej witrynie.

Ustawienia pełzacza

Często musimy w jakiś sposób ograniczyć pobieranie stron, ponieważ w przeciwnym razie prawdopodobnie pobralibyśmy cały Internet.

Służy do tego encja Config, której przekazywana jest konfiguracja w postaci tablicy (klucz-wartość), a następnie przekazywana do crawlera przez konstruktor.

Na przykład:

$crawler = new \Baraja\WebCrawler\Crawler(
    new \Baraja\WebCrawler\Config([
        // klucz => wartość
    ])
);

Opcje ustawień:

Wyrażenie regularne musi pasować do całego adresu URL dokładnie w postaci ciągu znaków.

Jan Barášek   Více o autorovi

Autor článku pracuje jako seniorní vývojář a software architekt v Praze. Navrhuje a spravuje velké webové aplikace, které znáte a používáte. Od roku 2009 nabral bohaté zkušenosti, které tímto webem předává dál.

Rád vám pomůžu:

Kontakt