Goutte

OpenJTalkでPHP.netのマニュアルを音声ファイルにしてBGMにするまで

PHPの勉強をするためにいろいろやったことのひとつです。 車通勤をしていたとき、技術系のpodcastを聴いていたけれど聴くpodcastもなくなり、30分の通勤時間を勉強にあてがうことはできないのかなぁと思い、ちょうどそのときPHPを勉強していたこともあり、PHP.netのWebマニュアルを音声ファイルしてBGMとして聴こうと思い立ちました。 以下は車で聴けるようになるまでやったことです。 環境構築 PHP.netをスクレイピングして […]

【PHP】WEBスクレイピングして求人情報の一覧を表示させてみる

0. はじめに 求人情報をチェックするのって疲れますよね。 「もっと楽をして職探しをしたいなぁ」 ということで求人ページをWEBスクレイピングして、簡単に求人情報をチェックできるようにするページを作ってみました。 1. 用意するもの ・PHPが動くサーバー環境 ・goutte.phar 2. PHPコードを書く 今回はワークポートの プログラマー/PG(WEB・オープン・モバイル系)・求人情報一覧 をWEBスクレイピングして会社名・職種 […]

Goutteでユーザーエージェントを変更する本当の正しいやり方

FriendsOfPHP/Goutte: Goutte, a simple PHP Web Scraper スクレイピングツールとして有名なGoutteでテスト用クローラー作っていて少し引っかかったことです。 PHP 7.0.5 Goutte 3.1 問題点 もしかしたらバージョンによって異なるのかもしれませんが、ネットで拾った情報で下記のようにしてUAの変更を試みたところ、ちょっとした不具合がありました。 $client = new […]

Goutteが怖い・・・・

こんにちは、なめこです。 Goutteで怖い目にあいました(といってもGoutteが原因かは不明) Goutte https://github.com/fabpot/goutte レンタルサーバ(エックスサーバ)でスクレイピングツールを作ってます。 test.php $pram = POST値 $url = 対象URL // ユーザーエージェントの取得 $useragent = HttpHeaderUtil::getUserAgent( […]