Ameblo/Livedoor/excite/yaplog のブログクローラ書いた - 糞ネット弁慶
Ameblo/Livedoor/excite/yaplog のブログクローラ書いた - 糞ネット弁慶カテゴリー:コンピュータ・ITブログ記事を収集する必要が生じてクローラ書いた.最初は wget -a ./wget.log -w 30 -r -np -m -k -erobots=off -np blog_url とかやってたけど月別一覧やカテゴリ一覧,モバイル版URLを開こうとしてかなり重複してしまい一向に終わらないので,主要なブログサービスに合わせて書いた.どこから辿るのが記事を網羅できるか考えたところLivedoor: ...
http://d.hatena.ne.jp/repose/20121104/1352013754