rubyのwebクローラーフレームワークanemoneにパッチを投げた
anemoneはrubyのクローラ用フレームワーク。アクセスした後の処理とかを結構良い感じに挟めて、思い通りの処理をさせられそうでとてもうれしい。
ただ、遠慮無くDoSするぐらいの勢いでクローリングしちゃうので、同じホスト宛には3秒に一回しかリクエストを投げないように拡張ポイントを増やしてみた。
はじめてgithubつかってみたよ。
http://github.com/hayato1980/anemone/commit/70a26b182928bc825ba174443ea0ecde73f5b510
勇気を出してpull requestもしたけどスルーされちゃったから、サイトを探してチケットも投げてみた。当ててくれるかしら。