そこで、Nagios使うまでも無く、Kazuhoさんの Kazuho@Cybozu Labs: 監視とは継続的なテストである、という話 (もしくは cronlog とテストスクリプトを組み合わせた監視手法について) みてシンプルに死活監視できるよなーと思って、 「Perlスクリプト」を書いてみました。 「死活」のみの監視なんで、サイトが正常では無かったらメールを飛ばすだけでいいという想定です。 設定をYAMLで持たせたかったり、メールをPerlから送りたかったりしたんで、 少しKazuhoさんのやってることより複雑になりましたが、まぁ簡単です。

#!/usr/bin/perl
use strict;
use warnings;
use LWP::UserAgent;
use Email::Sender::Simple qw(sendmail);
use Email::MIME;
use Try::Tiny;
use YAML qw(LoadFile);
use Path::Class qw( file );

my $file = $ARGV[0] || "config.yaml";
die "Can't open $file" unless ( -f file($file)->stringify );
my $config = LoadFile( file($file) );
my $ua = LWP::UserAgent->new( agent => 'Monita/0.01', timeout => 30 );

for my $url ( @{ $config->{url} } ) {
    my $res = $ua->get($url);
    send_report( $res ) unless $res->is_success;
}

sub send_report {
    my $res = shift;
    my $email = Email::MIME->create(
        header => [
            From    => $config->{from},
            To      => $config->{to},
            Subject => $res->request->uri . ' : ' . $res->code,
        ],
        attributes => { content_type => 'text/plain', },
        body       => $res->status_line,
    );
    try { sendmail($email) }
    catch { my $error = $_; warn $error->message };
}

このようなconfig.yamlを用意して

---
from: xxxxxx@xxxxxx
to: xxxxxx@xxxxxx
url:
  - http://hoge.com/
  - http://moge.com/

$ ./monita.pl config.yaml

と実行すればURLのリストにあるサイトで、200番以外のレスポンスを返却した時に、 ステータス情報と共にメールが届きます。 これをcrontabで定期的に実行すればOKですね。 リソースの定期的な把握についてはcactiとかcloudforecastとか使えばいいっすね。

$ cpanm --sudo Module::Used
$ modules-used ./ | cpanm --sudo --skip-installed

今、お試し中だよ。うまくいけば、 Makefile.PLのrequiresちゃんと書いてない時とか便利だね。

はてぶに似たデザインになって見やすくなって、はてぶとは違ってみんなのツイート付きだったりして楽しいよ！ いろいろ機能が追加されたけど目玉は、「バズワード機能」。 最近のツイートから特徴的な言葉を抽出してて、朝方だと「朝焼け」が大きな文字で表示されたりするよ。 もちろん、それと関連するTwitPicの写真とか見れるよ！ しかも、サイト上でそのまま表示（エンベッド）されるから便利だね。 以下に、リニューアルの改善点を挙げるよー。

1. インターフェースデザイン刷新

インターフェースを全面的にリニューアルしました。 トップページにより価値の高い記事をカテゴリ分けを行うことにより表示させています。

2. バズワード機能の追加

つぶやきから特徴的な言葉の頻出を計ることにより、 「今」話題の「バズワード」を右上に常に表示しています。 バズワードと関連のあるサイト情報を一覧することが可能です。 例えば、朝方ですと、「朝焼け」といった単語が大きな文字で表示され、 多くのユーザーが朝焼けの写真等をtwitpicなどの写真サービスを使い アップロードしている模様がわかります。

3. 「今、影響力のあるユーザー」表示

直近のRT(リツイート)された回数を数えることにより影響力のあるユーザーを表示する機能を 追加しました。

4. 100以上のサービスのエンベッド(埋め込み表示)に対応

TwitPicやflickrなどの写真サービス、ニコニコ動画やustreamなどのライブ動画配信サービスなど、 100以上のサービスの埋め込み表示に対応し、サイト上でそのままコンテンツを体験することができる ようになりました。

5. Twitterで特徴的な「写真」「動画」「ライブ」のカテゴリ分け

Twitterでは「写真」「動画」「ライブ」という3種類のサービスが経験により多くつぶやかれていることが わかりました。そこでその3つに絞って、カテゴリ分け表示を行い、 ユーザビリティの向上に勤めました。

6. RSS出力の改善により自社ドメインの影響力を図れるように

各ページではRSSを出力しています。 特にドメインもしくはホスト名別でつぶやかれたページをフィルタリングして出力させる機能が 便利です。例えば、自社のキャンペーンサイトのページが3回以上つぶやかれたものをフィードリーダーで 閲覧するなどと言ったことが可能です。

7. クローラーの修正

クローラーについて、攻撃性が強すぎて迷惑をかけていたところを修正しました＞＜

はてぶもいいけど、TwitterユーザーならTwibもチェックだ！

ということで機能説明をしてきたけども、 今回システムのアーキテクチャも大きく変えました。 バックエンドになんとMySQLを捨てて、mongoDBを採用してみました。 Shard x 2 で現在稼働中で、そこそこ安定しています。 バズワードや「影響力のあるユーザー」の集計にmongoDBに付属のmap/reduceを使っています。 このAuto-Shardingとmap/reduceの機能、そして、 インサートがそこそこ速いことが今回導入の決め手です。

また、ジョブキューにQ4Mを使っていたのを、 あえて使う必要ないので、gearman-C にしました。

そして、各サービスのコンテンツの埋め込み（エンベッド）に対して一部以外は、 embed.ly の API を今のところJSで使用して、100以上のサービスに対応させました。 embed.ly はこういう時に便利です。

システムについて、結構面白くなってきたので後述するかもしれませんが、 ざっくりとはこんなところです。mongoいいよmongo。

ということで、Enjoy!

• Twib - Twitter ホットエントリー

今まで執筆しているのがmiyagwaさん、牧さん、typesterさんというすごいメンツなんで、 僕が書けるのはなんだなーと思っていたところ、やはりWeb APIかと。 Web APIのおかげでPerlのプログラミングでアプリ作ってるし、 Perlのおかげ？でWeb APIが楽しくいじれるしってことでTwitter Search APIを題材にして書いてみました。 前述の通り、PerlCasual#3 の時の発表とのメディアミックス(笑)になっております。

PerlでWeb API入門/Web APIでPerl入門 - PerlCasual#3より - ゆーすけべー日記

とにかく3つのことだけを言うことにしました。

• リクエストURIを構築する
• Web APIにリクエストする
• 結果をパースする

で、それぞれモジュールの使い方についてサンプル付きで解説している初心者向けの記事です。 Web APIというとマッシュアップサイトとかボットを思い浮かべて、 なんかちゃらい感じしますが、ただ結構Webのアーキテクチャを理解するための要素が詰まっているので、 これを機に何か作る人が増えたら嬉しい早漏。

そして！これ一番大事。 興味持ってくれた人は、買ってもらって、読者はがきで 「ゆーすけべーさんの記事がxxxでした」って感想送ってもらえると嬉しいです！ この記事typesterさんが分かりやすいって言ってくれたしオススメだよ！

ということで買ってくれるんでしょ！あざっす！

WEB+DB PRESS Vol.58

posted with yusukebe.com::AmazonSearch on 2010.8.26

• 編
• 大型本 / 技術評論社
• Amazon 売り上げランキング: 64

Amazon.co.jpで詳細を見る

さて、その予行練習みたいな具合で、 マッシュアップしてかつ、便利なライブラリを活用して「ホテルの空室検索」 サイトを作ってみました。 条件を指定すればソート順に楽天トラベルとじゃらんのホテルの空き室が表示されるすっごいシンプルな物です。

ホテルの空室検索

作っていて思っていたのは、Web APIがあるところでは安定してきたなーということと、 サイトを作る際に使えるライブラリがいい意味で枯れてきているなということです。

Web APIのレスポンスタイムが今回使った楽天の場合はちょっと遅い感じですが、 Google Mapsの方はすっごい速い。というかなんというかGoogle APIは総じて速いっす。 なので、キャッシュできるところはもちろんした方がいいのですが、 開発したての頃合ではそこまで意識する必要はないかもしれませんねぇ。

ライブラリの方ですが、僕はPerlでサイトを作るので、CPANモジュールなどバックエンドで使う物は、 もう使い方がわかってきたし、テストも十分通っている物を使っています。 まぁ、今回はHTML::Menu::DateTimeというちょっと珍しい物を利用してみましたけどね。

目を見張るべき、注目したいのはクライアントサイドの、つまりJavaScriptとCSSのライブラリです。 jQueryがやはり定番になってきて、多くのドキュメントが検索すればでてくるようになりました。 これは非常に貴重です。 また、jQueryの場合はgoogleがホストしてくれているものを使えば、ローカルにJSを置く必要がありません。 CSSのライブラリはJSのそれに比べればまだ過渡期かもしれませんが、 BlueprintやそれをベースにしたBluetripなど非常に便利です。 今回はBluetripを利用しました。ダウンロードして解凍すれば index.html がひな形になっているので、 早速いじれます。

もっとUIを凝りたければ、Wordpressのテーマをカスタマイズして、 とりわけPHPじゃなくっともCSSとHTMLのスタイル部分だけもってきて、 かっこいいページが作れちゃうわけですし、恵まれてきたと思います。 よりインタラクションにこりたければ、jQuery UIという選択肢もありますし。

ということで、「MASHUP AWARD」を制したければ、 ライブラリも活用した方がいいのかなーなんて思って「ホテルの空室検索」、作ってみましたよ！

• jQuery: The Write Less, Do More, JavaScript Library
• BlueTrip CSS Framework | A beautiful and full-featured CSS framework
• ホテルの空室検索

iPhone/iPadに特化したインターフェースで、 YourFileHostにあるAV女優物作品がなぜだか見れちゃいます！ AV女優名別に作品一覧を閲覧したり、最近更新された動画を表示させたりできます。 もちろん、無料で、3G回線からでも割とサクサクと動くと思います。 作品はどんどんすごい勢いで追加されていますので、 お好みの女優さんがいるかもです。

これで、隠れてトイレでムフフできますね。 今通勤時間かと思うので、電車の中でも是非ムフフしてください！

• AVPhone

これらの他動画共有サービスはYourFileHostに比べ、総動画数の数は少ないもののの 動画一本に関する尺が長い、一本で完結する embedでブログに張れるなどのサービスを行っているところが多い という特徴がある。

ということで、これらいくつか分散する形で存在する動画共有サイトをひとつの、 言わば「複合新YourAVHost」的に見せれば有意義だろう。 ということで作られたのが「PornStar*」というサイトだ。

この記事を書いてる現在もまだ動画は完全に収集仕切れていないらしいが(もちろん新着分もあるので永遠に更新は止まらないのだが)、 現在わかる範囲で情報を紹介。

PornStarは「MegaPorn」「Tnaflix」「Emplix」「RedTube」「Xvideos」などの 動画サイトを複合し、日本のAV女優名別に閲覧することができるサイトである。 もちろん、更新のあったAV女優が出演していると見られている動画は逐一サイト上にアップされる。 動画はembedタグでサイト上に埋め込まれているので各動画サイトにいかずとも、 再生され閲覧することが可能である。 対応動画サイトについては随時追加される予定だ。 「ちょっとかわいいエロサイト」を意識したデザインになっているとのこと。

• PornStar*

YourFileHost動画のURLをフォームに入れてボタンを押すと、 その動画のFLVのパスを取得して表示してくれるというただそれだけのサービスです。

OurFLV - YourFileHostのFLVをダウンロード

似たようなサイトたくさんありまして、自分も以前同じ目的の物作りましたが、 最近になってYourFileHostのFLVパスが取得難しくなってました。 そんでどーすんべーかなーって思っててやり方がさっき思いついたので、実装した次第です。 まぁぶっちゃけると広告含めて「オールJS」なんですけどね！ ということで、ブックマークレットなんてのもあるんで、もしよろしければ使ってくださいねー。 by うらすけべー