予告.inに見る、システムの評価の難しさ

犯行予告収集サイト「予告.in」公開 「0億円、2時間で作った」 - ITmedia NEWSなどで紹介されている予告.inだけども、もうちょっと冷静に見た方がいい。

http://d.hatena.ne.jp/core/20080612/1213291350で言われるとおり、総務省を馬鹿にしたいという人間が鬼の首を取ったように叫んでいる感が強い。

アルファ版を作るまでと製品を作る違い

実際のところ、アイデア勝負なシステムなんてものの数時間でサービスインさせることは、予告.inなどの実例をみても分かる通り、可能だ。

だが、それはアルファ版というかプロトタイプのようなもので、障害とか問題があれば随時直しますよって代物。システム開発では普通、納品後の修正は瑕疵担保責任ってやつで、無償で直せと迫られるんだ。

だから、バグはありません!という宣言が必要で、そのために開発期間の1/3ぐらいはテストに費やされる。

また、仕様変更ってのも厄介な代物で、動いてもいないシステムの使い心地なんて、普通は想像できないわけだから、仕様策定の段階でOKとかいいつつも、いざモノが出来上がって触ると「直してくれない?」とか言われたりする。*1

随時直していいシステムなら、半額ぐらいでサービスインまではこぎつけられるけど、結局その後の修正やらも含めるともっと人手がかかっちゃう。

予告.inだって2時間で完成でその後一切、修正とかしていません!ってわけじゃないだろう?

納品して稼働し始めたらおいそれと直せない、となれば万全の態勢で挑むより仕方がない。学校のテストだって、出題の後に勉強する猶予が与えられるなら、前日に頑張って山はって勉強する必要なんてない。一発勝負だから、出題されるかもしれないところまで延々と頭に叩き込むんだ。

1万円で2時間でテント張りました。1か月かけて数千万も突っ込んで家建ててる奴、m9(^Д^)プギャー

つまるところ、作るのが大変だろうが、楽だろうが、そんなことはろくに評価されないってことを予告.inは証明して見せた。システムの評価の難しいところは、直観的にその規模・品質・機能性がわからないところだ。

モデルルームを見に行こうとしている人をテントに誘って、「何千万も払ってマンション買わなくても1万円で寝泊まりする空間を作れますよ」と言っても相手にされない。

でも、これがシステムとなると、テントも高級マンションも同じに見えるのだから困ったもんだ。

ま、でも、作るのに人手がかかったから高いっていう言い訳は、そろそろどうにかしないといけないんだけど。

*1:仕様変更に伴うプログラマの叫びはあちこちで書かれている

予告.OCR

はてなCAPTCHA破りとかやった僕だけど、予告.outを読み取るOCRはやらないよ。

つか、数時間で作れるようなもんじゃない。画像を作るのは簡単で、それを解析して元のデータを復元しようとするのはいつも難しい。だからCAPTCHAが実効性を持つんだ。

OCRについては論文が飛び交う世界で、それだけで一大分野を築いてる。自分もプログラムのプロではあるけども、OCRなんてのは専門外だから、アイデアを考えるぐらいはできるけども、ノウハウを持った専門家の足元にも及ばない。*1

予告.outがせめて、等幅フォントを使っていたならば、あるいは一晩で予告.OCRを作れたかもしれない。予告.outのソースを見ると分かるけど横幅が可変なTrueTypeフォント使ってるんだよね。その上文字コードUnicodeだ。昔みたいに等幅フォント+ShiftJISとかだったら力技で一応の変換ができる程度まではもっていけたんだろうけど。

CAPTCHA破りの難しさの話題でも、難しいのはマッチングではなくて文字の分割だって話だった。ちょっとアルゴリズムを考えていたんだけど、やっぱり分割が困る。「絶望」と「糸色望」を読み分けるのは簡単じゃない。半角カタカナとか本当にやめて欲しい。にんべんと「イ」をまじめに区別したかったら単語辞書でも作らないと精度出せないんじゃないだろうか。

電子的なフォントだから手書き文字の識別に比べれば格段に簡単とは言っても、比較して簡単の世界でいずれも難易度が高いにもほどがある。*2

縦に細長い領域を切り出して、順次読み進めつつ、領域の形状でマッチング対象を絞り込むような効率化である程度は認識精度を出せるかもしれないなぁとか考えつつも、一応のサービスにこぎつけるまでに世間はこの話題を忘れてしまいそうだ。

*1:そんな僕にも簡単に破れてしまう、はてなCAPTCHAは強度が弱すぎる

*2:情報処理学会の論文誌で日本の古い文献をOCRでデジタル化するような話が載っていたけども、草書の文字をパースするなんて離れ業がかかれていてげんなりした。世の中化け物だらけだ。

SBMは評価システムたりうるか?

SBMが持つ本質的な問題点と、SBMを超えるエントリ評価システムを作るためのヒント - ブログ執筆中の考察はとても面白いのだけども、ちょっと考察が荒い感じ。

ブックマークは評価を動機として行われるわけではないだろう*1。本来のソーシャルブックマークとしての機能性を失わせる方法論は採用できない。「票数の上限」なんてものがあったならば、ブックマークとして使えやしないので、そういうユーザをごっそりと逃してしまう。私も本来のブックマークとして使えなくなるならまず間違いなく別のサービスに流れる。

また、「一人一エントリ一票制の撤廃」もノイズを増やすことになるのではないか。はてなスターに顕著だが、連打してひとりで100票投稿する人間がいたりするわけで、それは100人が1票ずつ入れたエントリと等価かといえばそんなことはない。

いいところ、アマゾンのような1-5の5段階評価を一人に付き1回認めるというものだろうか。ブックマークした人数とスコアの分布というものでページを評価することになる。一応、ネガティブからポジティブまでを評価できるのではないだろうか。

タグの意味付けも面白いアイデアなんだけど「これはひどい」に見られるように、

  1. 酷いことを酷いと非難しているエントリ
  2. 内容が酷いエントリ

とまったく違う意味合いでもちいられるタグがあるので扱いが難しい。
ちなみに「これはすごい」「これはひどい」を扱った例はすでにある。オキニー アダルト画像ブックマークオキニー アダルト画像ブックマーク

SBMによる評価の越えられない壁

私が感じるのは、ブックマークという1票が粗すぎるということだ。TopHatenarとか見るとわかるんだけど、1ブックマーク以下の人とかが多数派なんだよね。今確認したらブックマーク数:0の人で23449位 / 56032人だった。そう言う意味で、評価の物差しとして1ブックマークという単位は大きすぎる。だから、大多数のページは統計誤差を考えればSBMによる評価が使い物にならない。

では、これがブックマークという行動に付随する副作用的な評価ではなく、専用の評価システムだったら解決するかというとやっぱり解決しないだろう。

はてなはこの問題に対してはてなスターという解決案を提示しているわけだけど*2、1ブックマーク以下の評価ができているかというと、いまひとつうまくいっていないように感じる。

ま、1日50アクセスないblogが75%で10アクセス以下が50%みたいだから、その辺に対しては集合知のようなものは発揮しようがないのだろう。

Webはとてつもなく広大だし、人はより人の多いところに集まる。SBMを評価システムとして考えた場合、その網にかかるのは少数の大物だけになってしまう。

*1:そういう目的と化している人をがいることを否定しないけども

*2:と私は捉えているけど、はてながそう思っているのかは知らない

はてブにモデレートがついたなら

http://d.hatena.ne.jp/RPM/20080612/1213280211の考察は鋭い。

はてブはおおむね筋が通っている意見が採用され、おかしな理論は叩かれるというぐらいには集合知だ。数は少ないが、賛否両論の場合もある。

モデレートがついたならば、より論理に矛盾がないことを迫られるから、トンデモ論者には辛く、マッチョには心地よい世界になるだろう*1

*1:でかい声で間違ったことを叫ぶアルファブロガーとかもいるが