ヌメライに関する捕捉

ここ数日、ヌメライの検証ばかりしていました。
いくつか分かったことについて、捕捉として紹介します。

◆ランクについて
 前回、122位/854971モデルと報告しましたが、
 このランクの母数とは実際に予測結果をアップロードしたプレイヤー数であり、
 先週のトーナメントではその数はおよそ400名~500名でした。
 よって正しくは「122位/およそ500名」でした(失礼しました)。

 WIREDでは「7500名の匿名のデータサイエンティスト」と触れ込んでいましたが、
 実際にはそれらが淘汰され、残っているのは数百名です。

◆トーナメントについて
 トーナメントは週単位で行われています。
 データセットの更新は、毎週木曜日のAM7:00(日本時間)です。
 おそらくヌメライのポートフォリオは週1で金曜日にリバランスしていると考えられます。

 一日にアップロードできる予測数は25であり、最後にアップロードした予測が有効となります。
 一度でも予測をアップロードすると、参加費として$0.15が貰えるようです。

◆ランク付けとスコア(LOGLOSS)の関係について
 スコアの基準値は勝率50%における0.693であり、低いほうが優秀となります。
 しかしLawDataによる機械学習では、どんな手法を使っても0.691が限界のようです。
 (ロジスティック回帰、RGF、NN、RF、XGBなど)
 (私のベストスコアも0.691です)

 これらの結果でスコア0.691を出してもTOP100に入ることはできません。
 TOP100に入るために重要な点は、単純なスコアの良し悪しではなく、
 他のプレイヤーの予測値との相関であると考えられます。
 よって、何か特殊な方法でデータをこねくり回すなど、人と違った工夫が必要となります。
 (なお、スコア0.690を達成すると、問答無用で1位となると思います。)
 (前回のトーナメントでは、TOPのXIRAX氏だけが0.690でした)


確かに人と違った予測をすることは重要ですが、
ランク上げのためだけにプログラムの行数を増やす意味のない作業になってしまいます。
このことから「ヌメライのトーナメントに参加することは全く技術磨きにはならないなぁ」、
と感じました。

この話題に興味がある方はごく少数だと思いますので、本記事で最後とします。
もしも興味がある方や質問がある方がいればコメントでお願いします。


-----------------------------------------------------------------------------------------
<参考:ヌメライでのベストランク>             更新日:2017/3/10

RANK=5@LOGLOSS=0.691、ROUND46 (※順位は高頻度で変動します)
170310-1.png