DataLabのデータをPostgresqlに突っ込んでみよう
- 手元にあるLinuxにPostgresqlをインストール&データベース作成
- データ仕様書に従ってテーブル作成
- rubyスクリプトでWIN32OLEを使ってDataLabのＤＬＬを叩き、データをダウンロード
- スクリプトでデータをCSVに変換
- psqlの\copyコマンドでロード
・・・まで行ったけど、問題が二つ。
- レース情報のコーナー通過順にこんなデータが
(4,*6,8,9)(5,13)(3,7,11,12)-(1,2,10)
カンマが入っていてアウト。タブ区切りにでもしなきゃ。
- データにキーが重複して入っている
psqlの\copyはinsertしかしてくれないので、キーがだぶっているとエラーになる。作成年月日の項目が新しい方のデータでupdateしなきゃいけないんだけど、そんなことはローダーの領域じゃないね。さてどうしよう。
