続き
CSV君とマブまで行ったが、欠点が分かってきた。
とにかく遅い。時系列データだと読み込みが特に遅い。
解決にN択あって、それぞれP%のパフォーマンスが～
というサイトが無限にあるのでそこは書かない。
あんまり手広くやると萎えるので、使うならpickleにする予定。
読み込み：API
保存：CSVとpickle
再読み込み：pickle
保存：CSVとpickle
・・・
て感じにすれば便利かなと思ってる。デメリットは凄いけどね。
こういうのが一番誰かに聞きたいわ。
SSDが書き込みに耐えきれず死ぬシナリオがある。
HDDにすると普通に速度がボトルネック。
SSDは書き込み回数で死ぬのだけど、厳密に容量と同じ事なのか理解してない。
同じだとして、そっちをケアするならpickleを圧縮するのがエコ。CSVは辞める形。
・ファイル破損ケア：CSV
・SSD寿命ケア：Pickle圧縮（？）
・速度：Pickle非圧縮
・可読性担保：CSV
・優しさ：CSV
て感じ。全部主観。
CSVが便利すぎるのだが、体感の速度が10倍以上違う。
10倍って1時間が6分だからね。待ってれば終わるの領域に無い。
んー、復元が難しいデータだけCSVにして、基本はPickle使うか。
待ちの繰り返しより作業の繰り返しが嫌かも。
ーーー
pickleに書き直してみたけど爆速だね。
CSVみたいに無駄な調整しなくていいし、読めない以外は便利なのかも。
明日はどうしようか。
・取ったデータで何かする
・別のデータも取っておく
の二択かな。
上の方がやりたいけど、さっさとコード流用しないと記憶喪失になると困るから下だよな。
現状、手動で動かす設計だけど、自動で起動出来る様にするにはサーバー無いと駄目？
そんな大げさにしたくないんだけどな。
こことの噛合が致命的に悪いコード書いてると困るか・・・じゃあこっちが先か。
やる気なくなると困るので少し調べたけど大丈夫そうだった。
よーし寝る。
