動機：

色々考えることがありすぎてフリーズしてしまいがちなので、テキストに出力して整理するとともに、手を動かして擬似的にやる気を発生させたい

というわけで現在 2023/07/04 の午後 4 時すぎ、色々考えていきます

前回の記事では、構想を練るところまでやった。

苦節一ヶ月、ついに実現し毎日自動でデータを集め、それが BigQuery にロードされるようになったので、苦労した点をつらつらと書いていく。

ML4Keiba に関する昨年の記事でも書いたように、ローカルだけでなくクラウド側にデータを保存し、それらをクラウド上の DB におさめて分析あるいはサービス提供できるようにしたいと考えている。

そんな折、以下の書籍を読む機会があり、そこでおおよその方向性がつかめたのでそれをまとめる。

https://amzn.to/3DMKKQS

一言で言えば、　Cloud Functions x GCS x BigQuery で DWH をつくる構想 といったところだろうか。

気づけば 2023 年も一ヶ月が過ぎてしまった。 自分の中ではまだ１２月半ばなのだが、そうなってしまったのは再度病院送りになって時間間隔が狂ってしまったことが原因だろう。

とはいえ、頭を切り替えて春〜夏以降に備える必要はある。 療養生活を怠惰に自堕落に過ごして目を背けてきたことと、改めて対峙する。

前回までの記事では、 ML4Keiba の理想的な機能について考えた

今回は、具体的にどのようにデータを「状態」として保持するか・引き出すかを考える （まぁつまり ETL ってやつだ）

半年近く放置してしまったが、どうにかして本ブログの諸々を更新した

特に、docusaurus を v2.2 まで上げられたのは快挙であろう

「～を利用して」という表現には「個々人に "集めさせる"」という意図がある。 すなわち、Twitter API を個人で利用する分にはたかだか５０万 tw/month 程度までしか収集できない一方で、複数人の力を合わせればその量を N 倍に増やせるという企みである。

じゃあ、どうやってそれを実現するのか？ということを考えているので、それをメモしておく。

ML4Keiba としてデータを集めるのはいいが、その後についてきちんと考えをまとめていなかった。 マイルストーンというほど定かではないが、現在考えているいろいろなことをメモとして残す。

What までは書いてあるが、実際の具体的な How については自分の頭の中にあるだけだ。 これもどこかきちんと出力しておきたいが……また別の問題が生じるかもしれないので、後々考えることにする。

３月末に申請していた "GitHub Codespaces" のベータ版が今月初旬に到来していた。 4 月の冒頭で苦労していたことが嘘のように解決してしまい、今後も手放せないプロダクトとなりそうな予感がある。

早速使ってみた感想を述べる。

故あって Twitter API を利用してデータを取得している。 netkeiba.com をスクレイピングするときのように、"餅から米を得る" みたいなことはしなくて済むのがありがたい。 ドキュメントも整理されており文句は無い……と言いたいが、痒いところに手が届かなかったので、その愚痴を纏める。

なお、本記事では公式のドキュメント以上の新しい情報は無い。 本当に使ってみた感想と、今後に期待する要望、それと少しの workaround があるかも〜程度である。