今回も引き続き Google Cloud Next '17 in Tokyo （２日目）で聴講した機械学習系（と BigQuery）のセッションのメモを書いていきます。 初日分はこちらです。 beniyama.hatenablog.jp ※ 聞き違いや理解不足から一部不正確な情報が載っている可能性がありま…

ザ・プリンス パークタワー東京で開催中の Google Cloud Next '17 in Tokyo に参加しています。 cloudnext.withgoogle.com 今回は機械学習周りのセッションを集中して選んでみましたのでそのメモです（裏番組になっていて残念ながら聴講できなかったセッショ…

備忘録的に書いとく。 第3回スタートアップRails勉強会 「データ基盤で超える開発の壁」 connpass.com 第2回 教育AI・ビッグデータ分析WGセミナー 「スタディサプリを支えるデータ分析基盤 ～設計の勘所と利活用事例～」 http://lebac.jp/?p=2359lebac.jp Fo…

Treasure Data での時間の範囲指定にはとにかく TD_TIME_RANGE() を使おう この記事で言いたいことはこれにつきます。 Treasure Data での唯一のパーティションキーは time だけ Treasure Data ではユーザがインデックスを作成したりパーティションキーを指…

大変ありがたいことに 2/17（金）にデブサミにて登壇する機会をいただいたので、目黒の雅叙園に行ってまいりました。 event.shoeisha.jp 思えば去年はまさにこのスタディサプリ移管の真っ最中で公募枠に応募することすらできず、今回は溜まりに溜まったネタ…

ワークフローエンジンの Digdag を本格的に使い始めたのですが、バージョン 0.9.3 の現在、通知系のオペレータは mail:> くらいしかありません。 プラグインを使うことで Slack 通知が可能になりますが、Digdag のホスティングサービスである Treasure Workf…

久しぶりの投稿ですが生きております。 ふと Embulk のプラグインを見よう見まねで作ってみました。 github.com Embulk で転送かけるデータのカラムを指定して * で置換を行うフィルタープラグインです。 センシティブな情報なのでマスクしたい、がカラムご…