Data Pipeline Casual Talk Vol.2を開催しました！ #dpct
先日のブログで告知した通り、4/16にスマートニュースさんでDPCT Vol.2を開催しました。
当日の様子はしんやさんのブログに記載があります。
また、当日のツイートはとぅぎゃったーにまとめていただいてます。
今回、ブログ枠に2名の定員を設けたのですが、残念がらしんやさんしかエントリいただけなかったので、主催の私がブログ枠の残りを担当します。 私のブログでは、全体的な感想と運営的な振り返り、そして次回の展望を記載します。
出席率
前回は初回でかなり申し込み人数も多かったことから参加率が9割を超えていました。 今回Vol.2の参加率は76.5%でした。 裏番組でPyData Tokyoが開催されていたこともあったことや、Conpassを立ててから実施までにやや期間があったことで、若干間延びしてしまったのかもしれないという反省があります。 次回は出席率8割を目指します。
感想
今回は色々なテーマが聞けました。 スマートニュースさんのスポンサーセッションではデータ分析をおこなうためのログ収集・分析基盤の構築と運用という全体感を知れる発表をしていただきました。 少人数で運用をする上でのポイントや冪等性の担保に関する視点、グッときました。
超優秀アルバイト氏の活躍を、ようやくパブリックな場にお届けできる！！ #DPCT https://t.co/BpT9MtJe08
— ゆずたそ (@yuzutas0) April 16, 2019
ゆずたそさんから推薦してもらい、きょんたんさんに登壇してもらいました。 学生アルバイトとは思えない知見の数々で非常に素晴らしい内容でした。 現在M1ということもあり、今後就職活動を控えているということで、早くも各社の目の色が変わりました。私たちも一緒にやりたいなー
バッチ枠では若山さんに「digdagで支えるデータパイプライン」という発表をしていただきました。 前回まるで存在を触れられなかったdigdagが非常に便利そうであることがわかって、よかったです。WebUIは非常に大事ですね。
LT枠では3つの発表をしていただきました。 高橋さんのパイプラインを作ってみての話は非常に示唆がありました。 田中さんのバルクロードのつらみの共有はこのあとの懇親会の肴に最適でした。 一條さんの推薦のためのdata pipelineのモニタリングとロギングも今後の開催テーマにしても良さそうなお話でタメになりました。
今回発表いただいた資料は全てConpassにリンクしてあります。
ぜひ、みなさんのパイプライン構築の参考になれば幸いです！
次回は？
というわけで、当初は継続するかどうか悩んでおりましたが、懇親会で会場も確保できたので、次回も開催したいと思います。 次回も基本的には色々な話を提供いただこうと思っていますが、今回ストリーム処理の話がなかったので、そんな話ができる方はぜひ@tetsuroitoまでご連絡ください！
また、DataPipelineのテストなどについてもお話いただける方がいればぜひ！ あとはCloud Composerの中の人とかきてくれるとうれしいなー
次回は6月末に開催予定ですので、続報をお待ちください！！
