Data Pipeline Casual Talk Vol.3を開催しました！ #dpct

最近すっかりブログの更新が止まっていましたが、こまめに書いていきたい。 2019/06/27にData Pipeline Casual Talk Vol.3をエウレカさんのオフィスを借りて開催しました。

dpct.connpass.com

当日話したオープニングトークスライドです。

毎回、参加者属性やイベントに期待することを事前アンケートをとって、最初に共有しているのですが、3回目くらいからは安定して来る感じですね。学びです。

今回の会場スポンサー、エウレカさんからは皆勤発表賞のsotaroさんからCloud Composerを半年運用してみての話をしてもらいました。毎回トークしていただいて、ほんとありがとうございます。次回も期待しています(笑)

その後はリブセンスさんのこちらも田中さんからArgo Workflowが便利だよって話をしていただきました。 yamlのファイルも詳細に解説してくれたので、普通に勉強になりました。このワークフローエンジンを使ってJuliaで書かれたMF,FMなどのレコメンドアルゴリズムやStanのシミュレーションが動いてるんですって。すごいですね。

その次はDeNA長谷川さんから分析基盤以降の話でどこまで利用者に自由を与え、どこまで統制するかという非常に難しいテーマで、データパイプライン基盤が完成して、利用者がたくさんできた先に悩む知見の共有がありました。個人的には歴史の重みが辛い..という言葉に大いに共感しました。

LTの２本はdigdag/embulkのtipsとYosegiというOSSのカラムナスキーマフォーマットの紹介をしていただきました。

全てではありませんが、当日の資料は下記にアップしています。

dpct.connpass.com

また、ブログ枠でのご参加の方がわかりやすく記事を書いてくれていますので、こちらもご参照ください。

note.mu

udomomo.hatenablog.com

さて、今回から参加後アンケートをとってみる試みをしてみました。ご協力いただき、ありがとうございます。そのサマリを発表します。

まず、当日の参加者は30名でした。(スタッフと関係者を除いています) そのうち、アンケートにご回答いただいた方が16名。回答率は半分強というところですね。ちょっと時間がおしてしまった部分もあって、この辺は改善ポイントな気もしています。