Data Pipeline Casual Talk Vol.4を開催しました! #dpct

2019/09/30にDeNAさんのオフィスをお借りしてData Pipeline Casual Talk Vol.4を開催しました。

dpct.connpass.com

DeNAさんの用意してくださったロゴマークの:Dが描かれたオムライス弁当やベイスターズBeerが非常によかったです。ありがとうございました。

f:id:tetsuro-ito:20191003161004j:plain
:Dオムライス弁当
f:id:tetsuro-ito:20191003161040j:plain
ベイスターズBeer

今回もブログ枠を公募したのですが、残念ながらエントリはなかったので、主催の勤めとして、当日のレポートを書きます。

オープニングトーク資料

いつも行なっているオープニングスライドです。今回はデータサイエンティスト属性が減って、基盤やデータエンジニアが多く申し込んでくれました。 また、今回の会に期待することとして、具体的なパイプラインのツールというよりも全体的な部分を期待している様子が伺えました。

digdag中心の生活

最初はDeNAの小口さんからの発表でした。 悲しみを繰り返さないためにdigdagを使用し、幸せになった話は涙なしには語れない内容でした。

IoT と時系列データと Elasticsearch

念願のストリーム枠としてソラコムの今井さんから発表してもらいました。 IoTはテクノロジー総合格闘技ということにふさわしい、様々な処理をお話いただきました。また、当日はそんなに触れられなかったElasticSearchの内容も資料には盛り込んでいただいてます。

LT

LTは2枠ともエムスリーさんから

ある機械学習システムをAWSからGCP/GKEに移行した話

GCPで行動ログ基盤を開発している話

エムスリーさんといえば、同日にばんくしさんがテックブログにgokartに関するエントリも書いていましたね。さすが最近話題の企業。層が厚いです。

www.m3tech.blog

事後アンケート結果

前回から、開催後のアンケートをとっています。 内容は集計してブログで書いているので、今回も書きます。

満足度

平均は4.41点 (5段階)

NPS

18.2点

満足度はほぼ横ばいでしたが、NPSは減少してしまいました。 質問時間がなかったことや懇親会の時間が少なかったことなどが要因としてありそうです。これは改善課題ですね。

感想

  • 皆さんのつらみと解決策が聞けて良かったです。
  • クラフトビールありがたい
  • もうちょっとカジュアルだと嬉しい。ソラコムの今井さんのElasticsearchの話は聞きたかったです。
  • 時間がかつかつでしたが、質問タイムがあるとうれしいです
  • 面白かったですが、タイムスケジュールが守られていれば、更に良かったです。
  • 同じようコード管理やワークフロー管理に悩んで、課題解決に取り組んでいることが聴けて勇気が湧きました。
  • Data Pipelineというあまりスポットライトが当たらないけどもとても重要なテーマですごく良かった!強いて言うならもう少しテーマを絞って突っ込んだ内容が聞きたかった
  • 幅広くトピックがあるのがたのしい。一方で、同種のトピックは同じような内容になる気がしないでもないです。
  • 発表時間をもっと長く取って、各発表のツラミ話を最後まで聞きたかったです。

次回発表意向

なんと回答者の4割の方が次回以降発表するかを検討していただいてます。 LT大会でぜひ!

次回以降聞きたいテーマ、話題

  • バッチ処理をワークフロー化するか、分離するかの判断基準
  • データ分析基盤構築時の負荷試験やコードのテストなど
  • 機械学習寄りの話
  • IoT絡みのログ設計、ログフォーマット変更
  • GCPの事例等(DBをどう選定したかなども)
  • 最強のデータ分析基盤とは?
  • Airflowについて
  • データ利活用の応用フローなどやデータアーキテクチャやデータライフサイクルのような話
  • mlops関連
  • クラウドで多数の環境を効率的に管理する手法

過去のDPCTの発表でairflowなどは充実しているので、その辺は見ていただくと良いかもしれません。MLOps周りもエムスリーさんのLuigiや先ほどのブログ、前回のリブセンスさんのArgoの話などがありますね。 他の部分はぜひ、年末のLT大会などで聞けると嬉しいですね。

次回

オープニングトーク資料も記載しているように、次回は2019年を締めくくる大会

年末大忘年LT大会

にする予定です。開催会場とトークを鋭意募集していますので、ぜひよろしくお願いします。