こんにちは。ノバセル株式会社システム開発部でデータエンジニアをしている @yamnaku_ です。
この度 Snowflake 社より、Snowflake Data Superheroes というものに選出していただきましたので、 Data Superheroes って何？という話と、自分が新卒で入社してきてから2年ほど何をやってきたか、みたいな話をしようかなと思います。
Snowflake とは
Snowflake とは、ざっくり言うとデータ基盤のクラウドサービスです。競合としては Google BigQuery や Amazon Redshift などが該当します。データウェアハウス機能だけでなく、データレイクやデータパイプラインの機能など、データ基盤に必要となるさまざまな機能を内包しているクラウドサービスになります。 日本でも最近耳にする機会が増えてきたかと思いますが、アメリカでは既にかなりのシェアを獲得している製品になります。
その最大の特徴は、ワークロードが分離していることです。 たとえば、一般的なデータベースエンジンは、あるユーザーが非常に重たいクエリを実行していた場合、他のユーザーのクエリの処理が遅くなるなど、影響を及ぼします。 しかし、 Snowflake は、あるユーザーが実行しているクエリが重くても、他のユーザーのクエリの処理に影響が出ることはありません。通常のWebアプリケーションにおいて各ユーザーが発行するクエリは長くても数百 msec 程度なので問題になりませんが、分析クエリの様な数十秒〜数時間かかるクエリが存在するケースにおいて、 Snowflake は非常に有用です。
これを実現しているのが、イミュータブルストレージやマイクロパーティションというものになりますが、話すと長くなってしまうので、もし興味のある方は以下の記事が良くまとまっているので是非参考にしてみてください。
ノバセルでは、2年半ほど前より Snowflake を導入してデータ基盤としての運用を進めてきました。
Snowflake Data Superheroes とは
簡単に言うと、 Snowflake のコミュニティへ貢献した個人に送られる称号です。 毎年入れ替わりがあり、その年の貢献度によって選出されるそうです。今年は全世界で73名、日本人はそのうち11名になります。
Data Superheroes に選出されるといろいろな特典があり、Superheroes 向けの特別なプログラムへの招待や、製品の先行アップデート情報を受け取れたりします。また毎年ラスベガスで行われている Snowflake Summit という1万人規模のカンファレンスへ無料で入れる特典もあります。
自分の場合、去年一年でブログ執筆や Youtube への登壇、コミュニティイベントの運営などをしてきたので、それらの貢献を評価いただいたようです。 正直、数年後になれたらいいなと言う気持ちで活動していたので、非常に嬉しいです。
ちなみに、去年執筆した記事はこんな感じです。
このような活動を理解していただきサポートして頂いた、ノバセルのエンジニアチームとラクスルの Strategic Comminication チームの皆様、 Snowflake コミュニティの皆様に厚く御礼申し上げます。
新卒2年経ったけど想像と違った
ということで、嬉しいのはもちろんですが、驚きもあります。
何と言っても、入社当初は2年後こんなことになっているとは全く想像していませんでした。 そもそも入社時には Snowflake のことは全く知りませんでしたし、データエンジニアですらなくて、サーバーサイドエンジニアでした。将来的には PdM になりたいなと思っていたくらいです。 それがいつの間にやら Snowflake に魅了され、データエンジニアリング方面にスキルを拡張していました。
Snowflake についての理解を深めるきっかけは SnowCamp という、 スノーフレークジャパン社で実施していた各社1名、8社オンリーのクローズドな研修プログラムでした。 CTOがデータ基盤周りに詳しいこともあり、ノバセルでは国内でも比較的早い段階で既に Snowflake の導入をおこなっていました。 そこに、会社宛に研修プログラムの打診を受けたわけですが、幸いにも、自分が参加する機会をいただけることになりました。 詳しい話は以下のブログに書いておりますので、興味があれば読んでみていただければと思います。
そこから1年、コミュニティを通じて社外のさまざまな方々と交流し、いろいろな刺激をもらいながら Snowflake やデータエンジニアリング領域において楽しく活動してくることができました。
仕事にも生かされた
また、コミュニティ活動を通じて、社内では得られない知識や経験を得ることができ、それを仕事にも還元していくことができたと感じています。 技術的な知識だけでなく、「成長とは人との関わりの中で生まれる」ということに気付かされたことも大きいです。
最近では、 Snowflake 上でのデータエンジニアリングやパイプライン構築だけでなく、データオペレーションツール・外部データの収集システムの構築など、狭い「データエンジニアリング」にとどまらずデータが関わる業務を幅広くやるようになってきました。ビジネスメンバーやお客様との関わりも増えてきた中で、学ぶことが非常に多くて刺激的です。
業務に関わる詳しい話は、こちらの記事にて取り上げていただきましたので、参考にしていただければ幸いです。
ノバセルは事業内容上、データ自体がビジネス価値につながります。 データ基盤という領域で自分の強みを発揮できている状態は事業インパクトも生み出しやすく、非常にやりがいを感じます。 引き続き、この領域で事業に貢献していきたいと思っています。
最後に
当初思っていた2年後とは全く違う現在ではありますが、まだまだチャレンジできそうなことが多く転がっており非常にワクワクしています。 それも、新卒間もないうちから大きい裁量を渡していただき、いろいろな機会を提供いただけたことが大きかったと思います。 今度は自分が他のメンバーに機会を提供できるよう、精進していきたいと思っています。
ここまで読んでいただきありがとうございました。
