TsK|データエンジニア@メガベン (@HardModeDE) header
TsK|データエンジニア@メガベン (@HardModeDE) profile picture

建築修士→未経験SES→DS→SIer→メガベンDE💻🏆GCP6冠 「DSの猛者と戦わず、DEでポジションを取る」 ハードモードから這い上がった転職実録を発信 SQL / AI×エンジニアのリアル / メガベン転職攻略

Joined August 2019
Photo by TsK|データエンジニア@メガベン (@HardModeDE)Photo by TsK|データエンジニア@メガベン (@HardModeDE)Photo by TsK|データエンジニア@メガベン (@HardModeDE)Photo by TsK|データエンジニア@メガベン (@HardModeDE)Photo by TsK|データエンジニア@メガベン (@HardModeDE)Photo by TsK|データエンジニア@メガベン (@HardModeDE)Photo by TsK|データエンジニア@メガベン (@HardModeDE)Photo by TsK|データエンジニア@メガベン (@HardModeDE)
TsK|データエンジニア@メガベン retweeted
5年以上散々可読性低いSQLを修正してきたので、よく分かります。例えば、サブクエリがいくつも入れ子になって上へ下へ画面スクロールを繰り返することになるなら、with句で書き換えて上から下へスムーズに読めるようにしてほしい。
最近、SQLを書いていて痛感するのは、 「動くSQL」と「読めるSQL」はまったくの別物だということ。 ちゃんと動いても、命名や可読性が雑だと、レビューする人の負荷が一気に上がるし、後から「どこを直せばいいのか」が分からなくなる。 意識してるのはこのあたり。 ・CTEは「1レコードの粒度」を意識して、何が1行なのかを明確にする ・分かりにくいロジックには「なぜやるのか」をコメントで残す ・カラム名は中身と一致させる(is_activeなのに0/1以外が入ってる、みたいなズレは負債になる) その場限りの自分用ならいい。でも共通で使うSQLは、読みにくいと他人の時間を奪いかねない。 「動くSQL」は一瞬で作れるので、「読める形で残す」ところに価値が出てくる気がする。
1
2
13
1,140
TsK|データエンジニア@メガベン retweeted
自分も中途からだったのですが、正直新卒からより簡単だと思います。新卒の方は本分である学生生活とは別に、インターンとか業務委託で実務経験を求められ、CS基礎は全部押さえている前提で面接されるので、酷だなぁと思う。中途であれば実務経験前提ですが、ちゃんと市場価値の高い仕事をしていれば(逆に言えばそれだけで)評価されます。
今メガベンに新卒で入るような人って、めちゃくちゃ上澄みだなと思う。大学時代からちゃんと学習を積んで、アウトプットも出してきたタイプが多い。 自分はそのタイプじゃなかったけど、良い経験を積んで、メガベンみたいな会社に入ることができた。 「新卒で行けなかったら、もう二度と入れない」と思ってる人もいるけど、全然そんなことない。 むしろ、ある程度経験をしている、中途の方が欲しいというのも良く聞くし、諦める必要はないと思っている。
1
4
35
9,739
TsK|データエンジニア@メガベン retweeted
「増えた成果」は分かりやすいけど、「減った成果」は評価されにくいんですよね ^^; データ待ち時間が減る、障害対応が減る、集計ミスが減る、二重管理が減る、DSや事業部の確認工数が減る、などなど。 DEの成果は、利益を直接作っていないように見えて、実際には他の人が利益を作れる状態を整えているわけですよ。 ただ、難しいのは、価値が反実仮想になりやすいこと。 この基盤がなかったら、どれだけ時間を失っていたか、 この設計がなかったら、どれだけ障害が起きていたか、とか。 そこを評価できない会社ほど、DEを失ってから価値に気づくのかもしれないな🤔 という感想ですー
ぼちぼち思ってたんだけど、データエンジニア(DE)みたいな職種って、社内評価で昇給するのって難しくないか? データサイエンティスト(DS)は「施策で数値が◯%改善した」と成果を定量で語れるけど 一方、DEの場合、上手くいった場合は 「障害が起きなかった」「データが壊れなかった」という指標で測られるので、うまくいってても気づかれない。しかも目立つのは障害対応の時 このせいで、社内評価で給与が上がりにくい職種なのでは? そのため、社内で不満を持ったDEから転職していく、みたいなことも起きてる気がする。 ここの評価制度はどうしているのか気になってる。会社によってはDEの入れ替わりが激しいとかありそう。
2
3
81
3,239
TsK|データエンジニア@メガベン retweeted
確かにデータサイエンティストの知り合いが転職したら2-3割上がることはよくあると言ってました。 会社の評価制度も転職されないような競争力がある仕組みにできればいいのですが、会社規模が大きくなれば頻繁に変更することができず、ある程度の長期運用を考えなければならないので、なかなか難しいところではあります。
データ職に限ると「転職しないと給与は上がらない」と思っておくくらいがちょうど良いかなと 複数社を経験して感じるけど、同じ会社で昇給するのは、転職で上げるのに比べてかなり難易度が高い。 転職なら、客観的に見える経験やスキルで給与が決まるので、社内昇給みたいなブロッカー(予算・評価のタイミング・上司の判断とか)が少ない。 しかも今はインフレで物価が上がり続けているので、給与が据え置きなら実質マイナス。何もしないこと自体がリスクになる時代だと思う。 同じ会社にいれば安泰、みたいな時代はもう完全に終わったなと感じている。
1
1
11
2,020
TsK|データエンジニア@メガベン retweeted
自分は、snowflakeを推しますねぇ あとはいまからならデータブリックスあたり データ専業のプロダクトの強さはすごいですよ BigQueryは、GCP全体を利用する時には、これしかないって感じですが
データ職を目指すなら、BigQueryを触れる案件を狙うのはかなりおすすめ。 自分がこれまで触ってきたデータ基盤は、体感で8割がBigQueryだった。残りはTreasure DataかAthenaくらいで、それだけ案件が多い。 実際、自分はSESの時にBigQueryでSQLを書いてデータを出す経験を積めた。それが後々効いてかなり良い条件で転職できた。 結局、データ職である限り、どこに行っても自分でデータを出すスキルは必要。だから、BigQueryの経験をしておくと、後々の年収に効いてくると思う。
1
4
77
21,914
TsK|データエンジニア@メガベン retweeted
完全に同意です。 データ職を目指すなら、まずBigQueryのSQLをしっかり書けるようになるのが一番の近道だと思います。実際、私の周りでも「BigQuery案件やってたから転職で評価された」という人が本当に多いです。 SESでも正社員でも、結局「自分でデータを抽出・整形できる」スキルはどこに行っても必須。ツールが変わってもSQLの考え方は活きるので、BigQueryで基礎を固めておくと、後々のキャリアの選択肢が確実に広がります。
データ職を目指すなら、BigQueryを触れる案件を狙うのはかなりおすすめ。 自分がこれまで触ってきたデータ基盤は、体感で8割がBigQueryだった。残りはTreasure DataかAthenaくらいで、それだけ案件が多い。 実際、自分はSESの時にBigQueryでSQLを書いてデータを出す経験を積めた。それが後々効いてかなり良い条件で転職できた。 結局、データ職である限り、どこに行っても自分でデータを出すスキルは必要。だから、BigQueryの経験をしておくと、後々の年収に効いてくると思う。
3
9
854
おっしゃる通りですね。20代のうちに上流へ食い込むべきなので20代で上流に食い込む方の具体的な動き方を共有しておきますね↓↓ ★20代で上流経験を取りに行く具体的なアクション★ アクション1:自分が触ってる技術領域で「課題提案」をする 「このシステム、こうすれば改善できそうです」を上司に提案する。提案が通るかどうかより、提案した経験そのものが価値になります。提案資料を作って、改善後の効果を試算して、提案する。これだけで「言われたことだけやる人」から脱却できます。 アクション2:顧客折衝の場に同席させてもらう 要件定義の打ち合わせ、顧客との設計レビュー、運用フェーズの状況報告。営業や上流の先輩に「同席させてください」と頼む。最初は議事録係でも、聞いてるだけでも構いません。その経験を職務経歴書に「顧客折衝に同席」と書けるだけで、評価が変わります。 アクション3:プロトタイプを能動的に作る 新機能の話が出た時、「とりあえず動くものを作りました」と先回りする。完璧じゃなくていい。意思決定の場で「動くものがある」状態を作れる人は、組織にとって希少です。 アクション4:技術的判断を「自分の言葉で」語る場を作る 社内勉強会、技術ブログ、Tech Talk。自分の判断軸を言語化する場を意図的に作る。これが上流経験につながる思考の訓練になります。 アクション5:上司や先輩に「上流をやりたい」を明確に伝える これマジで重要です。多くのエンジニアが「機会が降ってこない」と嘆くんですが、降ってこないのは伝えてないからです。「3年目で要件定義の経験を積みたいです」「次のプロジェクトで顧客折衝に関わりたいです」を、上司との1on1で明確に伝える。これだけで、機会が回ってくる確率が上がりますので。
これは自分の見ている範囲(データ職まわり)の話だけど、30代になると、要求定義や要件定義の経験がないと、転職の選択肢が狭まってくる気がしている。 だから20代でやるべきなのは、実装をこなしつつ、上流に踏み込む動きをし続けること。 実際、自分がメガベンに受かったのも、実装に加えて ・分析結果から施策を提案する ・顧客にヒアリングしてプロトタイプを作る あたりをやっていたのが評価された気がしている。 実装しながら提案して、信頼を高めて上流に上がろうとする。この経験があるとキャリアの選択肢が広がる。 一方、言われたことやるだけはジリ貧だと思う。
3
12
2,868
TsK|データエンジニア@メガベン retweeted
AI使って内製と言いつつ、それが一定実現出来るのは相当にAIネイティブな開発部隊を揃えている会社だけだと思う JTCはチャット機能だけの会社も多いし、マクロ、RPAと同じような使い方で留まってるし、結局保守出来てないよ それでエラーやデータにミスがあると実務では使われなくなるから
「SIerはやめとけ」ってよく聞くけど、AIに代替されず最終的に人間に残る仕事は、一次請けのSIerでやるような仕事だと思ってる。 SIerと一口に言っても、何次請けかでやることは全然違って、一次請け(NRIやNTTデータみたいなところ)は、コードを書くより超上流の折衝やマネジメントがメイン 今後も仕事がなくなりにくいのは、こういう一次請けのSIerだと思っている。
1
2
9
2,766
TsK|データエンジニア@メガベン retweeted
自分それに近かったけど、SESを長くやっていると次第にマネージメント&営業職に近くなってきます。チーム体制をいかに増やすか、他社の椅子をどれだけ奪えるか、取引先の偉いさんと仲良くなれるか、次第にそういうゲームになっていきます。増員が売り上げに直結するのがSESなので、技術とかどーでもいいからとにかく人入れろ、みたいな感じになります。それはそれてやりがいあるんですけど、あれ、自分なにやりたいんだっけ?みたいになります
これは純粋な疑問なんだけど、ある程度経験積んだあとも、客先常駐メインのSESに残り続ける人って、どういう理由なんだろう。 自分もSES出身だけど、自社開発に移った方が、上流の経験も積めるし給与も上がりやすい気がしている。 それぞれ事情はあると思うので、続けている人の考えを聞いてみたい。
2
4
4
41
9,724
TsK|データエンジニア@メガベン retweeted
一次請けのSIerにいましたが完全に同意です。AIに代替されるとしたら二次請け以降の方でしょう。 …とはいえ、一次請けの仕事って割とおもしろくない仕事ばかりなんですよね。せっかく辞めたのに気が滅入っちゃいますね😭
「SIerはやめとけ」ってよく聞くけど、AIに代替されず最終的に人間に残る仕事は、一次請けのSIerでやるような仕事だと思ってる。 SIerと一口に言っても、何次請けかでやることは全然違って、一次請け(NRIやNTTデータみたいなところ)は、コードを書くより超上流の折衝やマネジメントがメイン 今後も仕事がなくなりにくいのは、こういう一次請けのSIerだと思っている。
1
1
5
1,604
TsK|データエンジニア@メガベン retweeted
これはAIでエンジニアがいなくなる!って騒がれ始めた頃からずっと感じてました👏👏👏 働いてる方なら薄々と多重請負が減ってくんじゃないかなと。 だから、たまに流れてくる『穴場企業』ってSIerの更に子会社が紹介されてるのを見ると大丈夫か?と思ってしまう。 もっと言うと、『やめとけ』って言ってる人が思ってるSIerは多分セカンダリー以降なんですよね。プライマリーで実装することはほとんどないし、理系出身は多くないし。 プライマリーも、近いうちにITコンサルみたいになるか、ソフトウェアメーカーみたいになるかって気がしますね🤔
「SIerはやめとけ」ってよく聞くけど、AIに代替されず最終的に人間に残る仕事は、一次請けのSIerでやるような仕事だと思ってる。 SIerと一口に言っても、何次請けかでやることは全然違って、一次請け(NRIやNTTデータみたいなところ)は、コードを書くより超上流の折衝やマネジメントがメイン 今後も仕事がなくなりにくいのは、こういう一次請けのSIerだと思っている。
1
6
1
62
26,664
TsK|データエンジニア@メガベン retweeted
完全同意で、SIerは下請けがAIに代替されていき、自社開発企業もエンジニアが開発をAIに任せて上流に寄っていることを感じます。 一部のトップクラスの技術を持つ人は別ですが、多くのエンジニアにはビジネス力も求められるようになるでしょうね。 NRIの友人はAIで代替されない領域が何かをずっと考えていると言っていましたが、そういう逆張り思考もビジネスに必要です。エンジニアは目の前の課題を解決するために何ができるかを考えがちなので、視野を広く持ちたいですね。
「SIerはやめとけ」ってよく聞くけど、AIに代替されず最終的に人間に残る仕事は、一次請けのSIerでやるような仕事だと思ってる。 SIerと一口に言っても、何次請けかでやることは全然違って、一次請け(NRIやNTTデータみたいなところ)は、コードを書くより超上流の折衝やマネジメントがメイン 今後も仕事がなくなりにくいのは、こういう一次請けのSIerだと思っている。
2
8
2
117
30,233
TsK|データエンジニア@メガベン retweeted
私は長らくDOA(Data Oriented Approach)信者なのですが、RDBMSは人類史レベルでもかなり偉大な発明だと思っています。 エドガー・F・コッド、つまりボイス=コッド正規形の「コッド」がリレーショナルモデルを提唱してから、もう50年以上。 このすごさを知る入口としては、「コンピュータ科学の天才がたどり着いた、最強の情報整理とは?【データベース1】#87」を視聴するとよいと思います!! youtube.com/watch?v=_O27bsV0…
Replying to @karou2rikon
自分も当初同じこと思っており、現場で触っていくうちにPythonだけでは無理なことに気づきましたね! 特にデータ量が多いともうPythonだとおいつかないです。歴史は知らなかったですが、ずっと変わらないところを見ていると、これ以上に良い方法はないのだろうなと思っています。 傘みたいに、完成されすぎてもう変えようがない道具なのかなと
1
1
13
2,234
TsK|データエンジニア@メガベン retweeted
web系でAIエンジニアやデータ系職種になりたいのであればpandasだけでなくSQLも必須。TBレベルの大規模なデータだとSQLでないと処理しきれません。メガベンチャー含め自社開発だと大規模なデータを抱えていることが多いです。 また、SQLを書けることも大事ですが、RDBの扱い、どのキーを使ってどのようにjoinするかにも慣れる必要があります。現場ではER図などデータ定義書や設計図が整っていないケースも多々あるので、既存のSQLや少ない情報から頭の中に複数のテーブルを描けるようにしておきましょう。
「Pythonでデータ加工できるのに、なぜSQLが必要なの?」って質問が来たので回答すると ・数千万行を超えるデータをPythonで処理しようとすると、メモリ的に厳しくなりがち ・Pythonは環境やライブラリのバージョンで結果が変わることがあるが、SQLは同じDB上なら結果が安定しやすい ・BigQuery等なら抽出からマート作成までSQLで完結し、そのままBIに繋げられる DSを含む、データ職を目指すなら、SQLは絶対に「必修科目」だと思っておいた方がいいです。
2
4
1
49
8,448
TsK|データエンジニア@メガベン retweeted
「Pythonでデータ加工できるのに、なぜSQLが必要なの?」という質問は、初学者目線だと自然なのかもしれませんね。 で、まず一歩目としては、技術にはそれぞれ役割や境界があることの理解が重要だと感じました。 DB(RDBMSやKVS)は、大量のデータを高速に保存・検索・抽出するための人類の中でもかなり大きな発明なので、そこを理解するとSQLの必要性も見えやすくなる気がします。
「Pythonでデータ加工できるのに、なぜSQLが必要なの?」って質問が来たので回答すると ・数千万行を超えるデータをPythonで処理しようとすると、メモリ的に厳しくなりがち ・Pythonは環境やライブラリのバージョンで結果が変わることがあるが、SQLは同じDB上なら結果が安定しやすい ・BigQuery等なら抽出からマート作成までSQLで完結し、そのままBIに繋げられる DSを含む、データ職を目指すなら、SQLは絶対に「必修科目」だと思っておいた方がいいです。
1
2
1
20
2,580
TsK|データエンジニア@メガベン retweeted
以前、データサイエンティストに興味を持って、 本や統計検定の過去問を読んだことがあり、 「思ったより数学が必要だな……」 というのが正直な感想でした。 だからこそ、 データアナリストから実務経験を積みながら広げていく考え方には納得です。 理想だけでなく、現実的な入り口も大切ですね。
今からデータエンジニア目指すなら、入り口としてデータアナリストは結構おすすめかもしれない。 データエンジニアは新卒採用がほぼないけど、アナリストは比較的入りやすい印象がある。実際、新卒の枠としてアナリストを募集しているところは一定存在している。 その中でも、BigQueryを使った環境のアナリスト業務は狙い目だと思う。 ここでSQLとデータ実務の経験を積めば、データエンジニアやアナリティクスエンジニアにも広げやすい。 もし今の自分が未経験だったら、まずアナリストで足場を作ってという入り方を狙うかな。
1
1
10
2,384
TsK|データエンジニア@メガベン retweeted
自社開発系とかビジネスとの関わりも大きいので、色んなものを生成AIでできないか試してるところあるなーと思いました! エンジニアが得意な分野なのでエンジニアがリードして進めていく感じ ここで何か一つでも生成AIで自動化した実績作れたら今後に効きそうだなと思ってる
メガベンにデータエンジニアとして入ったはずなんだけど、なぜか生成AIの経験を何度も聞かれるし、実際かなり必要とされる。 自分も生成AIを使った案件にアサインされたし、今やAIを使わない案件の方が珍しい。 おそらくメガベンだと「生成AIで何とかできないか」というプロジェクトが多くて、データエンジニアでもこの辺りの知識を求められる場面がかなり多いんだと思う。 だからこれから転職するなら、生成AIで何か作った経験を持っておくと強い。 プロトタイプでも個人開発でもいいので、「AIで実際に動くものを作った」経験はかなり高く評価されると思う。
2
1
11
2,025
TsK|データエンジニア@メガベン retweeted
これはまさに自分も感じています。 自分はAIエンジニアとしてメガベンに入社しましたが、職種を問わず生成AIの知見を求められる場面が増えています。エンジニアはもちろん、非エンジニアの方も含めて全社員の業務を生成AIで代替・効率化できないか、大規模な見直しが始まっている段階です。 生成AI案件がほとんどというより、会社全体が生成AIを前提とした組織に変わろうとしている感覚があります。 だからこそ「プロトタイプでいいから動くものを作った経験」は強いと思っていて、面接でも実際に手を動かしたかどうかは話の解像度に出ます。APIを叩いてアプリを一つ作るだけでも、ゼロの人とは明確に差がつきます。
メガベンにデータエンジニアとして入ったはずなんだけど、なぜか生成AIの経験を何度も聞かれるし、実際かなり必要とされる。 自分も生成AIを使った案件にアサインされたし、今やAIを使わない案件の方が珍しい。 おそらくメガベンだと「生成AIで何とかできないか」というプロジェクトが多くて、データエンジニアでもこの辺りの知識を求められる場面がかなり多いんだと思う。 だからこれから転職するなら、生成AIで何か作った経験を持っておくと強い。 プロトタイプでも個人開発でもいいので、「AIで実際に動くものを作った」経験はかなり高く評価されると思う。
2
2
30
6,278
TsK|データエンジニア@メガベン retweeted
Replying to @HardModeDE
ありがとうございます! 応募数1/5は、JDやエージェント連携など、こちらの母集団形成の課題もあったと思うので、あくまで一例としてみてください🙇 「ソフト面の育成が難しい」と感じたのは、一般的なコミュニケーション力というより、利害の異なる関係者間で落としどころを作る力の部分でした。 分析基盤では、事業側は「早くKPIを見たい」、アナリストは「分析しやすい形でデータが欲しい」、アプリ側は「改修やDB負荷を抑えたい」、情シスは「権限管理や監査を守りたい」といった形で、それぞれ優先したいことが違います。 その中で我々のデータ組織におけるDEには、単にきれいな基盤を作るだけでなく「何を今やるか(何を後回しにするか)」「何を共通化するか」を整理して、関係者に納得してもらう動きが求められたのですが、ここが短期育成しづらかったです。 特に別領域のエンジニアからDEに移って間もない人だと、技術的な正しさや主観的な実装しやすさに寄りやすく、事業側の業務フローやKPIの背景を踏まえた合意形成に苦労するケースが多かった、という意図です。 ※これまで私の身の回りでDEへジョブチェンジした人の傾向としてそうだっただけで、全員がそうだとは思っていないです。
1
1
10
1,201
TsK|データエンジニア@メガベン retweeted
直近3年間、データアナリストとデータエンジニアの両方の採用を走らせてましたが、データエンジニアの応募数はデータアナリストの1/5以下でしたね、、 DEの新卒採用ってほとんどないし、何某かのエンジニアからDEにジョブチェンジした人がボリューム層なので、市場にDEがマジで少ないです。 何某かのエンジニアからDEにジョブチェンジさせ、社内で育成することを前提とすれば母数を広げられますが、経験上ソフト面の育成がとても難しかったです。
データエンジニアとアナリティクスエンジニア、どこにいるんだ… 仕事は山のようにあるのに、全然人が入ってこないし、人手が足りていない。 これってこの職種だけの話なんだろうか? それとも、データ職全体で同じように人手不足なのか気になる。
2
6
3
113
41,107