TsK|データエンジニア@メガベン retweeted
5年以上散々可読性低いSQLを修正してきたので、よく分かります。例えば、サブクエリがいくつも入れ子になって上へ下へ画面スクロールを繰り返することになるなら、with句で書き換えて上から下へスムーズに読めるようにしてほしい。
最近、SQLを書いていて痛感するのは、
「動くSQL」と「読めるSQL」はまったくの別物だということ。
ちゃんと動いても、命名や可読性が雑だと、レビューする人の負荷が一気に上がるし、後から「どこを直せばいいのか」が分からなくなる。
意識してるのはこのあたり。
・CTEは「1レコードの粒度」を意識して、何が1行なのかを明確にする
・分かりにくいロジックには「なぜやるのか」をコメントで残す
・カラム名は中身と一致させる(is_activeなのに0/1以外が入ってる、みたいなズレは負債になる)
その場限りの自分用ならいい。でも共通で使うSQLは、読みにくいと他人の時間を奪いかねない。
「動くSQL」は一瞬で作れるので、「読める形で残す」ところに価値が出てくる気がする。
TsK|データエンジニア@メガベン retweeted
自分も中途からだったのですが、正直新卒からより簡単だと思います。新卒の方は本分である学生生活とは別に、インターンとか業務委託で実務経験を求められ、CS基礎は全部押さえている前提で面接されるので、酷だなぁと思う。中途であれば実務経験前提ですが、ちゃんと市場価値の高い仕事をしていれば(逆に言えばそれだけで)評価されます。
TsK|データエンジニア@メガベン retweeted
「増えた成果」は分かりやすいけど、「減った成果」は評価されにくいんですよね ^^;
データ待ち時間が減る、障害対応が減る、集計ミスが減る、二重管理が減る、DSや事業部の確認工数が減る、などなど。
DEの成果は、利益を直接作っていないように見えて、実際には他の人が利益を作れる状態を整えているわけですよ。
ただ、難しいのは、価値が反実仮想になりやすいこと。
この基盤がなかったら、どれだけ時間を失っていたか、
この設計がなかったら、どれだけ障害が起きていたか、とか。
そこを評価できない会社ほど、DEを失ってから価値に気づくのかもしれないな🤔
という感想ですー
ぼちぼち思ってたんだけど、データエンジニア(DE)みたいな職種って、社内評価で昇給するのって難しくないか?
データサイエンティスト(DS)は「施策で数値が◯%改善した」と成果を定量で語れるけど
一方、DEの場合、上手くいった場合は
「障害が起きなかった」「データが壊れなかった」という指標で測られるので、うまくいってても気づかれない。しかも目立つのは障害対応の時
このせいで、社内評価で給与が上がりにくい職種なのでは?
そのため、社内で不満を持ったDEから転職していく、みたいなことも起きてる気がする。
ここの評価制度はどうしているのか気になってる。会社によってはDEの入れ替わりが激しいとかありそう。
TsK|データエンジニア@メガベン retweeted
確かにデータサイエンティストの知り合いが転職したら2-3割上がることはよくあると言ってました。
会社の評価制度も転職されないような競争力がある仕組みにできればいいのですが、会社規模が大きくなれば頻繁に変更することができず、ある程度の長期運用を考えなければならないので、なかなか難しいところではあります。
TsK|データエンジニア@メガベン retweeted
自分は、snowflakeを推しますねぇ
あとはいまからならデータブリックスあたり
データ専業のプロダクトの強さはすごいですよ
BigQueryは、GCP全体を利用する時には、これしかないって感じですが
TsK|データエンジニア@メガベン retweeted
完全に同意です。
データ職を目指すなら、まずBigQueryのSQLをしっかり書けるようになるのが一番の近道だと思います。実際、私の周りでも「BigQuery案件やってたから転職で評価された」という人が本当に多いです。
SESでも正社員でも、結局「自分でデータを抽出・整形できる」スキルはどこに行っても必須。ツールが変わってもSQLの考え方は活きるので、BigQueryで基礎を固めておくと、後々のキャリアの選択肢が確実に広がります。
TsK|データエンジニア@メガベン retweeted
おっしゃる通りですね。20代のうちに上流へ食い込むべきなので20代で上流に食い込む方の具体的な動き方を共有しておきますね↓↓
★20代で上流経験を取りに行く具体的なアクション★
アクション1:自分が触ってる技術領域で「課題提案」をする
「このシステム、こうすれば改善できそうです」を上司に提案する。提案が通るかどうかより、提案した経験そのものが価値になります。提案資料を作って、改善後の効果を試算して、提案する。これだけで「言われたことだけやる人」から脱却できます。
アクション2:顧客折衝の場に同席させてもらう
要件定義の打ち合わせ、顧客との設計レビュー、運用フェーズの状況報告。営業や上流の先輩に「同席させてください」と頼む。最初は議事録係でも、聞いてるだけでも構いません。その経験を職務経歴書に「顧客折衝に同席」と書けるだけで、評価が変わります。
アクション3:プロトタイプを能動的に作る
新機能の話が出た時、「とりあえず動くものを作りました」と先回りする。完璧じゃなくていい。意思決定の場で「動くものがある」状態を作れる人は、組織にとって希少です。
アクション4:技術的判断を「自分の言葉で」語る場を作る
社内勉強会、技術ブログ、Tech Talk。自分の判断軸を言語化する場を意図的に作る。これが上流経験につながる思考の訓練になります。
アクション5:上司や先輩に「上流をやりたい」を明確に伝える
これマジで重要です。多くのエンジニアが「機会が降ってこない」と嘆くんですが、降ってこないのは伝えてないからです。「3年目で要件定義の経験を積みたいです」「次のプロジェクトで顧客折衝に関わりたいです」を、上司との1on1で明確に伝える。これだけで、機会が回ってくる確率が上がりますので。
TsK|データエンジニア@メガベン retweeted
AI使って内製と言いつつ、それが一定実現出来るのは相当にAIネイティブな開発部隊を揃えている会社だけだと思う
JTCはチャット機能だけの会社も多いし、マクロ、RPAと同じような使い方で留まってるし、結局保守出来てないよ
それでエラーやデータにミスがあると実務では使われなくなるから
TsK|データエンジニア@メガベン retweeted
自分それに近かったけど、SESを長くやっていると次第にマネージメント&営業職に近くなってきます。チーム体制をいかに増やすか、他社の椅子をどれだけ奪えるか、取引先の偉いさんと仲良くなれるか、次第にそういうゲームになっていきます。増員が売り上げに直結するのがSESなので、技術とかどーでもいいからとにかく人入れろ、みたいな感じになります。それはそれてやりがいあるんですけど、あれ、自分なにやりたいんだっけ?みたいになります
TsK|データエンジニア@メガベン retweeted
一次請けのSIerにいましたが完全に同意です。AIに代替されるとしたら二次請け以降の方でしょう。
…とはいえ、一次請けの仕事って割とおもしろくない仕事ばかりなんですよね。せっかく辞めたのに気が滅入っちゃいますね😭
TsK|データエンジニア@メガベン retweeted
これはAIでエンジニアがいなくなる!って騒がれ始めた頃からずっと感じてました👏👏👏 働いてる方なら薄々と多重請負が減ってくんじゃないかなと。
だから、たまに流れてくる『穴場企業』ってSIerの更に子会社が紹介されてるのを見ると大丈夫か?と思ってしまう。
もっと言うと、『やめとけ』って言ってる人が思ってるSIerは多分セカンダリー以降なんですよね。プライマリーで実装することはほとんどないし、理系出身は多くないし。
プライマリーも、近いうちにITコンサルみたいになるか、ソフトウェアメーカーみたいになるかって気がしますね🤔
TsK|データエンジニア@メガベン retweeted
完全同意で、SIerは下請けがAIに代替されていき、自社開発企業もエンジニアが開発をAIに任せて上流に寄っていることを感じます。
一部のトップクラスの技術を持つ人は別ですが、多くのエンジニアにはビジネス力も求められるようになるでしょうね。
NRIの友人はAIで代替されない領域が何かをずっと考えていると言っていましたが、そういう逆張り思考もビジネスに必要です。エンジニアは目の前の課題を解決するために何ができるかを考えがちなので、視野を広く持ちたいですね。
TsK|データエンジニア@メガベン retweeted
私は長らくDOA(Data Oriented Approach)信者なのですが、RDBMSは人類史レベルでもかなり偉大な発明だと思っています。
エドガー・F・コッド、つまりボイス=コッド正規形の「コッド」がリレーショナルモデルを提唱してから、もう50年以上。
このすごさを知る入口としては、「コンピュータ科学の天才がたどり着いた、最強の情報整理とは?【データベース1】#87」を視聴するとよいと思います!!
youtube.com/watch?v=_O27bsV0…
Replying to @karou2rikon
自分も当初同じこと思っており、現場で触っていくうちにPythonだけでは無理なことに気づきましたね!
特にデータ量が多いともうPythonだとおいつかないです。歴史は知らなかったですが、ずっと変わらないところを見ていると、これ以上に良い方法はないのだろうなと思っています。
傘みたいに、完成されすぎてもう変えようがない道具なのかなと
TsK|データエンジニア@メガベン retweeted
web系でAIエンジニアやデータ系職種になりたいのであればpandasだけでなくSQLも必須。TBレベルの大規模なデータだとSQLでないと処理しきれません。メガベンチャー含め自社開発だと大規模なデータを抱えていることが多いです。
また、SQLを書けることも大事ですが、RDBの扱い、どのキーを使ってどのようにjoinするかにも慣れる必要があります。現場ではER図などデータ定義書や設計図が整っていないケースも多々あるので、既存のSQLや少ない情報から頭の中に複数のテーブルを描けるようにしておきましょう。
TsK|データエンジニア@メガベン retweeted
「Pythonでデータ加工できるのに、なぜSQLが必要なの?」という質問は、初学者目線だと自然なのかもしれませんね。
で、まず一歩目としては、技術にはそれぞれ役割や境界があることの理解が重要だと感じました。
DB(RDBMSやKVS)は、大量のデータを高速に保存・検索・抽出するための人類の中でもかなり大きな発明なので、そこを理解するとSQLの必要性も見えやすくなる気がします。
TsK|データエンジニア@メガベン retweeted
以前、データサイエンティストに興味を持って、
本や統計検定の過去問を読んだことがあり、
「思ったより数学が必要だな……」
というのが正直な感想でした。
だからこそ、
データアナリストから実務経験を積みながら広げていく考え方には納得です。
理想だけでなく、現実的な入り口も大切ですね。
TsK|データエンジニア@メガベン retweeted
自社開発系とかビジネスとの関わりも大きいので、色んなものを生成AIでできないか試してるところあるなーと思いました!
エンジニアが得意な分野なのでエンジニアがリードして進めていく感じ
ここで何か一つでも生成AIで自動化した実績作れたら今後に効きそうだなと思ってる
TsK|データエンジニア@メガベン retweeted
これはまさに自分も感じています。
自分はAIエンジニアとしてメガベンに入社しましたが、職種を問わず生成AIの知見を求められる場面が増えています。エンジニアはもちろん、非エンジニアの方も含めて全社員の業務を生成AIで代替・効率化できないか、大規模な見直しが始まっている段階です。
生成AI案件がほとんどというより、会社全体が生成AIを前提とした組織に変わろうとしている感覚があります。
だからこそ「プロトタイプでいいから動くものを作った経験」は強いと思っていて、面接でも実際に手を動かしたかどうかは話の解像度に出ます。APIを叩いてアプリを一つ作るだけでも、ゼロの人とは明確に差がつきます。
TsK|データエンジニア@メガベン retweeted
Replying to @HardModeDE
ありがとうございます!
応募数1/5は、JDやエージェント連携など、こちらの母集団形成の課題もあったと思うので、あくまで一例としてみてください🙇
「ソフト面の育成が難しい」と感じたのは、一般的なコミュニケーション力というより、利害の異なる関係者間で落としどころを作る力の部分でした。
分析基盤では、事業側は「早くKPIを見たい」、アナリストは「分析しやすい形でデータが欲しい」、アプリ側は「改修やDB負荷を抑えたい」、情シスは「権限管理や監査を守りたい」といった形で、それぞれ優先したいことが違います。
その中で我々のデータ組織におけるDEには、単にきれいな基盤を作るだけでなく「何を今やるか(何を後回しにするか)」「何を共通化するか」を整理して、関係者に納得してもらう動きが求められたのですが、ここが短期育成しづらかったです。
特に別領域のエンジニアからDEに移って間もない人だと、技術的な正しさや主観的な実装しやすさに寄りやすく、事業側の業務フローやKPIの背景を踏まえた合意形成に苦労するケースが多かった、という意図です。
※これまで私の身の回りでDEへジョブチェンジした人の傾向としてそうだっただけで、全員がそうだとは思っていないです。
TsK|データエンジニア@メガベン retweeted
直近3年間、データアナリストとデータエンジニアの両方の採用を走らせてましたが、データエンジニアの応募数はデータアナリストの1/5以下でしたね、、
DEの新卒採用ってほとんどないし、何某かのエンジニアからDEにジョブチェンジした人がボリューム層なので、市場にDEがマジで少ないです。
何某かのエンジニアからDEにジョブチェンジさせ、社内で育成することを前提とすれば母数を広げられますが、経験上ソフト面の育成がとても難しかったです。
















