データエンジニア
エンジニアリング
応募を始める
募集中のポジションに戻る

データエンジニア

エンジニアリング ベトナム(リモート/ハイブリッド) 正社員 / 契約

ポジション概要

分析チームと ML チームが頼るデータ基盤を、構築し、責任を持って運用します。Middle レベルでは、既存のウェアハウスのアーキテクチャの中で ETL/ELT パイプラインを構築・拡張します。Senior レベルではさらに、ウェアハウスのデータモデルをゼロから設計し、データ品質とガバナンスの基準を定め、パイプラインが壊れたときに他のエンジニアが午前2時でも頼る存在になります。

主な業務内容

  • Python、Apache Spark、Airflow によるスケーラブルな ETL/ELT パイプラインの設計と構築。
  • クラウドデータウェアハウス(Snowflake、BigQuery、Redshift)の運用と、クエリ性能とコストの最適化。
  • ビジネスでデータソースが増えても破綻しない、データモデリング(スター/スノーフレークスキーマ)の実装。
  • バッチ ETL では足りない場面での、レイクハウスとストリーミングのパイプライン(Databricks、Delta Lake または Iceberg、Kafka または Flink、変更データキャプチャ)の構築。
  • テスト済みでバージョン管理された変換のための dbt の活用と、データを作る側・使う側のチームとのデータコントラクトの合意。
  • データ品質、整合性、ガバナンスの責任を担う。パイプラインの不具合は、関係者より先に見つける。鮮度、件数、スキーマのチェックを設け、異常はアラートで通知する。
  • AI 向けデータの準備:ML や LLM で使える、整備され、ドキュメントがあり、アクセス制御されたデータセット。
  • データサイエンティストやアナリストと連携し、ML モデルとダッシュボード向けに、整ってドキュメントのあるデータセットを用意する。
  • (Senior)ウェアハウスのスキーマとパイプラインのアーキテクチャを一貫して担い、チームのデータ品質の水準を定める。

応募資格

  • 英語:口頭・文書ともに流暢なコミュニケーション力。海外の関係者が推測せずに済むよう、パイプラインとデータコントラクトを文書化できる。
  • データエンジニアリングの経験3年以上(Middle)から5年以上(Senior)。
  • Python と、クエリ最適化を含む高度な SQL への高い習熟度。
  • ビッグデータツール(Spark、Kafka)とオーケストレーション(Airflow/Prefect)の経験。
  • クラウドデータプラットフォーム(AWS Glue または EMR、Azure Data Factory または Microsoft Fabric、Databricks)のうち少なくとも一つへの理解。
  • アプリケーションのコードだけでなく、データパイプラインにも CI/CD とテストの手法を適用する考え方の理解。
  • AI 支援のエンジニアリングを日常的に実践している。パイプラインのコードに AI コーディングアシスタントを使い、AI を使った異常検知でデータ品質の問題をより早く見つける。
  • 生成された SQL とパイプラインのコードを、リリース前に実データで検証し、機密データは承認されていない AI ツールに入れない。
  • AI 向けにデータを準備する。埋め込みとベクトルインデックスのパイプライン、データリネージ、PII のマスキング、検索で読み取れるデータへのアクセス制御。
  • あれば尚可:Google Professional Data Engineer、Azure DP-700、Databricks Data Engineer、SnowPro Core などのデータ関連の認定資格。
  • (Senior)データウェアハウスまたはパイプラインのアーキテクチャをゼロから設計し、チームのガバナンス基準を定めた実績。

GTEMAS について

GTEMAS は、統合されたエコシステムを基盤とするグローバルなエンジニアリングパートナーです。優れた人材、継続的な学習、厳格なデリバリー管理を一つにまとめ、安定性と拡張性を備えた世界水準のデジタルプロダクトを築きます。

インパクトを生み出す準備はできていますか?

GTEMAS でキャリアの次のステップに進みませんか。下のボタンから応募手続きを始められます。

応募を始める