Data Engineer
工程
立即申请
返回开放职位

Data Engineer

工程 越南(远程/混合) 全职 / 合同制

职位概述

您负责构建并维护分析团队和机器学习团队依赖的数据基础设施。Middle 级别需要在既有数据仓库架构内构建和扩展 ETL/ELT 流水线。Senior 级别还需从零设计数据仓库的数据模型,制定数据质量和治理标准,并在凌晨 2 点流水线出故障时,成为其他工程师求助的人。

主要职责

  • 使用 Python、Apache Spark 和 Airflow 设计并构建可扩展的 ETL/ELT 流水线。
  • 管理并优化云数据仓库(Snowflake、BigQuery 或 Redshift),兼顾查询性能和成本。
  • 实施数据建模方案(Star/Snowflake schema),在业务新增数据源时依然稳固。
  • 在批处理 ETL 不够用的场景,构建湖仓一体和流式流水线(Databricks、Delta Lake 或 Iceberg、Kafka 或 Flink、变更数据捕获)。
  • 使用 dbt 实现经过测试、带版本管理的数据转换,并与数据的生产方和使用方约定数据契约。
  • 负责数据质量、完整性和治理:抢在干系人之前发现流水线故障,而不是等他们先发现,并设置会告警的时效性、数据量和表结构检查。
  • 准备可用于 AI 的数据:干净、文档完善、访问受控的数据集,供 ML 和 LLM 使用。
  • 与数据科学家和分析师协作,为机器学习模型和仪表盘准备干净、文档完善的数据集。
  • (Senior)端到端负责数据仓库表结构和流水线架构,并为团队设定数据质量标准。

任职要求

  • 英语:流利,书面和口头沟通良好,会撰写流水线和数据契约文档,让国际干系人无需猜测。
  • 3 年以上(Middle)至 5 年以上(Senior)数据工程经验。
  • 精通 Python 和高级 SQL,包括查询优化。
  • 有大数据工具(Spark、Kafka)和调度编排工具(Airflow/Prefect)经验。
  • 熟悉至少一种云数据平台(AWS Glue 或 EMR、Azure Data Factory 或 Microsoft Fabric,或 Databricks)。
  • 了解 CI/CD 和测试实践,并能将其应用于数据流水线,而不只是应用代码。
  • 日常使用 AI 辅助工程:用 AI 编程助手编写流水线代码,并借助 AI 辅助的异常检测更快发现数据质量问题。
  • AI 生成的 SQL 和流水线代码在上线前先用真实数据测试,并确保敏感数据不进入未批准的 AI 工具。
  • 为 AI 准备数据:嵌入和向量索引流水线、数据血缘、PII 脱敏,以及对检索可读内容的访问控制。
  • 加分项:数据类认证,如 Google Professional Data Engineer、Azure DP-700、Databricks Data Engineer 或 SnowPro Core。
  • (Senior)有从零设计数据仓库或流水线架构的经验,并为团队制定过治理标准。

关于 GTEMAS

GTEMAS 是一家全球工程合作伙伴,依托一个整合的生态系统运作:汇聚顶尖人才、持续学习和严格的交付管理,打造稳定、可扩展、世界一流的数字产品。

准备好创造影响了吗?

加入 GTEMAS,迈出职业生涯的下一步。点击下方按钮,开始申请流程。

立即申请