Priyank Singh，加拿大多伦多的开发者
Priyank is available for hire
Hire Priyank

Priyank Singh

验证专家  in Engineering

软件开发人员

Location
加拿大多伦多
至今成员总数
2020年12月15日

Priyank是一位Python数据库专家，他在数据库设计方面具有丰富的经验, 大数据管道, data modeling, 实时数据摄取. 他将一个遗留客户端迁移到Azure SQL, 每年增加收入1000万美元，并简化了三个国家的整个DW流程，以实时跟踪金融交易. Priyank擅长Databricks, 数据湖集成, migrations, 云项目, 使客户能够顺利实现复杂的数据项目.

大数据架构数据迁移数据仓库数据争吵Big Data数据仓库设计数据可视化工程数据Data AnalysisInformatica云架构SparkMicrosoft SQL Server商业智能(BI)WindowsAzure SQLIBM InfoSphere DataStageUnixDomo

Portfolio

accessnowgroup.com
Microsoft Power BI, Azure, Databricks, SQL, EDL, Python, Spark, MariaDB...
融合软件解决方案
Spark, SAP业务对象处理框架(BOPF)， Informatica ETL...
Accenture
Apache Hive, Hadoop, Business goals, Datastage, Teradata，大数据...

Experience

Python - 10年SQL - 10年CI/CD管道- 7年Databricks - 6年亚马逊网络服务(AWS)——6年Azure - 5年Microsoft Power BI - 5年Terraform - 3年

Availability

Part-time

首选的环境

Big Data, Hadoop, SQL, Microsoft Power BI, Tableau, Databricks, ETL, Azure, Python, 数据仓库设计

最神奇的...

...我构建的数据管道将数据从大型机迁移到Oracle, 在授权分析中启用手动流程自动化.

工作经验

高级数据工程师

2019 - PRESENT
accessnowgroup.com
  • 构建Python ETL进程，将数据从大型机迁移到Oracle, 使客户端能够自动化手动流程, 最终每年节省1000万美元. KPI在Power BI中准备.
  • 完成客户信息从大型机的数据集成, SQL sources, blob容器, 使用ETL作业和转换后的数据将平面文件放入Hadoop集群和hive数据湖, 并被吸收到Oracle中.
  • 生成带有过滤器的高级Domo仪表板(快速, context, and global), parameters, 并计算字段，跟踪并在一个月内将客户单位KPI提高12%.
  • 使用Domo为所有部门部署多个分析项目. With Domo, 在Facebook上运行媒体活动时，我执行了这个解决方案，以找出不同渠道的参与度, Twitter, and others.
  • 使用Domo、Tableau、Looker和Power BI等工具创建可视化报告. 围绕财务建立数据模型, insurance, 以及来自不同数据源的运输域.
  • 构建和维护仪表板，提供360度的客户旅程概述，并可以构建显示PnL的指标, 总分类帐, 更多地使用Domo.
  • 将复杂的报表转换为在Domo和Power BI中流畅地工作. 构建宇宙或数据模型, 在Power BI中创建所有事实和维度表，以准备仪表板的360度视图.
  • 通过Python使用各种api和抓取方法自动收集社交媒体数据.
  • 开发和维护各种调查和社会数据转换管道，为Power BI报告准备数据, 主要使用熊猫. 通过气流处理这些数据管道.
  • 推广SQL建模工具并展示编写高级SQL的技能. 具有Teradata、Snowflake、BigQuery和Redshift等数据仓库的丰富知识.
技术:Microsoft Power BI, Azure, Databricks, SQL, EDL, Python, Spark, MariaDB, Tableau, 数据仓库设计, ETL, Terraform, 亚马逊网络服务(AWS), CI / CD管道, Apache Spark, 工程数据, SAP, 微软数据流, 数据仓库, 事件驱动架构, 查询优化, 数据争吵, Azure砖, Salesforce, 商业智能(BI), Finance, Domo

高级软件工程师

2015 - 2020
融合软件解决方案
  • 重新设计系统以适应欧洲市场的GDPR. 开发了一个Teradata批处理流程来转换阶段数据、负载维度和事实表. 创建Unix/SQL/PL/SQL脚本，将数据卸载回hive表.
  • 在Control-M气流调度程序中设计了ETL流程，以触发批处理和Informatica作业. 设置依赖项以防止数据死锁，并创建适当的警报，以便在出现错误和警告时通知涉众.
  • 创建基础架构，然后构建用于自动化基础架构部署的模板.
  • Built the P&L metrics, 用于报告最高/最低利润客户的用户仪表板, 以及通过LOB显示年初至今收入和成本指标的仪表板. 执行仪表板收入数字与报告收入数字之间的数据协调.
  • 为各种内部客户构建、维护和调整Tableau和Power BI仪表板.
  • 构建Jenkins (DevOps)管道，在各种环境中触发和部署代码.
技术:火花, SAP业务对象处理框架(BOPF)， Informatica ETL, Tableau, Unix, Teradata, PL/SQL, 数据仓库设计, Azure, ETL, Databricks, Microsoft Power BI, SQL, Python, Terraform, 亚马逊网络服务(AWS), CI / CD管道, Apache Spark, 工程数据, SAP, 微软数据流, 数据仓库, 事件驱动架构, 查询优化, 数据争吵, Azure砖, Salesforce, 商业智能(BI), Finance

高级软件工程师

2014 - 2015
Accenture
  • 收集和定义业务需求，同时管理风险以改进业务流程, 从而有助于从业务需求到业务分析和映射过程的企业架构开发.
  • 托管ETL (Teradata), Informatica, Datastage), SQL和数据库性能调优, 故障排除, support, 和容量估计，以确保最高的数据质量标准.
  • 开发了Informatica ETL映射, Teradata BTEQ, FastExport, FastLoad, MultiLoad, TPT scripts, Oracle PL/SQL脚本, Unix shell脚本, 并优化了SQL查询/ETL映射，以有效地处理大量数据和复杂的转换.
技术:Apache Hive, Hadoop, Business goals, Datastage, Teradata，大数据, 数据仓库设计, Azure, ETL, Databricks, Microsoft Power BI, SQL, Python, Terraform, 亚马逊网络服务(AWS), CI / CD管道, Apache Spark, 工程数据, SAP, 微软数据流, 数据仓库, 事件驱动架构, 查询优化, 数据争吵, Azure砖, Salesforce, 商业智能(BI), Finance

Consultant

2012 - 2014
Capgemini
  • 在Power BI和Tableau中创建仪表板. 为欧洲一家领先的银行构建了一个360度的客户信息视图.
  • 设计和创建数据模型，并构建批处理流程来填充这些数据模型.
  • 在视图上使用Power Query进行数据操作，以提供安全性和改进的性能.
技术:蔚蓝的, Apache Hive, Teradata, Microsoft Power BI, SQL, Spark, 数据仓库设计, ETL, Databricks, Python, Terraform, 亚马逊网络服务(AWS), CI / CD管道, Apache Spark, 工程数据, SAP, 微软数据流, 数据仓库, 事件驱动架构, 查询优化, 数据争吵, Azure砖, Salesforce, 商业智能(BI), Finance

软件工程师

2010 - 2012
塔塔咨询服务
  • 在PostgreSQL中构建ETL进程来处理大量数据.
  • 创建元数据表以方便地理解瓶颈，并构建仪表板以突出显示这些瓶颈.
  • 管理专业服务，并在Power BI上执行总账报告. 通过将一些过程从Power BI卸载到数据库，在数据库上执行高级计算, 提高了性能.
技术:火花, Big Data, Tableau, Python, Scala, Databricks, 数据仓库设计, Azure, ETL, Microsoft Power BI, SQL, Terraform, 亚马逊网络服务(AWS), CI / CD管道, Apache Spark, 工程数据, SAP, 微软数据流, 数据仓库, 事件驱动架构, 查询优化, 数据争吵, Azure砖, Salesforce, 商业智能(BI), Finance

大力神漏斗

该项目旨在找出漏斗中的潜在机会，并根据规模给出360度的报告, estimation, 并决定谁最可能获胜.

我管理着一个四人小组, 分析业务需求, 创建的用户故事, 与项目所有者一起确定sprint需求. 然后我创建了技术规范, data models, ETL jobs, Control-M工作, 并且支持部署前和部署后验证.

Siop是第二波

开发这个数据仓库项目是为了简化三个国家的整个过程, Saudi Arabia, Egypt, and Nigeria, 确定具体数据, 并保持实时跟踪金融交易. 每天、每周和每月跟踪这些事务. 这是通过Informatica Extract、Teradata、业务对象、Load和Transform过程进行管理的. GL、Sub Ledger、HFM (Hyperion Financial Management)是使用的附加模块.

创建详细的关卡设计文件，开发Teradata SQL/BTEQ, Oracle PL/SQL, FastExport和Mload脚本将EDW数据处理成多维数据提取. 开发工作流和批处理流程，将数据转换并加载到维度/事实表中.

进行根本原因分析, 先发制人的诊断，防止任何与财务数据合并相关的问题，并解决数据问题.

Languages

SQL, Python, Scala, Snowflake, Python 3

Frameworks

Spark, Hadoop, Apache Spark, Windows PowerShell

库/ api

PySpark

Tools

Informatica ETL, Teradata SQL助手, Tableau, Microsoft Power BI, IBM InfoSphere (DataStage), Terraform, Domo

Paradigms

ETL，数据库开发，事件驱动架构，商业智能，DevOps

Platforms

Windows, Azure, Databricks, Unix, Oracle, 亚马逊网络服务(AWS), Docker, Apache Kafka, 谷歌云平台(GCP), Salesforce

Storage

Teradata, Teradata数据库, Datastage, Apache Hive, MySQL, 数据管道, PostgreSQL, PL / SQL开发人员, SQL Server集成服务(SSIS), Databases, Azure SQL, Microsoft SQL Server, Oracle Cloud, PL/SQL, MariaDB

Other

云架构, EDL, SAP业务对象处理框架, Big Data, 业务目标, 数据仓库设计, 数据可视化, Reporting, Reports, 工程数据, Data Analysis, Shell脚本, Informatica, CSV文件处理, 表服务器, Azure砖, Architecture, 大数据架构, 数据架构, Roadmaps, 数据迁移, 数据库优化, SAP, 微软数据流, 数据仓库, 查询优化, 数据争吵, Finance, CI / CD管道

2020年10月至今

微软Azure架构师技术认证

Microsoft

2012年9月至今

Teradata 12认证技术专家

Teradata

2012年6月至今

微软认证解决方案开发人员

IBM

有效的合作

如何使用Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

1

分享你的需求

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.
2

选择你的才能

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.
3

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

Start hiring