数据库管理员在雪花中的角色:优化、成本控制等

当今的数字环境呈现出大量的数据处理平台和流程, 需要不同的专业知识. 很明显,理解角色的划分是至关重要的, 特别是数据工程师和数据库管理员之间的区别.

数据工程师是数据处理方面的专家, 善于将数据清理和转换为高效灵活的分析系统. 与此形成鲜明对比的是, dba是特定数据产品方面的专家, 专注于提高与数据交互的性能和效率.

我参与了许多关于dba在云世界中的角色的讨论, 特别是像雪花这样的分析系统. 一些对话相当令人担忧, 比如与Databricks解决方案架构师的对话,他承认在构建分析系统时没有考虑性能.

在不断发展的数据环境中, 期望一个角色成为所有领域的专家——从存储, 事务数据库(SQL), NoSQL), 分析系统(仓库), 湖泊, lakehouses), 流媒体, ETL /英语教学转变, 集成, 可视化-是一个艰巨的任务.

下图, 虽然并不详尽, 介绍当今数据世界的复杂性和多样性. 如果在浏览器中打开超过20个选项卡的想法会让你感到不安, 最好还是忽略它.

在雪花的背景下, DBA角色更倾向于与成本控制和管理职责直接相关的优化任务. 这些可能包括令人耳目一新的环境, 处理安全, 确保数据保留策略符合sla.

在Snowflake这样的分析系统中管理成本可能是一个挑战, 如果没有适当的优化, 这些费用可能会激增. 在执行mg官方游戏中心的优化建议后,mg官方游戏中心的客户在Snowflake上节省30-60%的支出并不罕见. 要深入了解此类活动,请参阅我的 博客 5月16日起.

在我与数据工程师的讨论中,一个反复出现的主题是关于在Snowflake中调优查询. 有一个常见的误解是“你不需要调整雪花,它自己调整”。. 是的,Snowflake的速度非常快,以至于它可以给人一种自我调整的错觉. 但事实是,SQL仍然是SQL. 写得不好的SQL查询仍然会消耗更多的时间,从而增加成本. 这不仅仅是我的观点,也是雪花培训课程和雪花领导层在财报电话会议上反复强调的事实.

为了说明, 考虑以下两个查询, 两者都旨在返回相同的数据集-这些表中的所有数据都是2022年6月的数据. 然而, 而另一个则使用日期范围搜索, 另一个应用函数搜索2022年6月以来的数据.

总之, 而雪花的速度和性能是不可否认的, 适当的优化和有效的查询编写对于管理成本和确保效率仍然至关重要. 雪花中的DBA角色, 因此, 远没有过时——这个角色的核心是对系统进行微调,以达到最佳性能和成本效益.

联系 MG游戏登录网页 以了解更多关于DBA和Snowflake的信息.

安迪Wickman

经验丰富的技术领导者,在IT行业拥有超过20年的经验, 在不同的领导角色中一直表现出成功. 具有强大的数据库背景和按时交付项目的良好记录, Andy具有敏锐的识别和执行公司战略目标的能力.

一个有远见的创新者,以强大的解决问题的能力和坚定的职业道德而闻名, 使他能够有效地为不同范围的客户管理多个复杂的项目. 在IT领域的丰富经验使他能够提供有价值的见解,并与客户和高级管理人员分享他的技术专长.

安迪“训练”员工的能力, 再加上他强大的商业头脑和技术眼光, 对他在全面改进流程方面的成功有何贡献. 他有效的人际交往能力也使他成为业内备受追捧的领导者和合作者.

在他的技术博客文章中, 安迪分享他丰富的知识和经验, 为读者提供有关快速发展的技术和数据库管理世界的宝贵见解. 作为一个自我激励的专业人士,需要最少的监督, Andy继续为IT行业的创新和进步铺平道路.

以前的
以前的

如何在Tableau中像专业人士一样设计移动仪表板

下一个
下一个

开发Jira应用程序:如何设计可用性测试