2018即将推出的Apache Spark 2.4都有哪些新功能

本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup。

即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述。

  • 新的调度模型（Barrier Scheduling），使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中，以简化分布式训练工作流程。
  • 添加了35个高阶函数，用于在 Spark SQL 中操作数组/map。
  • 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。
  • PySpark 还为教学和可调试性的所有操作引入了热切的评估模式（eager evaluation mode）。
  • Spark on K8S 支持 PySpark 和 R ，支持客户端模式（client-mode）。
  • Structured Streaming 的各种增强功能。 例如，连续处理（continuous processing）中的有状态操作符。
  • 内置数据源的各种性能改进。 例如，Parquet 嵌套模式修剪（schema pruning）。
  • 支持 Scala 2.12。

点击 示说网 ，即可下载此PPT。

总结

以上所述是小编给大家介绍的2018即将推出的Apache Spark 2.4都有哪些新功能，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我们网站的支持！

赞 (0)

相关推荐

  • 2018即将推出的Apache Spark 2.4都有哪些新功能

    本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup. 即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本. 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述. 新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中,以简化分布式训练工作流程. 添加了35个高阶函数,用于在 Spark SQL 中操作数组/ma

  • Apache Spark 2.0 在作业完成时却花费很长时间结束

    现象 大家在使用 Apache Spark 2.x 的时候可能会遇到这种现象:虽然我们的 Spark Jobs 已经全部完成了,但是我们的程序却还在执行.比如我们使用 Spark SQL 去执行一些 SQL,这个 SQL 在最后生成了大量的文件.然后我们可以看到,这个 SQL 所有的 Spark Jobs 其实已经运行完成了,但是这个查询语句还在运行.通过日志,我们可以看到 driver 节点正在一个一个地将 tasks 生成的文件移动到最终表的目录下面,当我们作业生成的文件很多的情况下,就很容

  • JavaScript 2018 中即将迎来的新功能

    JavaScript 2018 中即将迎来的新功能

    JavaScript 2018 中即将迎来的新功能:异步生成器及更好的正则表达式 2018 年 6 月发布的最新年度 ECMAScript 更新,尽管在常见功能的积压上仍然远远小于 ECMAScript 6,但依然是迄今为止最大的年度版本. 身为 ECMAScript 编辑及微软在 ECMA TC39 委员会代表的 Brian Terlson 告诉 The New Stack:这个版本中两个最大的开发者功能是异步生成器和一些期待已久的正则表达式改进,以及 rest/spread 属性. "异步生

  • 2021年的Python 时间轴和即将推出的功能详解

    我们目前生活在Python 3.8的稳定时代,上周发布了Python的最新稳定版本3.8.4. Python 3.9已经处于其开发的beta阶段,并且2020年7月3日预发布了beta版本(3.9.0b4),第五版beta预定于明天发布. 3.9的第一个稳定版本预计将在2020年10月发布.Python3.10的开发也将于2020年5月开始,并且第一个beta版本预计在2021年5月开始. 对于Python爱好者来说,显然,有趣的时代即将到来. 浏览三个版本(3.8.3.9和3.10)的发布时间

  • 详解Python 4.0 预计推出的新功能

    Python 3.8 发布在即,核心开发者团队让我总结一下最近讨论的 Python 4.0 预计推出的新功能,代码名为" Ouroboros:自噬蛇".Python 4.0 是大家翘首以盼的新版本,也将成为 Python 历史上的重大里程碑,在此感谢为之努力奋斗的 100 多名贡献者. 经过邮件列表上的论战,PEP8 里的一行 79 个字符的限制将增加至一行 89.5 个字符.IDE 用户终于可以充分利用 30" 超宽 4K 显示器的优势啦!这是我们对每行 100 个字符这一

  • AJAX开发简略 (第一部分)

    AJAX开发简略 (第一部分)

    在使用浏览器浏览网页的时候,当页面刷新很慢的时候,你的浏览器在干什么?你的屏幕内容是什么?是的,你的浏览器在等待刷新,而你的屏幕内容是一片空白,而你在屏幕前苦苦的等待浏览器的响应.开发人员为了克服这种尴尬的局面,不得不在每一个可能需要长时间等待响应的页面上增加一个DIV,告诉用户"系统正在处理您的请求,请稍候--". 现在,有一种越来越流行越热的"老"技术,可以彻底改变这种窘迫的局面.那就是AJAX.如今,随着Gmail.Google-maps的应用和各种浏览器的支

  • PHP脚本的10个技巧(4)

    动态创建图象 在安装了某些第三方函数库之后,结合你的图形处理技能,你就可以用PHP创建和处理图像了.事实上,你也不需要太高的几何学知识.我在中学的时候这门功课总是不及格,现在不也照样会用PHP创建图像! 在使用基本的图像创建函数之前,你需要安装GD库.如果要用到和JPEG相关的图像创建函数你还需要安装jpeg-6b.在图像中使用Type 1字体的时候还必须安装t1lib. 在这里,你还需要对你的系统进行进一步地调整.首先,你必须安装t1lib以提供图象处理支持,接下来要安装jpeg-6b.第三步

  • Python 3.8正式发布重要新功能一览

    Python 3.8正式发布重要新功能一览

    Python3.8有哪些你要关注的新内容?  Python3.8 都有哪些新功能,在文档手册中,大家可以有一个概览.这么多新内容,哪些是大家最先要关注一下的呢?下面,营长就带大家从深度和广度两方面,了解那些最大的变化,帮助大家快速上手 Python3.8. 新功能手册: https://docs.python.org/3.8/whatsnew/3.8.html 在本文中,你将了解到Python 3.8如何: 使用赋值表达式简化一些代码结构 在你自己的函数中强制执行仅位置参数 指定更精确的类型提示

  • 浅谈 Android 7.0 多窗口分屏模式的实现

    从 Android 7.0 开始,Google 推出了一个名为"多窗口模式"的新功能,也就是我们常说的"分屏模式".那么,这个功能有什么用呢?作为开发者,我们又能做些什么? Android 7.0 添加了对同时显示多个 APP 的支持.在手持设备上,两个 APP 可以在分屏模式下并排运行. 嗯,大概就是这样: 分屏模式的适配 我们如何才能让自己的 APP 支持分屏模式呢? 若项目的 targetSDKVersion 大于等于24,那么可以在 AndroidManif

  • MySQL 8.0新特性 — 管理端口的使用简介

    前言 下面这个报错,相信大多数童鞋都遇见过:那么碰到这个问题,我们应该怎么办呢?在MySQL 5.7及之前版本,出现"too many connection"报错,超级用户root也无法登录上去,除了重启实例,没有其他更好的解决办法:不过在MySQL 8.0版本中,是对连接管理做了一些优化,下面我们就来看一下. ERROR 1040 (HY000): Too many connections 连接管理 在MySQL 8.0版本中,对连接管理这一块,是先后做了两个比较大的改变:一个是允许

随机推荐