idea远程调试spark的步骤讲解

spark 远端调试

本地调试远端集群运行的spark项目，当spark项目在集群上报错，但是本地又查不出问题时，最好的方式就是调试一步一步跟踪代码。但是在集群上的代码又不能像本地一样的调试。那么就试试这个调试方法吧。

远程调试spark其实就四步：

  • * 第一步jar包拷贝到集群master节点。
  • * 第二步在 idea 中配置远程机器的IP 和调试端口号。
  • * 第三步：启动远端的spark项目。
  • * 第四步 启动idea 进行调试。

首先

首先了解jvm一些参数属性

-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888

这里对上面的几个参数进行说明：

  • -Xdebug 启用调试特性
  • -Xrunjdwp 启用JDWP实现，包含若干子选项：
  • transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
  • address=8888 JVM在8888端口上监听请求，这个设定为一个不冲突的端口即可。
  • server=y y表示启动的JVM是被调试者。如果为n，则表示启动的JVM是调试器。
  • suspend=y y表示启动的JVM会暂停等待，直到调试器连接上才继续执行。suspend=n，则JVM不会暂停等待。

第一步 将jar包拷贝到集群

将spark 项目打jar包， 将jar包放到集群master节点上；

第二步 配置idea

编辑idea配置：

点击小三角，选择：edit Configurations 如图

添加一个remote 配置

配置远端地址和端口 （此处配置的是 远端master 节点的地址）

第三步 远端启动spark项目

在集群启动要调试的spark项目。命令如下：

/tmp/mySpark.jar 为你sprak 项目在集群master上的位置

spark-submit --class WordCount --master spark://192.168.100.xx:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" /tmp/mySpark.jar

也可在conf/spark-env.sh这个文件最后加入（不过没有进行实际测试）

export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"

如图进入监听：

第四步 启动idea

启动idea 的debug 模式就会进入断点。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对我们的支持。如果你想了解更多相关内容请查看下面相关链接

赞 (0)

相关推荐

  • idea创建Spring项目的方法步骤(图文)

    Spring介绍 Spring概述 Spring是一个开源框架,Spring是2003年兴起的轻量级java开发框架,由Rod Johnson 在其著作 Expert One-On-One J2EE Development and Design 中阐述的部分理念和原形衍生而来.它是为了解决企业级开发的复杂性而创建的.Spring使用基本的javaBaen来完成以前只可能由EJB完成的事情,然而Spring的用途不仅限于服务器端的开发,从简单性.可测试性.低耦合的角度而言任何java应用都可以在s

  • idea创建maven项目速度慢的三种解决方案

    困扰 Intellij idea是一款非常强大的编辑器,可以很方便地帮我们创建maven项目,有用过的同学应该都深有体会,但我们经常会遇到一个困扰,那就是用idea创建maven项目时,速度很慢,往往需要好几分钟的时间,有时甚至会卡住,主要原因是创建maven项目时默认是下载求网络上的一个文件archetype-catalog.xml,该文件的大小有5-6M,下载的速度很慢,导致创建过程也变得很慢. 解决办法 解决办法有三种,并且都需要对maven的VM Options参数做配置. 方法一 在m

  • 详解IDEA下Gradle多模块(项目)的构建

    我们在新起一个项目的时候,一般都会建多个子项目(IDEA里面称之为Module模块).通过Gradle构建,多个Module之间需要将公用的配置抽取到全局,子项目中只写差异化的配置,以便于维护. 多模块项目的Gradle目录结构 示例:我的示例项目demo,我需要有一个common模块用于公用代码,一个rest模块用于提供rest接口,rest依赖common,如果用gradle构建,目录树会是这样: demo ├── build.gradle -- 全局配置 ├── settings.grad

  • IntelliJ IDEA打开多个Maven的module且相互调用代码的方法

    ###1.需求 1.IntelliJ IDEA打开多个项目 2.每个同学开发一个项目,相互之前独立不影响 3.通过一个入口可以调用所有项目类.方法.属性,达到同时开发且检测代码 4.dependency只需要写一份,其余项目不用写,便可全部依赖 ###2.注意事项(非常重要) 6个坑: 1.<groupId>com.yh.bi</groupId> 项目中所有的groupId要一样 2.避免循环依赖,导致程序报错 3.<scope>provided</scope&g

  • idea 多模块项目依赖父工程class找不到问题的方法

    比如,我们有这么个过程,项目结构如下: a --b --c a是总结点,b是子节点,c是父节点 b依赖父节点class,通过maven构建时通常我们会在子节点中添加父节点依赖,如: <dependencies> <dependency> <groupId>com.xxx</groupId> <artifactId>c</artifactId> <version>${project.version}</version&

  • Idea配置maven-tomcat-plugin插件实现项目部署

    Idea配置maven-tomcat-plugin插件实现项目部署

    参考文章: maven tomcat plugin实现热部署:https://www.jb51.net/article/143054.htm 实现maven项目部署到服务器分为如下几个步骤: tomcat 的tomcat-users.xml中添加用户: maven 的settings.xml中添加server: pom.xml中添加tomcat7-maven-plugin插件配置: 在tomcat运行的情况下,运行 tomcat7:deploy 命令. 1.添加用户 在 标签内: <role r

  • 详解IntelliJ IDEA创建spark项目的两种方式

    Intellij是进行scala开发的一个非常好用的工具,可以非常轻松查看scala源码,当然用它来开发Java也是很爽的,之前一直在用scala ide和eclipse,现在换成intellij简直好用到飞起,但是有些人不知道怎么用intellij去创建一个spark项目,这里介绍两种 1.选择File->new Project->Java->Scala,这里scala版本是2.11.8 2 .之后一路点击next,直到finish,创建完的项目见下图,这时候已经可以创建scala文件

  • Intellij idea下使用不同tomcat编译maven项目的服务器路径方法详解

    Intellij idea下使用不同tomcat编译maven项目的服务器路径方法详解

    问题出现原因: 使用自己下载的tomcat运行maven项目,其中有图片上传模块,图片全部上传到target目录下的工程文件里.结果使用maven的clean插件时,图片全部被删除. 目录如下: 为了解决这个问题,想了如下几种方法: 更改output directory目录 Tomcat 增加虚拟目录.但Intellij idea里的工程运行的是 catalina.sh run 命令,工程外的文件路径访问不到 在第2种方法的基础上,同时运行Tomcat/bin/startup.sh脚本,但比较麻

  • 在IDEA中创建父工程和子模块module的方法步骤

    1.右键选择你所创建的空文件夹,然后new,再点击Module 2.依次选择maven,这里不要点击"create from archetype"点击next 3.填写你想要的GroupId和ArtifactId,然后点击next 4.Module name给父工程起个名字,点击next 5.删除src目录,当然你也可以留着不用删 6.创建一个子模块项目,在父工程上右键点击new Module,依次点击maven,同样不要勾选"create from archetype&qu

  • IDEA导入eclipse项目并且部署到tomcat的步骤详解

    前言 本文主要给大家介绍了关于IDEA导入eclipse项目并部署到tomcat的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧 步骤如下: 1.首先引入本地项目 我这里是maven项目就直接选择的以maven项目引入,如果选eclipse的话,pom文件不会被初始化,部署tomcat会出问题 这项选完后,就一路next,jdk可以在引入的时候选择,也可以引入后在配置,注意jdk版本要与项目一致 现在项目就从成功引入进来了,可能现在项目会有一大堆红杠,是因为项目还没有配

随机推荐