深入探讨linux下进程的最大线程数、进程最大数、进程打开的文件数

＝＝＝＝＝最大线程数＝＝＝＝
linux 系统中单个进程的最大线程数有其最大的限制 PTHREAD_THREADS_MAX
这个限制可以在 /usr/include/bits/local_lim.h 中查看
对 linuxthreads 这个值一般是 1024，对于 nptl 则没有硬性的限制，仅仅受限于系统的资源
这个系统的资源主要就是线程的 stack 所占用的内存，用 ulimit -s 可以查看默认的线程栈大小，一般情况下，这个值是 8M
可以写一段简单的代码验证最多可以创建多少个线程


代码如下:

int main()
{
     int i = 0;
     pthread_t thread;
     while (1) {
         if (pthread_create(&thread, NULL, foo, NULL) != 0)
             return;
         i ++;
         printf("i = %d\n", i);
     }
}

试验显示，在 linuxthreads 上最多可以创建 381 个线程，之后就会返回 EAGAIN
在 nptl 上最多可以创建 382 个线程，之后就会返回 ENOMEM
这个值和理论完全相符，因为 32 位 linux 下的进程用户空间是 3G 的大小，也就是 3072M，用 3072M 除以 8M 得 384，但是实际上代码段和数据段等还要占用一些空间，这个值应该向下取整到 383，再减去主线程，得到 382。
那为什么 linuxthreads 上还要少一个线程呢？这可太对了，因为 linuxthreads 还需要一个管理线程
为了突破内存的限制，可以有两种方法
1) 用 ulimit -s 1024 减小默认的栈大小
2) 调用 pthread_create 的时候用 pthread_attr_getstacksize 设置一个较小的栈大小
要注意的是，即使这样的也无法突破 1024 个线程的硬限制，除非重新编译 C 库 <=此处值得讨论，我在ubuntu 7.04＋3G内存上用ulimit -s 1024，则可以得到3054个线程。
===============进程最大数=================
LINUX中进程的最大理论数计算：
每个进程的局部段描述表LDT都作为一个独立的段而存在，在全局段描述表GDT中要有一个表项指向这个段的起始地址，并说明该段的长度以及其他一些 参数。除上之外，每个进程还有一个TSS结构(任务状态段)也是一样。所以，每个进程都要在全局段描述表GDT中占据两个表项。那么，GDT的容量有多大 呢？段寄存器中用作GDT表下标的位段宽度是13位，所以GDT中可以有8192个描述项。除一些系统的开销(例如GDT中的第2项和第3项分别用于内核 的代码段和数据段，第4项和第5项永远用于当前进程的代码段和数据段，第1项永远是0，等等)以外，尚有8180个表项可供使用，所以理论上系统中最大的 进程数量是4090。

＝＝＝＝重新编译内核来修改进程打开的最大文件数和修改listen侦听队列＝＝＝＝
用“ulimit -a”能看到这些限制，如：


代码如下:

[root@HQtest root]# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
max locked memory (kbytes, -l) unlimited
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 2047
virtual memory (kbytes, -v) unlimited

用ulimit ?n 10240 修改打开的文件数目变为 10240
虽然使用ulimit ?a 能看到变为10240，不过我在做压力测试的时候，当超过1024个用户时，服务就会down机。
最后只有重新编译了内核，编译内核后一切OK!
操作方法如下：
不同的Linux内核版本有不同的调整方法，
在Linux内核2.2.x中能用如下命令修改：


代码如下:

# echo '8192' > /proc/sys/fs/file-max
# echo '32768' > /proc/sys/fs/inode-max

并将以上命令加到/etc/rc.c/rc.local文件中，以使系统每次重新启动时设置以上值。
在Linux内核2.4.x中需要修改原始码，然后重新编译内核才生效。编辑Linux内核原始码中的 include/linux/fs.h文件，
将 NR_FILE 由8192改为 65536，将NR_RESERVED_FILES 由10 改为 128。编辑fs/inode.c 文件将 MAX_INODE 由16384改为262144。
一般情况下，最大打开文件数比较合理的设置为每4M物理内存256，比如256M内存能设为16384，
而最大的使用的i节点的数目应该是最大打开文件数目的3倍到4倍。

赞 (0)

相关推荐

  • linux的最大打开文件数限制修改方法

    前言 本文主要给大家介绍了关于linux最大打开文件数限制修改的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: linux会为每个用户登录系统打开最大文件数都有限制, 这个限制通过 ulimit -n 可以看到, 一般是 1024 . 在一些并发或多线程情况下, 需要突破这个限制. 修改 第一步 编辑 /etc/security/limits.conf 并确保其包含下列行: * soft nofile 65535 * hard nofile 65535 这里 * 表示所

  • 深入探讨linux下进程的最大线程数、进程最大数、进程打开的文件数

    ＝＝＝＝＝最大线程数＝＝＝＝linux 系统中单个进程的最大线程数有其最大的限制 PTHREAD_THREADS_MAX这个限制可以在 /usr/include/bits/local_lim.h 中查看对 linuxthreads 这个值一般是 1024,对于 nptl 则没有硬性的限制,仅仅受限于系统的资源这个系统的资源主要就是线程的 stack 所占用的内存,用 ulimit -s 可以查看默认的线程栈大小,一般情况下,这个值是 8M可以写一段简单的代码验证最多可以创建多少个线程 复制代码

  • Linux下高并发socket最大连接数所受的各种限制(详解)

    1.修改用户进程可打开文件数限制 在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP连接都要创建一个socket句柄,每个socket句柄同时也是一个文件句柄).可使用ulimit命令查看系统允许当前用户进程打开的文件数限制: [speng@as4 ~]$ ulimit -n 1024 这表示当前用户的每个进程最多允许同时打开1024个文件,这1024个文件中还得除去每个进

  • 详解Linux下Tomcat开启查看GC信息

    一.开启GC日志 1.在Tomcat 的安装路径下,找到bin/catalina.sh 加上下面的配置,具体参数,自己配置: [root@centos7 tomcat]# vim bin/catalina.sh 复制代码 代码如下: JAVA_OPTS='-Xms512m -Xmx4096m -XX:PermSize=64M -XX:MaxNewSize=128m -XX:MaxPermSize=64m -XX:ParallelGCThreads=8 -XX:+UseConcMarkSweepG

  • 深入linux下遍历目录树的方法总结分析

    前几天需要实现对整个目录树的遍历,查阅了相关的一些资料.开始找到的原始的方法是使用readdir()与lstat()函数实现递归遍历,后来发现linux对于目录遍历这种最常用的操作已经提供了很完善的接口:ftw()与nftw().下面就这两种方法具体说明一下.1.手动实现递归1.1 stat()函数族stat函数族包括:stat,fstat以及lstat函数,都是向用户返回文件的属性信息(元数据). 复制代码 代码如下: view plaincopy to clipboardprint?#inc

  • Linux下启动tomcat的方法

    tomcat是随机启动的,所以在开启服务器的时候要手动开启tomcat,不然没法访问(网上说可以设置随着服务器开启而开启,我还不会妮...) 1:找到tomcat安装路径 [root@localhost ~]# cd .. (返回上一级目录) [root@localhost /]# ls        (列出该目录下的所有文件) bin   dev  home  lib64       media  mnt  opt   root  selinux  sys       tmp  var boo

  • Tomcat配置访问日志和线程数的实现步骤

    Tomcat配置访问日志和线程数的实现步骤

    目录 1.tomcat access log的配置 1.access log的配置 2.查看磁盘上的日志文件 3.accesslog参数解释: 2.Tomcat配置线程数 3.实时查看tomcat线程数 1.tomcat access log的配置 1.access log的配置 server: tomcat: accesslog: enabled: true #是否开启日志 directory: /home/admin/arpro-backend-prod/logs/arpro-monitor

  • Linux 下进程的挂起和恢复命令

    本文给大家介绍进程的挂起及恢复命令,具体内容如下所示: #ctrl+z:挂起,程序放到后台,程序没有结束. #jobs:查看被挂起的程序工作号 恢复进程执行时,有两种选择:fg命令将挂起的作业放回到前台执行:用bg命令将挂起的作业放到后台执行 格式:fg 工作号:bg 工作号 进程:正在执行的一个程序 程序:是一种写好的代码或脚本 &:后台执行,不占用终端 如:xeyes & ps命令进程查看命令 ps命令:process status -e 显示所有进程 -f 全格式 -h 不显示标题

  • linux下如何创建守护进程的步骤

    这两天学习了linux 守护进程这个地方知识点挺多的,而且很重要,所以,今天添加一点小笔记. 1,进程的概念:程序的一次动态执行过程.  进程存在于内存当中,存在着  创建,调度,执行和消亡,进程号是进程的唯一标志,每一个进程都有自己独立的内存空间,在32位操作系统中,进程拥有0-4G的内存空间,其中0-3G属于用户,3G-4G属于内核,所以就出现了进程的执行模式:用户模式和内核模式. 2,进程的类型:交互进程,批处理进程,守护进程 3,守护进程:Linux中的后台服务进程,daemon进程 4

  • Python实现Linux下守护进程的编写方法

    本文实例讲述了Python实现Linux下守护进程的编写方法,分享给大家供大家参考,相信对于大家的Python程序设计会起到一定的帮助作用.具体方法如下: 1. 调用fork()以便父进程可以退出,这样就将控制权归还给运行你程序的命令行或shell程序.需要这一步以便保证新进程不是一个进程组头领进程(process group leader).下一步,'setsid()',会因为你是进程组头领进程而失败.进程调用fork函数时,操作系统会新建一个子进程,它本质上与父进程完全相同.子进程从父进程继

  • linux下的守护进程

    Linux下的常驻进程的作用不可忽略,但这里面的问题也不能忽略,怎么启动进程,怎么结束进程,怎么在进程挂掉之后重启进程都要设计的合理.下面看一个shell控制的php常驻进程的例子. 不废话,直接捞干货,上代码,通过代码来讲解更容易理解: 复制代码 代码如下: #!/bin/sh #filename test.sh #绝对定位该文件的位置,不随执行目录而变化 cd $(cd "$(dirname "$0")";pwd) readonly path=$(pwd)/ f

随机推荐