linux 正则表达式深度解析

简介

大体来讲,正则表达式的文法分为3种标准:BRE、ERE 和 ARE。其中 BER 和 ERE 属于 POSIX 标准,ARE 则是由各家定义的扩展。

POSIX 正则表达式

传统上,POSIX 定义了两种正则表达式语法, 即:基本正则表达式(BRE)和扩展正则表
达式(ERE)。

其中, BRE 定义的语法符号包括:

. - 匹配任意一个字符。
[] - 字符集匹配,匹配方括号中定义的字符集之一。
[^] - 字符集否定匹配,匹配没有在方括号中定义的字符。
^ - 匹配开始位置。
$ - 匹配结束位置。
\(\) - 定义子表达式。
\n - 子表达式向前引用,n 为 1-9 之间的数字。 由于此功能已超出正则语义,需
要在字符串中回溯,因此需要使用 NFA 算法进行匹配。
* - 任意次匹配(零次或多次匹配)。
\{m,n\} - 至少 m 次,至多 n 次匹配;\{m\} 表示 m 次精确匹配;\{m,\} 表示至少 m
次匹配。

ERE 修改了 BRE 中的部分语法,并增加了以下语法符号:

? - 最多一次匹配(零次或一次匹配)。
+ - 至少一次匹配(一次或更多次匹配)。
| - 或运算,其左右操作数均可以为一个子表达式。

同时,ERE 取消了子表达式 "()" 和 次数匹配 "{m,n}" 语法符号的转义符引用语法,在
使用这两种语法符号时,不在需要添加转义符。 与此同时, ERE 也取消了非正则语义的
子表达式向前引用能力。

BRE 和 ERE 共享同样的 POSIX 字符类定义。同时,它们还支持字符类比较操作 "[. .]"
和字符来等效体 "[= =]" 操作,但很少被使用。

f / fr / wfr / bwfr 等工具默认使用 ERE 模式,同时支持以下 perl 风格的字符类:

POSIX 类 perl类 描述
----------------------------------------------------------------------------
[:alnum:] 字母和数字
[:alpha:] \a 字母
[:lower:] \l 小写字母
[:upper:] \u 大写字母
[:blank:] 空白字符(空格和制表符)
[:space:] \s 所有空格符(比[:blank:]包含的范围广)
[:cntrl:] 不可打印的控制字符(退格、删除、警铃...)
[:digit:] \d 十进制数字
[:xdigit:] \x 十六进制数字
[:graph:] 可打印的非空白字符
[:print:] \p 可打印字符
[:punct:] 标点符号

- 此外,还有以下特殊字符类:

perl类 等效POSIX表达式 描述
----------------------------------------------------------------------------
\o [0-7] 八进制数字
\O [^0-7] 非八进制数字
\w [[:alnum:]_] 单词构成字符
\W [^[:alnum:]_] 非单词构成字符
\A [^[:alpha:]] 非字母
\L [^[:lower:]] 非小写字母
\U [^[:upper:]] 非大写字母
\S [^[:space:]] 非空格符
\D [^[:digit:]] 非数字
\X [^[:xdigit:]] 非十六进制数字
\P [^[:print:]] 非可打印字符

- 还可以使用以下特殊字符换码序列:

\r - 回车
\n - 换行
\b - 退格
\t - 制表符
\v - 垂直制表符
\" - 双引号
\' - 单引号

高级正则表达式

除了 POSIX BRE 和 ERE 之外,libutilitis 还支持与TCL 8.2兼容的高级正则表达式语
法(ARE)。 通过为 stRegEx 参数增加前缀 "***:" 就可以开启 ARE 模式,这个前缀覆
盖 bExtended 选项。基本上讲,ARE 是 ERE 的超集。 它在 ERE 的基础上进行了如下几
项扩展:

1. 支持"懒惰匹配"(也叫"非贪婪匹配"或"最短匹配"):在 '?', '*', '+' 或 '{m,n}'
后追加 '?' 符号就可以启用最短匹配,使得该正则表达式子句在满足条件的前提下匹
配尽可能少的字符(默认是匹配尽可能多的字符)。例如:将 "a.*b" 作用于 "abab"
时,将匹配整个串("abab"),若使用 "a.*?b",则将只匹配前两个字符("ab")。

2. 支持子表达式的向前引用匹配:在 stRegEx 中,可以使用 '\n' 向前引用曾经定义的
子表达式。如:"(a.*)\1" 可匹配 "abcabc" 等。

3. 无名子表达式:使用 "(?:表达式)" 的方式创建一个无名表达式, 无名表达式不返回
到一个 '\n' 匹配。

4. 向前预判:要命中匹配,必须向前满足指定条件。 向前预判分为肯定预判和否定预判
两种。肯定预判的语法为:"(?=表达式)",例如:"bai.*(?=yang)" 匹配 "bai yang"
中的前四个字符("bai "),但在匹配时保证字符串在 "bai.*" 后必须包含 "yang".
否定判断的语法为:"(?!表达式)", 例如:"bai.*(?!yang)" 匹配 "bai shan" 的前
四个字符,但在匹配是保证字符串在 "bai.*" 后不出现 "yang"。

5. 支持模式切换前缀,在 "***:" 之后可以紧跟形如 "(?模式串)" 样式的模式串,模式
串影响其后表达式的语义和行为。模式串可以是一下字符的组合:

b - 切换至 POSIX BRE 模式,覆盖 bExtended 选项。
e - 切换至 POSIX ERE 模式,覆盖 bExtended 选项。
q - 切换至文本字面匹配模式, 表达式中的字符都作为文本进行搜索,取消一切正则
语义。此模式将正则匹配退化为一次简单字符串查找。"***=" 前缀是其快捷表示
方式,意即:"***=" 等同于 "***:(?q)"。

c - 执行大小写敏感的匹配,覆盖 bNoCase 选项。
i - 执行忽略大小写的匹配,覆盖 bNoCase 选项。

n - 开启行敏感的匹配:'^' 和 '$' 匹配行首和行尾;'.' 和否定集('[^...]')不
匹配换行符。此功能等同于 'pw' 模式串。覆盖 bNewLine 选项。
m - 等同于 'n'。
p - '^' 和 '$' 只匹配整个字符串的首尾,不匹配行;'.' 和否定集不匹配换行符。
覆盖 bNewLine 选项。
w - '^' 和 '$' 匹配行首和行尾;'.' 和否定集匹配换行符。覆盖 bNewLine 选项。
s - '^' 和 '$' 只匹配整个字符串的首尾,不匹配行;'.' 和否定集匹配换行符。覆
盖 bNewLine 选项。ARE 状态下默认使用此模式。

x - 开启扩展模式:在扩展模式中,将忽略表达式中的空白符和注释符 '#' 后的内容
例如:
@code@
(?x)
\s+ ([[:graph:]]+) # first number
\s+ ([[:graph:]]+) # second number
@code@
等同于 "\s+([[:graph:]]+)\s+([[:graph:]]+)"。
t - 关闭扩展模式,不忽略空白符和注释符后的内容。ARE 状态下默认使用此模式。

6. 与 BRE/ERE 模式不同的 Perl 风格字符类换码序列:

perl类 等效POSIX表达式 描述
----------------------------------------------------------------------------
\a - 响铃字符
\A - 不论当前模式如何,仅匹配整个串的最开头
\b - 退格字符 ('\x08')
\B - 转义字符本身 ('\\')
\cX - 控制符-X (= X & 037)
\d [[:digit:]] 10 进制数字 ('0' - '9')
\D [^[:digit:]] 非数字
\e - 退出符 ('\x1B')
\f - 换页符 ('\x0C')
\m [[:<:]] 单词开始位置
\M [[:>:]] 单词结束位置
\n - 换行符 ('\x0A')
\r - 回车符 ('\x0D')
\s [[:space:]] 空白符
\S [^[:space:]] 非空白符
\t - 制表符 ('\x09')
\uX - 16 位 UNICODE 字符 (X∈[0000 .. FFFF])
\UX - 32 位 UNICODE 字符 (X∈[00000000 .. FFFFFFFF])
\v - 纵向制表符 ('\x0B')
\w [[:alnum:]_] 组成单词的字符
\W [^[:alnum:]_] 非单词字符
\xX - 8 位字符 (X∈[00 .. FF])
\y - 单词边界(\m 或 \M)
\Y - 非单词边界
\Z - 不论当前模式如何,仅匹配整个串的最尾部
\0 - NULL,空字符
\X - 子表达式向前引用 (X∈[1 .. 9])
\XX - 子表达式向前引用或 8 进制表示的 8 字符
\XXX - 子表达式向前引用或 8 进制表示的 8 字符

(0)

相关推荐

  • linux shell 路径截取正则表达式

    最近写脚本,需要对脚本中函数传递的路径参数进行截取,发现了以下比较好用的方法,记录下: file=/dir1/dir2/dir3/my.file.txt 我们可以用${ }分别替换获得不同的值: ${file#*/}:拿掉第一条/及其左边的字串:dir1/dir2/dir3/my.file.txt ${file##*/}:拿掉最后一条/及其左边的字串:my.file.txt ${file#*.}:拿掉第一个.及其左边的字串:file.txt ${file##*.}:拿掉最后一个.及其左边的字串:

  • linux shell 正则表达式(BREs,EREs,PREs)差异比较

    在计算机科学中,是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串.在很多文本编辑器或其他工具里,正则表达式通常被用来检索和/或替换那些符合某个模式的文本内容.许多程序设计语言都支持利用正则表达式进行字符串操作.例如,在Perl中就内建了一个功能强大的正则表达式引擎.正则表达式这个概念最初是由Unix中的工具软件(例如sed和grep)普及开的.正则表达式通常缩写成"regex",单数有regexp.regex,复数有regexps.regexes.regexen.这些

  • linux grep正则表达式与grep用法详解

    需要大家牢记:正则表达式与通配符不一样,它们表示的含义并不相同 正则表达式只是字符串的一种描述,只有和支持正则表达式的工具相结合才能进行字符串处理.本文以grep为例来讲解正则表达式. grep命令 功能:输入文件的每一行中查找字符串. 基本用法: grep [-acinv] [--color=auto] [-A n] [-B n] '搜寻字符串' 文件名 参数说明: -a:将二进制文档以文本方式处理 -c:显示匹配次数 -i:忽略大小写差异 -n:在行首显示行号 -A:After的意思,显示匹

  • 使用Linux正则表达式灵活搜索文件中的文本

    正则表达式是一种符号表示法,用于识别文本模式.Linux处理正则表达式的主要程序是grep.grep搜索与正则表达式匹配的行,并将结果输送至标准输出. 1. grep匹配模式 grep按下述方式接受选项和参数(其中,regex表示正则表达式) 复制代码 代码如下: grep [options] regex [files] 其中options主要为下表: 选项 含义 功能描述 -i ignore case 忽略大小写 -v invert match 不匹配匹配的 -l file-with-matc

  • Linux 正则表达式详解

    一.linux文本查找命令 在说linux正规表达式之前,还介绍下linux中查找文本文件常用的三个命令: 1.grep : 最早的文本匹配程序,使用POSIX定义的基本正则表达式(BRE)来匹配文本. 2.egrep : 扩展式grep,其使用扩展式正规表达式(ERE)来匹配文本. 3.fgrep : 快速grep,这个版本匹配固定字符串而非正则表达式.并且是唯一可以并行匹配多个字符串的版本. 如下简单的介绍grep命令: 语法格式: grep [options ...] pattern-sp

  • Linux Shell中的特殊符号和含义简明总结(包含了绝大部份)

    在Linux Shell中有很多的特殊符号,这对于我们写Shell脚本时要特别留意:一方面要知道这些特殊符号的用法,这些符号用好了可以达到事半功倍的效果:但另一方面要避免这些特殊符号的过度使用而导致脚本难以调试.难以阅读. 这些特殊符号罗列出来大致如下: 复制代码 代码如下: # ; ;; . , / / 'string'| ! $ ${} $? $$ $* "string"* ** ? : ^ $# $@ `command`{} [] [[]] () (()) || &~ ~

  • linux正则表达式awk详解

    awk和sed一样是流式编辑器,它也是针对文档中的行来操作的,一行一行的去执行.awk比sed更加强大,它能做到sed能做到的,同样也能做到sed不能做到的.awk常用来分段: awk不用加任何参数就可以实现 + ? * .  | 这些特殊符号: 1.截取文档中的某个段 [root@yonglinux ~]# head -n2 passwd |awk -F: '{print $1}' root bin [root@yonglinux ~]# head -n2 passwd |awk -F: '{

  • Linux中的特殊符号与正则表达式

    第1章 linux的特殊符号 1.1 通配符 * {} 1.1.1 含义 方便查找文件 通配符是用来找文件名字的. 1.1.2  * 通过find 命令找以 .sh 结尾的文件,使用*替代文件名字. find /oldboy -type f -name "*.sh" -mtime +7 -size +100k -size -10M 查找文件名中,包含有oldboy字节的文件. [root@znix 20170118]# find -type f -name "*oldboy*

  • linux shell中的比较符号与特殊符号介绍

    shell字符串比较.判断是否为数字 二元比较操作符,比较变量或者比较数字.注意数字与字符串的区别. 整数比较 -eq 等于,如:if [ "$a" -eq "$b" ] -ne 不等于,如:if [ "$a" -ne "$b" ] -gt 大于,如:if [ "$a" -gt "$b" ] -ge 大于等于,如:if [ "$a" -ge "$b"

  • linux 正则表达式深度解析

    简介 大体来讲,正则表达式的文法分为3种标准:BRE.ERE 和 ARE.其中 BER 和 ERE 属于 POSIX 标准,ARE 则是由各家定义的扩展. POSIX 正则表达式 传统上,POSIX 定义了两种正则表达式语法, 即:基本正则表达式(BRE)和扩展正则表达式(ERE). 其中, BRE 定义的语法符号包括: . - 匹配任意一个字符.[] - 字符集匹配,匹配方括号中定义的字符集之一.[^] - 字符集否定匹配,匹配没有在方括号中定义的字符.^ - 匹配开始位置.$ - 匹配结束位

  • 深度解析MySQL启动时报“The server quit without updating PID file”错误的原因

    很多童鞋在启动mysql的时候,碰到过这个错误, 首先,澄清一点,出现这个错误的前提是:通过服务脚本来启动mysql.通过mysqld_safe或mysqld启动mysql实例并不会报这个错误. 那么,出现这个错误的原因具体是什么呢? 哈哈,对分析过程不care的童鞋可直接跳到文末的总结部分~ 总结 下面,来分析下mysql的服务启动脚本 脚本完整内容如下: #!/bin/sh # Copyright Abandoned 1996 TCX DataKonsult AB & Monty Progr

  • Java中关于String StringBuffer StringBuilder特性深度解析

    1.String String类:字符串是常量,使用一对""引起来表示.他们的值在创建之后不能修改. 1.String声明为final的,不可被继承 2.String实现了Serializable接口,表示字符串时支持序列化的. 实现了Comparable接口:表示String可以比较大小 3.String内部定义了final char[] value用于存储字符串数据 4.String:代表不可变的字符序列.简称:不可变性 体现: 1.当对字符串重新赋值时,需要重写指定内存区域赋值,

  • 微服务效率工具 goctl 深度解析

    目录 前言 goctl 的由来 1. goctl 的诞生 2. 为什么需要 goctl? 3. 怎么理解开发规范? 4. 怎么理解工程效率? 二 .goctl 的安装及功能介绍 1. 介绍 2. 安装 go get/install docker 3. 功能介绍 goctl completion 1.3.5 1.3.6 goctl migrate goctl env 1. 环境查看 2. 修改参数 3. 依赖检测/安装 goctl rpc 4. 编辑器插件 三.goctl 使用中遇到的问题 1.

  • Linux正则表达式特性详解及BRE与ERE的异同点

    Linux正则表达式(Regular Expression)主要遵从POSIX BRE或者POSIX ERE标准.什么是POSIX呢,POSIX Portable Operating System Interface 可移植操作系统接口ERE是BRE的扩展版本,具体更强的处理能力,并增加了一些元字符(metacharactor). BRE主要的能力集有: 1) 普通字符(Literal text),如a,b,c等 2)非打印字符,包括TAB,回车,换行,回车换行(WINDOWS) 3)任意字符.

  • JavaScript中 this 指向问题深度解析

    JavaScript 中的 this 指向问题有很多文章在解释,仍然有很多人问.上周我们的开发团队连续两个人遇到相关问题,所以我不得不将关于前端构建技术的交流会延长了半个时候讨论 this 的问题. 与我们常见的很多语言不同,JavaScript 函数中的 this 指向并不是在函数定义的时候确定的,而是在调用的时候确定的.换句话说, 函数的调用方式决定了 this 指向 . JavaScript 中,普通的函数调用方式有三种:直接调用.方法调用和 new 调用.除此之外,还有一些特殊的调用方式

  • 详解linux正则表达式(基础正则表达式+扩展正则表达式)

    正则表达式应用非常广泛,例如:php,Python,java等,但在linux中最常用的正则表达式的命令就是grep(egrep),sed,awk等,换句话 说linux三剑客要想能工作的更高效,就一定离不开正则表达式的配合. 1.什么是正则表达式? 简单的说,正则表达式就是为处理大量的字符串而定义的一套规则和方法.通过定义的这些特殊符号的辅助,系统管理员就可以快速过滤.替换或者输出需要的字符串.linux正则表达式一般以行为单位处理的. 2.为什么要学正则表达式 在企业工作中,我们每天做的li

  • 原理深度解析Vue的响应式更新比React快

    前言 我们都知道 Vue 对于响应式属性的更新,只会精确更新依赖收集的当前组件,而不会递归的去更新子组件,这也是它性能强大的原因之一. 例子 举例来说 这样的一个组件: <template> <div> {{ msg }} <ChildComponent /> </div> </template> 我们在触发 this.msg = 'Hello, Changed~'的时候,会触发组件的更新,视图的重新渲染. 但是 <ChildCompone

  • 深度解析Django REST Framework 批量操作

    我们都知道Django rest framework这个库,默认只支持批量查看,不支持批量更新(局部或整体)和批量删除. 下面我们来讨论这个问题,看看如何实现批量更新和删除操作. DRF基本情况 我们以下面的代码作为例子: models: from django.db import models # Create your models here. class Classroom(models.Model): location = models.CharField(max_length=128)

随机推荐