微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

【读书】正则指引-1-字符组


正则表达式的历史

正则表达式发源于与计算机密切相关的两个领域:计算理论和形式语言。20世纪40年代,两位神经生理学家 Warren McCulloch 和 Walter Pitts 研究出一种数学方式来描述神经网络的的办法,他们把神经系统中的神经元描述成小而简单的自动控制单元。1956年,数学家 Stephen Cole Kleene 在他们研究的基础上,发表了一篇名为“神经网络事件的表示法”的论文,在其中,他采用了一些称之为“正则集合(regular set)”的数学符号来描述神经网络模型。
之后,UNIX 的主要发明人 Ken Thompson 将这个符号系统引入了文本编辑器 QED(意思是“在文本中搜索某种模式”),正则表达式由此也进入了计算机世界。随后 Ken Thompson 又将正则表达式引入了 UNIX 下的文本编辑器 ed ,ed 最后演化为大家熟悉的 grep (grep 得名自 ed 编辑器中的正则表达式搜索命令 g/re/p ,其中的 re 表示“正则表达式”)。

正则表达式应用领域

  • 文本处理(日志分析)
  • 查找和修改源码
  • 运维领域和自动化领域中通过编程语言 sed/awk、Perl/Python/Ruby 等使用
  • 工具软件(如 Vi、Emacs、UltraEdit)
  • Web 服务器(如 Apache 和 Nginx

正则表达式的目标用户

对“正则表达”有需要的人:
  • 经常需要进行文本处理(如日志分析或网络运维)的技术人员。
  • 熟悉常用开发语言的程序员。
  • 对正则表达式已经有一点了解的人。

字符组

字符组(Character Class)是正则表达式最基本的结构之一。表示“在同一个位置可能出现的各种字符”,写法是在一对方括号 [ 和 ] 之间列出所有可能出现的字符。
举例:[ab]、[314]、[#.?] 等
字符组中的字符排列顺序并不影响字符组的功能,出现重复字符也不会影响。但一般不推荐在字符组中出现重复字符,并且应该让字符组中的字符排列更符合人类的认知习惯,比如 [12345] 。
范围表示法:就是用 [x-y] 的形式表示 x 到 y 整个范围内的字符,而无需一一列出。
在字符组中可以同时并列多个 “- 范围表示法”。例如,[0-9a-zA-Z] 可以匹配数字、大写字母或小写字母;字符组 [0-9a-fA-F] 可以用来验证十六进制字符;字符组 [\x00-\x7F] 表示所有 ASCII 码字符。

常用的 ASCII 码表。

注:
  • 正则表达式处理的都是“字符串”而不是“字符”。
  • 客观上讲,Perl 是正则表达式处理最方便的编程语言。
  • 范围表示法是根据字符对应的码值来确定由 - 所约束的范围的,要求码值小的字符在前,码值大的字符在后。所以 [0-9] 等价于 [0123456789] ,而 [9-0] 则会导致错误

元字符

在字符组中的横线 - 并不能匹配横线字符,而是用来表示范围,这类字符叫做元字符。元字符在匹配中都有特殊的意义。但是有些时候我们可能不需要元字符的特殊意义,而是需要它们仅表示普通字符,此时就需要进行特殊的处理。
元字符包括
  • 开方括号 [ ,闭方括号 ] ;
  • 定位到字符串起始的 ^ ,定位到字符串结束的 $ ;
  • 匹配除换行符之外的任何字符的 . ;
  • 范围标示符 - ;
  • 排除型字符组中的脱字符 ^ 。

元字符的特殊处理

字符组中的 - ,如果它紧邻着字符组中的开方括号 [ ,那么它就是普通字符,其他情况下都是元字符;而对于其他元字符,取消特殊含义的做法都是转义,也就是在正则表达式中的元字符之前加上反斜线字符 \ 。
如果要在字符组内部使用横线 - 作为普通字符进行匹配,最好的办法是将它排列在字符组的最开头。若不排列在最开头,则也要使用反斜线字符进行转义。例如,[-09] 表示包含三个字符 - 、0、9 的字符组;而 [0-9] 是包含 0~9 这10 个字符的字符组。
如果希望在字符组中列出闭方括号 ] ,比如 [012]345] ,就必须在它之前使用反斜线转义,写成 [012\]345] 。
如果希望匹配开方括号 [ ,例如只希望匹配字符串 [123] ,而不是将其作为字符组进行匹配,则必须书写为如下形式 \[123] 。

正则表达式转义与字符串转义

在程序中,正则表达式是以字符串的方式提供的,而字符串本身也有关于转义的规定(例如字符串中的 \n 等)。所以,其实我们真正书写的“正则表达式”实际上是经过“字符串转义处理”之后的字符串的值。例如,我们想要换一种方式表达包含三个字符 0、-、9的字符组,原理上讲只需要写成 [0\-9] 的形式,但因为在实际代码中,我们的正则表达式是以字符串形式书写的,即应该是 “[0\-9]” 这种形式,而在字符串中,反斜线和其后的字符会被当做是转义序列(Escape Sequence)处理,而实际情况是 \- 又不是一个合法的转义序列。所以结论是,我们需要将以字符串形式书写的正则表达式中的每个反斜线字符 \ ,再次通过 \ 进行转义,即写成 \\ 。所以,用于代码中的、正确的正则表达式应该写成 “[0\\-9]” 。

排除型字符组

在方括号 […] 中列出希望匹配的所有字符,这种字符组叫做“普通字符组”。而排除型字符组非常类于普通字符组,只是在开方括号 [ 之后紧跟一个脱字符 ^ ,写作 [^…] ,表示“在当前位置,匹配一个没有列出的字符”。所以 [^0-9] 表示“0~9 之外的字符”,也就是“非数字字符”。
注意,排除型字符组必须匹配一个字符。
在排除型字符组中, ^ 是一个元字符,但只有它紧跟在 [ 之后才是元字符,如果想表示“在这个字符组中可以出现 ^ 字符”,不要让它紧挨着 [ 即可,否则就需要转义。注意以下 3 中形式的异同:
^[^012]$
^[0^12]$
^[\^012]$

字符组简记法

对于常用的字符组,例如 [0-9] 、[a-z] 等字符组,正则表达式提供了更简单的记法,即字符组简记法。常见的字符组简记法有 \d 、\w 、\s 。其中 \d 等价于 [0-9] ,d代表数字;\w 等价于 [0-9a-zA-Z] ,w 代表单词字符;\s 等价于 [ \t\r\n\v\f] (第一个字符为空格),s 表示空白字符。
一般印象中,单词字符似乎只包含大小写字母,但是字符简记法中的“单词字符”不只有大小写单词,还包括数字字符和下划线 _ 。若在进行数据验证时,要求只容许“数字和字母”,则不应该使用 \w 来验证。
字符简记法可以单独出现,也可以使用在字符组中,例如 [0-9a-zA-Z] 可以写成 [\da-zA-Z] ;[^0-9] 可以写成 [^\d] 。
相对于 \d 、\w 、\s 这三个普通的字符组简记法,\D 、\W 、\S 对应了排除型字符组的简记法。两组简记法为互补关系:即 \s 能匹配的字符,\S 一定不能匹配。利用这种互补特性,可以得到一些非常巧妙的效果,例如 [\s\S] 字符组可以表示匹配所有字符。
注意:
  • 许多正则表达式的文档说,点号 . 能匹配“任意字符”,但在认情况下,点号其实不能匹配换行符。
  • 如果字符组中出现了字符组简记法,最好不要出现单独的 - ,否则可能引起错误,比如 [\d-a] 就让人很迷惑。
  • 以上说的 \d 、\w 、\s 的匹配规则对是针对 ASCII 编码而言,也叫 ASCII 匹配规则。

POSIX 字符组

在某些文档中,你会发现类似 [:digit:] 、[:lower:] 之类的字符组,它们其实就是 POSIX 字符组。如果需要在 Linux/UNIX 下的各种工具(sed 、awk 、grep 等)中使用正则表达式,最好了解这个小编。
前面介绍的字符组,都属于 Perl 衍生出来的正则表达式流派,该流派叫做 PCRE 。除此之外还有其他流派,比如 POSIX 规范中定义的正则表达式规范。
常见的 [a-z] 形式的字符组,在 POSIX 规范中仍然获得支持,其准确名称为 POSIX 方括号表达式,主要用在 UNIX/Linux 系统中。
POSIX 方括号表达式与之前所说的字符组的最主要区别是:在 POSIX 字符组中,反斜线 \ 不是用来转义的,所以 POSIX 方括号表达式 [\d] 只能匹配 \ 和 d 两个字符,而不是 [0-9] 对应的数字字符。
POSIX 方括号表达式中关于特殊意义字符的转义规定:如果要在字符组中表达字符 ] (而不是作为字符组的结束标志),应当让它紧跟在字符组的开方括号之后,所以 []a] 能匹配的字符就是 ] 或 a ;如果要在字符组中表示字符 -(而不是范围表示法),就必须将它放在字符组的闭方括号之前,所以 [a-] 能匹配的字符就是 a 或 - 。
POSIX 规范中有一个重要概念:locale(语言环境),它是一组与语言和文化相关的设定,包括日期格式、货币币值、字符编码等。POSIX 字符组的意义会根据 locale 的变化而变化。


总结

本篇将《正则指引》的第一章内容进行了概括总结,下次讲解正则表达式中的量词。

参考资料

《正则指引》:余晟。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


正则替换html代码中img标签的src值在开发富文本信息在移动端展示的项目中,难免会遇到后台返回的标签文本信息中img标签src属性按照相对或者绝对路径返回的形式,类似:<img src="qinhancity/v1.0.0/ima
正则表达式
AWK是一种处理文本文件的语言,是一个强大的文件分析工具。它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描,过滤,统计汇总等工作,数据可以来自标准输入也可以是管道或文件。当读到第一行时,匹配条件,然后执行指定动作,在接着读取第二行数据处理,不会默认输出。如果没有定义匹配条件,则是默认匹配所有数据行,awk隐含循环,条件匹配多少次,动作就会执行多少次。逐行读取文本,默认以空格或tab键为分割符进行分割,将分割所得的各个字段,保存到内建变量中,并按模式或或条件执行编辑命令。与sed工作原理相比:s
正则表达式是特殊的字符序列,利用事先定义好的特定字符以及他们的组合组成了一个规则,然后检查一个字符串是否与这种规则匹配来实现对字符的过滤或匹配。我们刚才在学习正则表达式的时候,我们表示数字,字母下划线的时候是用w表示的,为什么我们在书写的时候用的是w?我们可以发现我们分割空格的话,并没有达到我们预期的效果,这里我们可以使用正则表达式的方式进行分割。我们可以发现,我们和上面得到的结果不一致,既然出错了,肯定是我们的使用方式不对。看到这里我们就能感受到正则表达式的作用了,正则表达式是字符串处理的有力工具。
Python界一名小学生,热心分享编程学习。
收集整理每周优质开发者内容,包括、、等方面。每周五定期发布,同步更新到和。欢迎大家投稿,,推荐或者自荐开源项目/资源/工具/文章~
本文涉及Shell函数,Shell中的echo、printf、test命令等。
常用正则表达,包括: 密码、 手机号、 身份证、 邮箱、 中文、 车牌号、 微信号、 日期 YYYY-MM-DD hh:mm:ss、 日期 YYY-MM-DD、 十六进制颜色、 邮政编号、 用户名、 QQ号
一、python【re】的用法1、re.match函数·单一匹配-推荐指数【★★】2、re.search函数·单一匹配-推荐指数【★★★★★】3、re.findall函数·多项匹配-推荐指数【★★★★★】4、re.finditer函数·多项匹配-推荐指数【★★★★】5、re.sub函数·替换函数-推荐指数【★★★★】二、正则表达式示例·总有一款适合你1、正则表达式匹配HTML指定id/class的标签2、正则表达式匹配HTML中所有a标签中的各类属性值3、获取标签的文本值
1.借助词法分析工具Flex或Lex完成(参考网络资源)2.输入:高级语言源代码(如helloworld.c)3.输出:以二元组表示的单词符号序列。通过设计、编制、调试一个具体的词法分析程序,加深对词法分析原理的理解,并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。由于各种不同的高级程序语言中单词总体结构大致相同,基本上都可用一组正则表达式描述,所以构造这样的自动生成系统:只要给出某高级语言各类单词词法结构的一组正则表达式以及识别各类单词时词法分析程序应采取的语义动作,该系统