正则表达式匹配N的倍数

来源:https://jex.im/programming/triple-regex.html

Regex Golf上有一道题名为 Triples,即要求用正则表达式匹配3的倍数,还有一道匹配7的倍数的练习题。这种问题如果人肉解决的话,相当于做一道包含几十个数的四则运算题,不管你怎么想,反正我小时候遇到五个数以上的四则运算题都是直接略过。小时候不好好学习,现在该怎么办呢?——现在我会写代码了啊。 解决方案其实很简单:写程序构造一个接受3的倍数的DFA,再将其转换成正则式即可。

Finite Automaton

术语听起来都好抽象,其实解决思路就像小学生做除法一样简单。比如我们如何判定4641是3的倍数? 从左往右一个一个数地计算,最后余0即可:

4641
4    % 3 => 1
16   % 3 => 1
 14  % 3 => 2
  21 % 3 => 0

一次读一个数字,然后输出一个余数,如果最后余0则表示OK。影响我们判断的有两个因素:上次运算结果的余数,当前读入的字符。自动机就是这样一种机器,开始处于一个状态,每次读入一个字符,然后输出一个新状态。所以上面的运算可以用下面的自动机执行过程表示,起始状态为0,余数即为输出状态:

  4
0 => 1
6 1 => 1 4 1 => 2 1 2 => 0

用人话来讲就是:上次余数为0时,遇到4则余1;上次余1时遇到6则还余1;……
数字只有10个,所以我们可以穷举,除3余数只有0、1、2三种可能,当余数为任意一个时,下一次遇到的数字只有10种可能, 全部情况列举成一张表:

上次余数(From State) 遇到数字(Input Char) 输出余数(To State)
0 0、3、6、9 0
1、4、7 1
2、5、8 2
1 2
0
2 1

教科书都喜欢画DFA流程图,我也用GraphViz将就画个(这么乱的图真能帮助理解吗):

接下来其实就可以动手写程序自动生成这张表了:

/**
自动构造接受N的倍数的DFA
@return { fromState => { Char => toState } }
*/
function buildDFA(N) {
  var map={},i,208)">jto;
  // i 为 From State
  for i=0;<++) //FromState不会超过N,因为余数肯定小于N嘛
    j<10{ // j 为枚举Input Digit Char
      //当上次余i这次碰到j时,除N的余数即为输出状态
      to*10+) % ;
      map[]=||{})[;
    }
  return ;
}

代码也太简单了,用JavaScript写的好处就是现在按下F12代码贴进去运行下就能看到结果了。可生成这张表有什么用呢?再写个执行DFA的函数就大功告成了:

运行DFA @param {DFA} a 就是buildDFA返回的表 @param {String} s 输入数字 @return 如果输入匹配则返回true runDFAas{ (froml.lengthl{ from][]];//获取到下一个状态 if ===undefined) return false; ===;//最后余0则OK } //测试是否是3的倍数 (3), ""+4614);

至此已经做到了生成及执行匹配任意整数倍数的DFA,注意是任意位数的N及其倍数哦。接下来的工作就是将自动机转换成正则表达式。有很多种算法,这里只介绍最易于理解的解方程法。

Arden's Lemma

这种方法就是将自动机中的状态变换看成方程组,然后用解方程的方式化简自动机,逐步消减状态,最后合并成一个正则式。该方法基于Arden's Lemma

L = UL ∪ V ⟺ L = U ∗ V

看上去好抽象,其实只是Minify过了而已。其中的道理很简单,先看下面的DFA如何转换成正则式:

a 0 => 0
b 0 => 1

其中0、1为状态,a、b表示Char,0为起始状态,1为接受状态。这个只包含两条变换的自动机对应于正则式:a*b,这就是Arden's Lemma表达的意思。单这一条引理其实还不够,我们还需要了解正则式其它几个基础性质。我们把这正则式整体当成一个自动机的话,它就是0 => 1这样一个变换。 正则式的串联,比如a*bc*d,对应于自动机的串联:

b 0 => 1
c 1 => 1 d 1 => 2

其中2为接受状态。那么两个正则式的串联,则可以看成将整体串联成0 => 1 => 2得到0 => 2。 依此类推,正则式的并联,如(a|b)c,对应于自动机的并联:

a 0 => 1
c 1 => 2
好了,其实正则表达式与自动机相互转换的方法就这些。应用到前面的Triple DFA,比如0 => 0的变换有四条,所以正则式为(0|3|6|9)*,当然更简单的写法是[0369]*,前面buildDFA函数生成的表虽易于执行,但却不便于转换到正则式,所以写一个直接输出如下格式的函数更方便:

{ "0":{ :"[0369]""1""[147]""2""[258]"} 改写后的buildTable函数(其中reflect表后面再解释):

buildTablenreflectpath; path{}; { ; ] || ''+=; >) reflect|| 1} to in ) ].length>) ='['+']') =Objectkeys]); return {:}; 我们的目标是转换成的正则式只匹配除3余0的数,最终生成的正则式只能是一个0 => 0的变换,这样才能保证成功匹配时的结束状态一定是0。所以只需要把所有可能的0 => …… => 0不重复的变换路径进行并联,就能得到最终的正则式。 比如将0 => 1 => 00 => 0并联得到正则式:([0369]|[147][258])*,依此类推。应用前面的Arden's Lemma及其它几条方法,将所有的变换都化简成一条0 => 0变换,这个过程就像在解一个方程,将不可接受状态当成未知量化解成用0这个可接受状态表示。例如对于TripleDFA,约去状态2的步骤如下所示:

Origin 应用Arden's Lemma
: {
    : "[0369]"
  }
"[0369]*[147]""[0369]*[258]" }

然后再将状态1输出中的状态2替换掉,其它依此类推:

Origin
{ "[147]" }
1 => 2 => X串联 "[147][0369]*[147]""[147][0369]*[258]" 1 => X并联 "[258]|[147][0369]*[147]""[0369]|[147][0369]*[258]" 前面buildTable中的reflect表就是用于反查哪些状态可以到达当前要约去的状态,以便将其替换掉。

在化简过程中,无非对正则式进行串联、并联、重复这三种操作,相应的处理函数如下:

// seq(["[147]","[258]"]) => "[147][258]" seqtype:'seq'toString:function () { rejoin(""); (thisrepeat1?'('')*''*'re} // choice(["[147]","[258]"]) => "[147]|[258]" choiceitems[]; //这一步其实只是为了使生成的正则式更短一些 //按并联的结合性,"a|(b|c)" 等同于 "a|b|c" forEach{ ==='choice') itemsconcat); else push); }); "|"1 || ) ')'+=// 将一个正则式标志为重复 typeof 'string'; repeat=true 除去拼接正则式的代码,最终的函数也不算长:

buildregextablek; tablewhile (--{ trans],208)">tprefixtrans?]); t]; prefix([]]); entrances]; entrances--;) ]; ]; ]])]); return '^'[]['$' 执行buildregex(3)生成的正则表达式如下,Regex Golf评分 523 Points:

^([0369]|[258][0369]*[147]|([147]|[258][0369]*[258])([0369]|[147][0369]*[258])*([258]|[147][0369]*[147]))*$

这个函数生成出的匹配7的倍数的正则式有近16K,虽然说它能生成匹配任意位整数倍数的正则式,但这并不现实,因为它生成的正则式体积呈指数级增涨,生成20以上的正则式内存就不够用了。而这么长的正则式让JS的正则引擎去解析的话,大约15以上就会报错。如果去执行匹配测试的话,大于13就有可能返回 False,这是因为执行时间过长,正则引擎就会放弃执行。优化当然还是可以做的,比如生成的正则式输出时使用非捕获分组如(:?[147]),执行速度则可以提升好几倍。

我知道很多人会说用正则式匹配3的倍数效率太低了,有什么必要呢?我当然知道没人真的会这么用正则式,但这道理还是需要讲明白的。姑且不谈使用atoi方法即使在64位机上也只能处理长度不超过二十位的数字,试问这个正则表达式真的很慢吗?这可不一定。正则引擎其实还是将正则式转换成DFA或NFA执行的,如果是编译到DFA,虽然编译会花费些时间和内存,但执行速度只慢在额外的内存读取,DFA复杂度和atoi函数一样都是Θ(n),即使慢也只是常数倍。如果直接执行原始DFA,理论上可以和atoi函数一样快,这道理是明摆着的。 你不信的话,用下面的C++程序测试看,即使re2也只不过慢了5倍而已:

#include <stdio.h> #include <time.h> #include <stdlib.h> #include <re2/re2.h> #define LOOP_TIMES 10000000 int main{ int dfa{ 2}; clock_t start;const char* num="2147483646"; =LOOP_TIMES; startclock(); (strnum; while( *str { [][(++ - '0')]; } isTriple==} printf(" DFA:%d\n"()-); { unsigned val = atoi); isTriple = % )"atoi:%dRE2::Options optlatin1); .set_never_capture(trueRE2 "(?:[0369]|[258][0369]*[147]|" "(?:[147]|[258][0369]*[258])" "(?:[0369]|[147][0369]*[258])*" "(?:[258]|[147][0369]*[147]))*"FullMatch" re2:%d); 如果你仍然觉得正则表达式肯定很慢的话,那看下面的JavaScript测试程序:

LOOP_TIMES10000000;
=/^(?:[0369]|[258][0369]*[147]|(?:[147]|[258][0369]*[258])(?:[0369]|[147][0369]*[258])*(?:[258]|[147][0369]*[147]))*$/s="31457283145728"isTriple;
=+new Date;
test);
consolelog"  RegExp:"+-);

parseInt%3 === "parseInt:");

运行结果显示parseInt方式更慢!为什么?呵呵,因为JS中 Number 是双精度64位浮点数,如果将上面C++程序中atoi改成atof、使用fmod取余的话,运行结果显示取余比正则式只快了不到一倍!

好了,现在至少没人再拿这正则表达式效率低说事了吧。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


正则替换html代码中img标签的src值在开发富文本信息在移动端展示的项目中,难免会遇到后台返回的标签文本信息中img标签src属性按照相对或者绝对路径返回的形式,类似:<img src="qinhancity/v1.0.0/ima
正则表达式
AWK是一种处理文本文件的语言,是一个强大的文件分析工具。它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描,过滤,统计汇总等工作,数据可以来自标准输入也可以是管道或文件。当读到第一行时,匹配条件,然后执行指定动作,在接着读取第二行数据处理,不会默认输出。如果没有定义匹配条件,则是默认匹配所有数据行,awk隐含循环,条件匹配多少次,动作就会执行多少次。逐行读取文本,默认以空格或tab键为分割符进行分割,将分割所得的各个字段,保存到内建变量中,并按模式或或条件执行编辑命令。与sed工作原理相比:s
正则表达式是特殊的字符序列,利用事先定义好的特定字符以及他们的组合组成了一个规则,然后检查一个字符串是否与这种规则匹配来实现对字符的过滤或匹配。我们刚才在学习正则表达式的时候,我们表示数字,字母下划线的时候是用w表示的,为什么我们在书写的时候用的是w?我们可以发现我们分割空格的话,并没有达到我们预期的效果,这里我们可以使用正则表达式的方式进行分割。我们可以发现,我们和上面得到的结果不一致,既然出错了,肯定是我们的使用方式不对。看到这里我们就能感受到正则表达式的作用了,正则表达式是字符串处理的有力工具。
Python界一名小学生,热心分享编程学习。
收集整理每周优质开发者内容,包括、、等方面。每周五定期发布,同步更新到和。欢迎大家投稿,,推荐或者自荐开源项目/资源/工具/文章~
本文涉及Shell函数,Shell中的echo、printf、test命令等。
常用正则表达,包括: 密码、 手机号、 身份证、 邮箱、 中文、 车牌号、 微信号、 日期 YYYY-MM-DD hh:mm:ss、 日期 YYY-MM-DD、 十六进制颜色、 邮政编号、 用户名、 QQ号
一、python【re】的用法1、re.match函数·单一匹配-推荐指数【★★】2、re.search函数·单一匹配-推荐指数【★★★★★】3、re.findall函数·多项匹配-推荐指数【★★★★★】4、re.finditer函数·多项匹配-推荐指数【★★★★】5、re.sub函数·替换函数-推荐指数【★★★★】二、正则表达式示例·总有一款适合你1、正则表达式匹配HTML指定id/class的标签2、正则表达式匹配HTML中所有a标签中的各类属性值3、获取标签的文本值
1.借助词法分析工具Flex或Lex完成(参考网络资源)2.输入:高级语言源代码(如helloworld.c)3.输出:以二元组表示的单词符号序列。通过设计、编制、调试一个具体的词法分析程序,加深对词法分析原理的理解,并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。由于各种不同的高级程序语言中单词总体结构大致相同,基本上都可用一组正则表达式描述,所以构造这样的自动生成系统:只要给出某高级语言各类单词词法结构的一组正则表达式以及识别各类单词时词法分析程序应采取的语义动作,该系统
正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。例如:我们在写登录注册功能的时候使用的表单验证(对用户名、密码进行一些字符或长度进行限制) ===> (`匹配`) - 正则表达式还常用于过滤掉页面内容的一些敏感词汇。例如:我们平常在打游戏时候的口吐芬芳被换成了***:full_moon_with_face: ===> (`替换`) - 正则表达式从字符串中获取我们想要的特定部分。例如:我们在逛淘宝的时候在搜索框中搜索内容,会弹出很多与搜索相关的提示内容 ===> (`提取`) etc..
通过上面几个简单的示例,可以了解到常见的基础正则表达式的元字符主要包括以下几个^ 匹配输入字符串的开始位置。除非在方括号表达式中使用,表示不包含该字符集合。要匹配”^”字符本身,请使用"^"$ 匹配输入字符串的结尾位置。如果设置了RegExp对象的 Multiline属性,则"$”也匹配'n'或'r’,。要匹配”$"字符本身,请使用”$". 匹配除"rn"之外的任何单个字符 反斜杠,又叫转义字符,去除其后紧跟的元字符或通配符的特殊意义* 匹配前面的子表达式零次或多次。...
给出补充后描述 C 语言子集单词符号的正则文法,设计并实现其词法分析程序。
正则表达式(Regular Expression),又称规则表达式,它不是某个编程语言所特有的,是计算机科学的一个概念,通常被用来检索和替换符合某些规则的文本。
Python Re 正则表达式 数据匹配提取 基本使用
正则表达式:是用来描述字符串内容格式,使用它通常用于匹配一个字符串的内容是否符合格式要求
python的学习还是要多以练习为主,想要练习python的同学,推荐可以去牛客网看看,他们现在的IT题库内容很丰富,属于国内做的很好的了,而且是课程+刷题+面经+求职+讨论区分享,一站式求职学习网站,最最最重要的里面的资源全部免费!