.net – 可以处理机器生成的正则表达式的正则表达式实现:*无回溯*,O(n)?

编辑2:为了一个实际的演示,为什么这仍然是重要的,看起来不超过 stackoverflow’s own regex-caused outage today (2016-07-20)

编辑:自从我第一次问到这个问题以来,这个问题已经有了很大的看到下面两个快速兼容但不完全功能齐全的实现.如果你知道更多或更好的实现,请提及它们,这里还没有一个理想的实现!

在哪里可以找到可靠的快速Regex实现?

有没有人知道正常的非回溯(System.Text.RegularExpressions回溯)线性时间正则表达式实现,对于.NET或本机,可从.NET中合理使用?为了有用,需要:

>具有O(m * n)的正则表达式估计的最差情况时间复杂度,其中m是正则表达式的长度,n是输入的长度.
>具有O(n)的正常时间复杂度,因为几乎没有正则表达式实际上触发指数状态空间,或者如果它们可以,则仅在输入的一小段子集上这样做.
>具有合理的施工速度(即没有潜在的指数型DFA)
>意图供人类使用,而不是数学家使用.我不想重新实现unicode字符类:.NET或PCRE样式字符类是一个加号.

奖金积分:

如果实现了基于堆栈的功能,它可以以消耗O(n m)存储器而不是O(m)存储器为代价处理嵌套来实现实惠的积分.
>获取子表达式或替换的奖励积分(如果存在指数数量的可能的子表达式匹配,则枚举所有这些都是固有的指数级 – 但是枚举前几个不应该是,并且类似地替换).您可以通过使用其他功能删除任一功能,因此使用任一功能就足够了.
>将正则表达式视为第一类值的很多奖励积分(因此,您可以采用联合,交集,并置,否定 – 特别是否定和交集,因为这些非常难以通过字符串操作正则表达式定义)
>懒惰的匹配,即在无限流上进行匹配,而不把它全部放在内存中是一个加号.如果流不支持搜索,则在单次通过中不会(通常)捕获子表达式和/或替换.
>反向引用,它们根本不可靠;即可以在病理输入情况下始终呈现指数行为.

在这样的算法(这是基本的自动机理论…) – 但是有什么实用的实现可以从.NET访问?

背景:(你可以跳过这个)

我喜欢使用Regex进行快速和脏的文本清理,但是我一再遇到问题,perl / java / python / .NET使用的常见回溯NFA实现显示指数行为.不幸的是,一旦开始自动生成正则表达式,这些情况就很容易触发.当您在正确的匹配相同的前缀之间进行交替时,即使非指数性能也会变得非常差 – 例如,在一个非常基本的例子中,如果您使用字典并将其转换为正则表达式,则会导致可怕的性能.

快速了解为什么更好的实现存在并且自60年代以来,请参阅Regular Expression Matching Can Be Simple And Fast.

不太实用的选择:

>几乎理想:FSA toolkit.可以将正则表达式编译成DFA的NFA的快速C实现,也允许传感器(!)具有包含交叉和参数化语法的一级正则表达式(封装yay!).但它是在prolog …(为什么这种实用功能的东西在主流语言中不可用)
>快速但不切实际:一个完整​​的解析器,如优秀的ANTLR通常支持可靠的快速正则表达式.然而,antlr的语法更加冗长,当然也允许不能生成有效解析器的构造,因此您需要找到一些安全的子集.

良好的实施:

> RE2一个谷歌开源库,旨在合理的PCRE兼容性减去反向引用.笔者认为这是plan9的正则表达式lib的unix端口的继承者.
> TRE – 大多与PCRE兼容,甚至反向引用,尽管使用那些您失去速度保证.它有一个大型的近似匹配模式!

不幸的是,两个实现都是C,并且需要从.NET使用互操作.

首先,你的建议是可能的,你当然知道你的主题.您还知道,不使用反向引用实现的权衡是内存.如果您足够控制您的环境,这可能是一个合理的方法.

在继续之前,我唯一要评论的是我鼓励你质疑使用RegEx的选择.你显然更熟悉你的具体问题,你想解决什么,只有你能回答这个问题.我不认为ANTLR是一个很好的选择;然而,家庭酿造规则引擎(如果范围有限)可以高度调整您的具体需求.这一切都取决于你的具体问题.

对于那些读这个和“缺点”的人来说,这是一些背景阅读:

> Regular Expression Matching Can Be Simple And Fast

从同一个网站,有一些实现linked on this page.

上述文章的整个讨论的要点是,最好的答案是使用两者.为此,我所知道的唯一广泛使用的实现是TCL语言所使用的实现.据我所知,这是最初由亨利·斯潘塞(Henry Spencer)编写的,它采用了这种混合方式.尽管我不知道有哪些广泛使用,但已经尝试将其移植到c库中. Walter Waldo和Thomas Lackner’s都被提到和linked here.还提到了boost library虽然我不确定的实现.您还可以查看TCL代码本身(从their site链接)并从那里工作.

总之,我会和TREPlan 9一起去,因为这两个都是积极的支持.

显然这些都不是C#/ .Net,我不知道是哪一个.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


正则替换html代码中img标签的src值在开发富文本信息在移动端展示的项目中,难免会遇到后台返回的标签文本信息中img标签src属性按照相对或者绝对路径返回的形式,类似:<img src="qinhancity/v1.0.0/ima
正则表达式
AWK是一种处理文本文件的语言,是一个强大的文件分析工具。它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描,过滤,统计汇总等工作,数据可以来自标准输入也可以是管道或文件。当读到第一行时,匹配条件,然后执行指定动作,在接着读取第二行数据处理,不会默认输出。如果没有定义匹配条件,则是默认匹配所有数据行,awk隐含循环,条件匹配多少次,动作就会执行多少次。逐行读取文本,默认以空格或tab键为分割符进行分割,将分割所得的各个字段,保存到内建变量中,并按模式或或条件执行编辑命令。与sed工作原理相比:s
正则表达式是特殊的字符序列,利用事先定义好的特定字符以及他们的组合组成了一个规则,然后检查一个字符串是否与这种规则匹配来实现对字符的过滤或匹配。我们刚才在学习正则表达式的时候,我们表示数字,字母下划线的时候是用w表示的,为什么我们在书写的时候用的是w?我们可以发现我们分割空格的话,并没有达到我们预期的效果,这里我们可以使用正则表达式的方式进行分割。我们可以发现,我们和上面得到的结果不一致,既然出错了,肯定是我们的使用方式不对。看到这里我们就能感受到正则表达式的作用了,正则表达式是字符串处理的有力工具。
Python界一名小学生,热心分享编程学习。
收集整理每周优质开发者内容,包括、、等方面。每周五定期发布,同步更新到和。欢迎大家投稿,,推荐或者自荐开源项目/资源/工具/文章~
本文涉及Shell函数,Shell中的echo、printf、test命令等。
常用正则表达,包括: 密码、 手机号、 身份证、 邮箱、 中文、 车牌号、 微信号、 日期 YYYY-MM-DD hh:mm:ss、 日期 YYY-MM-DD、 十六进制颜色、 邮政编号、 用户名、 QQ号
一、python【re】的用法1、re.match函数·单一匹配-推荐指数【★★】2、re.search函数·单一匹配-推荐指数【★★★★★】3、re.findall函数·多项匹配-推荐指数【★★★★★】4、re.finditer函数·多项匹配-推荐指数【★★★★】5、re.sub函数·替换函数-推荐指数【★★★★】二、正则表达式示例·总有一款适合你1、正则表达式匹配HTML指定id/class的标签2、正则表达式匹配HTML中所有a标签中的各类属性值3、获取标签的文本值
1.借助词法分析工具Flex或Lex完成(参考网络资源)2.输入:高级语言源代码(如helloworld.c)3.输出:以二元组表示的单词符号序列。通过设计、编制、调试一个具体的词法分析程序,加深对词法分析原理的理解,并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。由于各种不同的高级程序语言中单词总体结构大致相同,基本上都可用一组正则表达式描述,所以构造这样的自动生成系统:只要给出某高级语言各类单词词法结构的一组正则表达式以及识别各类单词时词法分析程序应采取的语义动作,该系统
正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。例如:我们在写登录注册功能的时候使用的表单验证(对用户名、密码进行一些字符或长度进行限制) ===> (`匹配`) - 正则表达式还常用于过滤掉页面内容的一些敏感词汇。例如:我们平常在打游戏时候的口吐芬芳被换成了***:full_moon_with_face: ===> (`替换`) - 正则表达式从字符串中获取我们想要的特定部分。例如:我们在逛淘宝的时候在搜索框中搜索内容,会弹出很多与搜索相关的提示内容 ===> (`提取`) etc..
通过上面几个简单的示例,可以了解到常见的基础正则表达式的元字符主要包括以下几个^ 匹配输入字符串的开始位置。除非在方括号表达式中使用,表示不包含该字符集合。要匹配”^”字符本身,请使用"^"$ 匹配输入字符串的结尾位置。如果设置了RegExp对象的 Multiline属性,则"$”也匹配'n'或'r’,。要匹配”$"字符本身,请使用”$". 匹配除"rn"之外的任何单个字符 反斜杠,又叫转义字符,去除其后紧跟的元字符或通配符的特殊意义* 匹配前面的子表达式零次或多次。...
给出补充后描述 C 语言子集单词符号的正则文法,设计并实现其词法分析程序。
正则表达式(Regular Expression),又称规则表达式,它不是某个编程语言所特有的,是计算机科学的一个概念,通常被用来检索和替换符合某些规则的文本。
Python Re 正则表达式 数据匹配提取 基本使用
正则表达式:是用来描述字符串内容格式,使用它通常用于匹配一个字符串的内容是否符合格式要求
python的学习还是要多以练习为主,想要练习python的同学,推荐可以去牛客网看看,他们现在的IT题库内容很丰富,属于国内做的很好的了,而且是课程+刷题+面经+求职+讨论区分享,一站式求职学习网站,最最最重要的里面的资源全部免费!