如何在PHP中构建一个tokenizer？

我正在建立一个学习基本编程的网站,我将使用伪语言,用户可以在其中提交代码,我需要解释它.但是我不确定如何在 PHP中构建一个tokenizer.

有一个像这样的片段：

a = 1
b = 2
c = a - b

if(a > b) {
    buy(a)
    } else {
    buy(b)
    }

我该如何将这些代码分成令牌？

–

这就是我现在正在尝试的事情：

$tokens = array();

// First token (define string)
$token  = strtok($botCode,'=');
$tokens[] = $token;

// Loop
while($token) {
    $token  = strtok('=');
    $tokens[] = $token;
}

然而,我还没有弄清楚如何使用strtok与常规表达式列表…我可以做类似于strtok但是接受数组作为带有substr和strrpos的针但是在我看来它应该是可能的用strtok做的,因为它专为此而设计.任何信息或指向正确的方向将不胜感激

不要等待strtok的一些魔法.它类似于preg_split.

我认为你想建立自己的词法分析器.所以你可以使用文章Writing a simple lexer in PHP或something else.

原文地址：https://www.jb51.cc/php/133813.html