BFE.devAI解答 - JavaScript 代码题
119. 创建一个tokenizer

function* tokenize(input) {  const OPERATOR = /[+\-*/()]/;  const NUMBER = /\d/;  let tokens = "";  for (const char of input) {    if (char === " ") continue;    if (char.match(OPERATOR)) {      if (tokens !== "") {        yield tokens;        tokens = "";      }      yield char;      continue;    }    if (char.match(NUMBER)) {      tokens += char;      continue;    }  }  if (tokens !== "") {    yield tokens;  }}

判断字符是否为运算符或数字，把连续的数字拼接成一个token然后yield出去就行了。注意空格需要跳过。示例代码中用了正则表达式匹配，也可以用if语句逐个进行判断。