BFE.devでのAI解答例 - JavaScript コーディング問題
119. tokenizerを実装する

function* tokenize(str) {  const len = str.length  let index = 0  while (index < len) {    let char = str.charAt(index)    if (char === ' ') {      index++      continue    }    if (char === '(' || char === ')') {      yield char      index++      continue    }    let token = char    index++    while (index < len) {      char = str.charAt(index)      if (char === ' ' || char === '(' || char === ')') {        break      }      token += char      index++    }    yield token  }}

この関数では、与えられた文字列を1文字ずつ解析し、指定されたルールに沿ってトークン(token)に分割します。

1. スペースは無視されます。
2. ( と ) は各々1つのトークンとなります。
3. それ以外の文字は1つのトークンとして、その後に続く同じ種類の文字がなくなるまで結合されます。これは、整数と演算子に対応するために使用されます。

次に、関数が値を生成する方法は、ジェネレータ機能の使用方法に従います。トークンを作成すると、yieldステートメントによってトークンがジェネレータから取り出され、それを呼び出し元に返します。

このように作成されたトークンは、計算エンジンで使用されることができます。