# Tokenizer

# はじめに

tokenizer 関数は、Zend Engine に組み込まれた PHP tokenizer へのインターフェイスを提供します。以下の関数により、 字句解析レベルの言語処理を行うことなく、 PHP ソースを解析/修正するツールを作成することが可能となります。

トークンに関する付録も参照ください。

- インストール/設定
  - インストール手順
- 定義済み定数
- 例
- PhpToken — PhpToken クラス
  - PhpToken::__construct — 新しい PhpToken オブジェクトを返す
  - PhpToken::getTokenName — トークンの名前を返す
  - PhpToken::is — 指定された種類のトークンかを調べる
  - PhpToken::isIgnorable — トークンがPHPパーサーから無視されるかを調べる
  - PhpToken::__toString — トークンの文字列表現を返す
  - PhpToken::tokenize — ソースコードを PhpToken オブジェクトで表現されたトークンに分割する
- Tokenizer 関数
  - token_get_all — 指定したソースを PHP トークンに分割する
  - token_name — 指定した PHP トークンのシンボル名を取得する

`↑` and `↓` to navigate • `Enter` to select • `Esc` to close • `/` to open