# Tokenizer

# Einführung

Die Tokenizer-Funktionen bieten eine Schnittstelle zum in der Zend-Engine integrierten PHP-Tokenizer. Mit Hilfe dieser Funktionen ist es möglich, eigene Werkzeuge zur Analyse oder Modifikation von PHP-Quellcode zu entwickeln, ohne sich mit der Sprachspezifikation auf lexikalischer Ebene auseinandersetzen zu müssen.

Siehe auch Anhang zu Token.

- Installation/Konfiguration
  - Installation
- Vordefinierte Konstanten
- Beispiele
- PhpToken — The PhpToken class
  - PhpToken::__construct — Returns a new PhpToken object
  - PhpToken::getTokenName — Returns the name of the token.
  - PhpToken::is — Tells whether the token is of given kind.
  - PhpToken::isIgnorable — Tells whether the token would be ignored by the PHP parser.
  - PhpToken::__toString — Returns the textual content of the token.
  - PhpToken::tokenize — Splits given source into PHP tokens, represented by PhpToken objects.
- Tokenizer Funktionen
  - token_get_all — Spaltet angegebenen PHP-Quelltext in PHP-Token auf
  - token_name — Gibt Bezeichner für ein PHP-Token zurück

`↑` and `↓` to navigate • `Enter` to select • `Esc` to close • `/` to open