# Модуль токенизации Tokenizer

# Введение

Функции лексера поддерживают интерфейс ко встроенному в движок Zend Engine PHP-лексеру Tokenizer. Функции модуля помогают писать пользовательские утилиты анализа или модификации исходного PHP-кода без знания спецификации языка на лексическом уровне.

Смотрите также приложение со списком лексем.

- Установка и настройка
  - Установка
- Предопределённые константы
- Примеры
- PhpToken — Класс PhpToken
  - PhpToken::__construct — Создаёт объект PhpToken
  - PhpToken::getTokenName — Возвращает имя токена
  - PhpToken::is — Проверяет, соответствует ли токен указанному типу
  - PhpToken::isIgnorable — Сообщает, будет ли токен игнорироваться парсером PHP
  - PhpToken::__toString — Возвращает текстовое содержимое токена
  - PhpToken::tokenize — Разбирает заданную строку, содержащую программу на PHP, на массив объектов PhpToken
- Функции PHP-лексера (tokenizer)
  - token_get_all — Разбивает исходный код на PHP-лексемы
  - token_name — Получает символическое название PHP-лексемы

`↑` and `↓` to navigate • `Enter` to select • `Esc` to close • `/` to open