As funções de tokenizer formam uma interface para o tokenizer do PHP embutido no Motor Zend. Usando essas funções você pode escrever ferramentas próprias para análise e modificação de código PHP sem ter que lidar com a especificação da linguagem em um nível léxico.
Veja também o apêndice sobre tokens.