Tokenizacja ciągów znaków w PHP
Wyrażenia regularne nie mogą być używane do obsługi bardzo złożonych ciągów znaków, które posiadają gramatykę, takich jak kod źródłowy języka programowania, adnotacje opisujące złożone typy danych dla metod, wyrażenia matematyczne, obliczenia, formuł…