Mes Lexers

J'ai créé trois différents lexers depuis une même base, ils utilisent soit :

Performance

Elle est mesurée et comparée sur deux méthodes :

readToken: vitesse de lecture des tokens pour un lexer.
scan: comparaison de la vitesse de lecture totale des lexers.

L'équivalence des résultats des analyses lexicales est comparée afin d'assurer des mesures dans des conditions identiques.

La performance est dépendante de l'objet retourné par la fonction Lexeme.

Caractéristiques

Parcours du texte une et une seule fois.
Détection du début d'un token parent avec imbrication de token enfant.
Détection de fin d'un token parent et finalisation du parent.
Réalisation d'un double scannage d'un token, à éviter si possible.
Calcul des numéros de ligne des tokens (début et fin).
Utilisation d'une liste d'objets pour reconnaître les tokens.
Utilisation d'une liste de règles pour reconnaître les syntaxes.
ATTENTION: Premier objet arrivé, premier objet trouvé.
1. Un ordre est requis (mots clés avant identifiant, ...)
2. Les objets trouvés le plus souvant doivent être classés en tête : amélioration des performances.
Contrôle optionnel du token précédant.
Omission de certains tokens du résultat.
Affectation de classes css au tokens.
Renommage possible des noms de token.
Analyse partielle pour les éditeurs de texte.

Ils réalisent une analyse à plusieurs niveaux: un arbre lexical est créé et non pas une liste.
L'avantage de cette approche est la simplification des grammaires de l'analyse syntaxique.

Si vous recherchez un lexer retournant une liste de tokens, consultez le site d'Eli Bendersky, il pourra vous être utile :

Observations

Lexer	Tokens	Portée	Vitesse	Taille modules	Observations
AutomatonLexer	AFD	1..n	moyenne	énormes	Plus long token retourné.
Les AFD doivent-être précalculés : Chaque ER transformé en AFD Les AFD sont ensuite aggrégés entre eux afin d'en obtenir plus qu'un! Le défaut: il est parfois préférable d'utiliser plusieurs AFD au lieu d'un. La taille de l'automate résultat peut être énorme ! La création de l'AFD prend beaucoup de temps.
MultiRegExpLexer	ER	1..1	lente	normal	Premier token arrivé, premier servi.
L'ordre des ER est important. Première arrivée, première trouvée ! Les ER les plus souvant rencontrés doivent être montée dans les premières position pour une performance optimisée.
OneRegExpLexer	ER	1..n	rapide	normal	Plus long token retourné, par défaut. Puis premier token arrivé, premier servi.
Une seule grande ER est créée pour reconnaître tous les tokens. Les défauts: Quand un mot est trouvé il faut déterminé son type. Pour cela il faut réaliser une boucle! Quand le token trouvé est incompatible avec le token précédant, il faut réaliser une boucle avec les definitions de chaque token pour trouver un autre résultat. L'ordre des ER est important. Première arrivée, première trouvée ! Les ER les plus souvant rencontrés doivent être montée dans les premières position pour une performance optimisée.