Lexer: Objekt, mit dem identifiziert wird, in welcher Sprache der Text abgefasst ist, und mit dem bestimmt wird, wie Token in dem Text identifiziert sind. Der Standard-Lexer ist für Englisch oder andere westeuropäische Sprachen ausgelegt, wobei Token durch Leerzeichen, Standardsatzzeichen und nichtalphanumerische Zeichen identifiziert werden und die Berücksichtigung der Groß-/Kleinschreibung deaktiviert ist.
Siehe auch: Hauptthemen (Gliederung)