レクサー

レクサー: テキストがどの言語で書かれているかを識別し、テキスト内のトークンの識別方法を判別するオブジェクト。デフォルトのレクサーは英語またはその他の西欧言語用であり、トークンは空白のスペース文字(複数の場合もある)、標準の句読点文字および非英数文字によって識別され、大文字と小文字の区別はありません。

関連項目: メイン・トピック(アウトライン)