1、These directives are used to define the tokens the lexer can return.
這些指令用來(lái)定義lexer可以返回的記號(hào)。

2、KOREAN_LEXER: a lexer for extracting tokens from Korean text.
KOREAN_LEXER：一個(gè)從Korean文本在中提取標(biāo)記的lexer。

3、Why does the lexer rule for strings takes precedence over all my other rules?
為什么字符串的詞法規(guī)則優(yōu)先于我的所有其他的規(guī)則？

4、Thus, p: : RD on top of Perl 5 is a powerful parser and lexer combination.
因此，Perl5之上的P：RD是一個(gè)解析器與詞法分析器的強(qiáng)大組合。

5、How to use an Alex monadic lexer with Happy?
如何使用一個(gè)亞歷克斯一元詞法分析器與快樂(lè)嗎？

6、Whenever possible, try to develop separate tests for your lexer and your parser.
只要有可能，請(qǐng)嘗試為您的lexer和解析器開(kāi)發(fā)單獨(dú)的測(cè)試。

7、CHINESE_VGRAM: a lexer for extracting tokens from Chinese text.
CHINESE_VGRAM：一個(gè)從Chinese文本在中提取標(biāo)記的lexer。

8、JAPANESE_VGRAM: a lexer for extracting tokens from Japanese text.
JAPANESE_VGRAM：一個(gè)從Japanese文本在中提取標(biāo)記的lexer。

9、JAPANESE_LEXER: a lexer for extracting tokens from Japanese text.
JAPANESE_LEXER：一個(gè)從Japanese文本在中提取標(biāo)記的lexer。

10、It USES start states — a feature allowing the lexer to match some rules only some of the time.
它使用了start聲明——這項(xiàng)功能使lexer能夠只在一些時(shí)候去匹配某些規(guī)則。

11、A listing of supported lexer types follows.
下面是一個(gè)支持lexer類型的清單。

12、A good lexer example can help a lot with learning how to write a tokenizer.
一個(gè)好的lexer例子會(huì)非常有助于學(xué)習(xí)如何編寫斷詞器（tokenizer）。

lexer翻譯