CytatAwareTokenizer

CytatAwareTokenizer

public QuotationAwareTokenizer ()

łączyćTokeny

public static String combineTokens (String... tokens)

Wykonać odwrotność tokenizeLine(String) .
Biorąc pod uwagę tablicę tokenów, połącz je w jedną linię.

TokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

TokenizeLine

public static String[] tokenizeLine (String line)

Tokenizuje ciąg, dzieląc go na spacje. Nie dzieli się na kolejne, niecytowane podwójne cudzysłowy.

Zobacz także tokenizeLine(String, String)

TokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokenizuje ciąg, dzieląc go według określonego ogranicznika. Nie dzieli się na kolejne, niecytowane podwójne cudzysłowy.

Jak działa tokenizer:

1. Podziel ciąg na „znaki”, gdzie każdy „znak” jest znakiem ucieczki, takim jak \" (czyli „\\\"”) lub pojedynczym prawdziwym znakiem, takim jak f (po prostu „f”).
2. Za każdy „postać”
   1. Jeśli to spacja, zakończ token, chyba że jesteśmy cytowani
   2. Jeśli jest to cudzysłów, odwróć bit „jesteśmy cytowani”
   3. W przeciwnym razie dodaj go do budowanego tokena
3. Na EOL, my zazwyczaj nie dodałem końcowy token do (tokenów) ERROR(/ArrayList)
   1. Jeśli ostatni „znak” jest znakiem ucieczki, zrzuć wyjątek; to nie jest ważne
   2. Jeśli jesteśmy w środku cytatu, zrzuć wyjątek; to nie jest ważne
   3. W przeciwnym razie dodaj ostatni token do (tokeny)
4. Zwróć wersję String[] (tokeny)

TokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokenizuje ciąg, dzieląc go na spacje. Nie dzieli się na kolejne, niecytowane podwójne cudzysłowy.

Zobacz także tokenizeLine(String, String)