QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combinare i token

public static String combineTokens (String... tokens)

Eseguire il contrario di tokenizeLine(String) .
Data una serie di token, combinali in un'unica riga.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokenizza la stringa, suddividendola in spazi. Non divide tra virgolette consecutive non quotate.

Vedere anche tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokenizza la stringa, suddividendola in base al delimitatore specificato. Non divide tra virgolette consecutive non quotate.

Come funziona il tokenizzatore:

1. Dividi la stringa in "caratteri" dove ogni "carattere" è un carattere di escape come \" (ovvero "\\\"") o un singolo carattere reale come f (solo "f").
2. Per ogni "personaggio"
   1. Se è uno spazio, finisci un token a meno che non venga citato
   2. Se è una virgoletta, capovolgi il bit "siamo stati citati"
   3. Altrimenti, aggiungilo al token in costruzione
3. A EOL, di solito non abbiamo aggiunto il token finale al (gettoni) ERROR(/ArrayList)
   1. Se l'ultimo "carattere" è un carattere di escape, lancia un'eccezione; non è valido
   2. Se siamo nel mezzo di una citazione, lancia un'eccezione; non è valido
   3. Altrimenti, aggiungi il token finale a (token)
4. Restituisce una versione String[] di (token)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokenizza la stringa, suddividendola in spazi. Non divide tra virgolette consecutive non quotate.

Vedere anche tokenizeLine(String, String)