QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combineToken

public static String combineTokens (String... tokens)

Eseguire il contrario di tokenizeLine(String) .
Dato un array di token, combinali in un'unica riga.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokenizza la stringa, suddividendola in spazi. Non si divide tra virgolette doppie consecutive non quotate.

Vedi anche tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokenizza la stringa, suddividendola in base al delimitatore specificato. Non si divide tra virgolette doppie consecutive non quotate.

Come funziona il tokenizzatore:

1. Dividi la stringa in "caratteri" dove ogni "carattere" è un carattere di escape come \" (ovvero "\\\"") o un singolo carattere reale come f (solo "f").
2. Per ogni "personaggio"
   1. Se è uno spazio, finisci un gettone a meno che non ci venga citato
   2. Se è una virgoletta, capovolgi il bit "siamo citati".
   3. Altrimenti, aggiungilo al token in costruzione
3. In EOL, in genere non abbiamo aggiunto il token finale a (tokens) ERROR(/ArrayList)
   1. Se l'ultimo "carattere" è un carattere di escape, genera un'eccezione; questo non è valido
   2. Se siamo nel mezzo di una citazione, lancia un'eccezione; questo non è valido
   3. Altrimenti, aggiungi il token finale a (token)
4. Restituisce una versione String[] di (token)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokenizza la stringa, suddividendola in spazi. Non si divide tra virgolette doppie consecutive non quotate.

Vedi anche tokenizeLine(String, String)