QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

Esegui l'operazione inversa di tokenizeLine(String).
Dato un array di token, combinali in una singola riga.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokenizza la stringa, dividendola in base agli spazi. Non viene suddiviso tra virgolette doppie consecutive senza virgolette.

Vedi anche tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokenizza la stringa, dividendola in base al delimitatore specificato. Non viene suddiviso tra virgolette doppie consecutive senza virgolette.

Come funziona lo tokenizer:

1. Dividi la stringa in "caratteri", dove ogni "carattere" è un carattere interpretato come \" (ovvero "\\\"") o un singolo carattere reale come f (solo "f").
2. Per ogni "personaggio":
   1. Se si tratta di uno spazio, completa un token, a meno che non si tratti di una citazione
   2. Se si tratta di un apostrofo, attiva l'opzione "Ci stanno citando"
   3. In caso contrario, aggiungilo al token in fase di creazione
3. Al termine del ciclo di vita, in genere non viene aggiunto il token finale a (tokens) ERROR(/ArrayList)
   1. Se l'ultimo "carattere" è un carattere di escape, viene lanciata un'eccezione, il carattere non è valido
   2. Se siamo nel mezzo di una citazione, viene lanciata un'eccezione; non è valido
   3. In caso contrario, aggiungi il token finale a (tokens)
4. Restituisce una versione String[] di (token)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokenizza la stringa, dividendola in base agli spazi. Non viene suddiviso tra virgolette doppie consecutive senza virgolette.

Vedi anche tokenizeLine(String, String)