QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combinatiToken

public static String combineTokens (String... tokens)

Esegui l'inversione di tokenizeLine(String).
Data l'array di token, combinali in un'unica riga.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokenizza la stringa, suddividendola in base agli spazi. Non viene suddiviso tra virgolette consecutive senza virgolette tra virgolette.

Vedi anche tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokenizza la stringa, suddividendola in base al delimitatore specificato. Non viene suddiviso tra segmenti tra virgolette doppie senza virgolette.

Come funziona il tokenizzatore:

1. Suddividi la stringa in "caratteri" dove ogni "carattere" è una sequenza di escape come \" (ovvero "\\\"") o un singolo carattere reale come f (solo "f").
2. Per ogni "carattere"
   1. Se si tratta di uno spazio, completa un token a meno che non venga citato
   2. Se è una virgoletta, capovolgi la frase "Siamo stati citati" punta
   3. In caso contrario, aggiungilo al token in fase di creazione.
3. Durante la fine del ciclo di vita, in genere non abbiamo aggiunto il token finale ai (token) ERROR(/ArrayList)
   1. Se l'ultimo "carattere" è un carattere di escape, genera un'eccezione; non è valida
   2. Se ci troviamo in una citazione, genera un'eccezione; non è valido
   3. In caso contrario, aggiungi il token finale a (token)
4. Restituisce una versione String[] di (token)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokenizza la stringa, suddividendola in base agli spazi. Non viene suddiviso tra virgolette consecutive senza virgolette tra virgolette.

Vedi anche tokenizeLine(String, String)