QuoteAwareTokenizer

QuoteAwareTokenizer

public QuotationAwareTokenizer ()

combinarTokens

public static String combineTokens (String... tokens)

Realice lo contrario de tokenizeLine(String) .
Dada una serie de tokens, combínalos en una sola línea.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokeniza la cadena, dividiéndola en espacios. No se divide entre comillas dobles consecutivas y sin comillas.

Véase también tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokeniza la cadena y la divide según el delimitador especificado. No se divide entre comillas dobles consecutivas y sin comillas.

Cómo funciona el tokenizador:

1. Divida la cadena en "caracteres", donde cada "carácter" es un carácter de escape como \" (es decir, "\\\"") o un único carácter real como f (solo "f").
2. Para cada "personaje"
   1. Si es un espacio, termina un token a menos que nos citen.
   2. Si son comillas, cambie el bit "nos están citando"
   3. De lo contrario, agréguelo al token que se está creando.
3. En EOL, normalmente no hemos agregado el token final a (tokens) ERROR(/ArrayList)
   1. Si el último "carácter" es un carácter de escape, se produce una excepción; eso no es valido
   2. Si estamos en medio de una cita, lanza una excepción; eso no es valido
   3. De lo contrario, agregue el token final a (tokens)
4. Devolver una versión String[] de (tokens)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokeniza la cadena, dividiéndola en espacios. No se divide entre comillas dobles consecutivas y sin comillas.

Véase también tokenizeLine(String, String)