QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combinar tokens

public static String combineTokens (String... tokens)

Realice el reverso de tokenizeLine(String) .
Dado el conjunto de tokens, combínelos en una sola línea.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokeniza la cadena, dividiéndola en espacios. No se divide entre comillas dobles consecutivas y sin comillas.

Véase también tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokeniza la cadena, dividiéndola en el delimitador especificado. No se divide entre comillas dobles consecutivas y sin comillas.

Cómo funciona el tokenizador:

1. Divida la cadena en "caracteres", donde cada "carácter" es un carácter escapado como \" (es decir, "\\\"") o un solo carácter real como f (solo "f").
2. Para cada "personaje"
   1. Si es un espacio, termine un token a menos que nos cite
   2. Si son comillas, cambia el bit "nos están citando".
   3. De lo contrario, agréguelo al token que se está construyendo.
3. En EOL, normalmente no hemos agregado el token final al ERROR(/ArrayList)
   1. Si el último "carácter" es un carácter de escape, lanza una excepción; eso no es valido
   2. Si estamos en medio de una cita, lanza una excepción; eso no es valido
   3. De lo contrario, agregue el token final a (tokens)
4. Devuelve una versión de String[] de (tokens)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokeniza la cadena, dividiéndola en espacios. No se divide entre comillas dobles consecutivas y sin comillas.

Véase también tokenizeLine(String, String)