CotizaciónAwareTokenizer

CotizaciónAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

Realizar el reverso de tokenizeLine(String) .
Dada la variedad de tokens, combínelos en una sola línea.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokeniza la cadena, dividiéndola en espacios. No se divide entre comillas dobles consecutivas sin comillas.

Ver también tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokeniza la cadena, dividiéndola en el delimitador especificado. No se divide entre comillas dobles consecutivas sin comillas.

Cómo funciona el tokenizador:

1. Divida la cadena en "caracteres" donde cada "carácter" sea un carácter de escape como \ "(es decir," \\\ "") o un único carácter real como f (solo "f").
2. Para cada "personaje"
   1. Si es un espacio, termine un token a menos que nos coticen
   2. Si es una comilla, mueva el bit "nos están citando"
   3. De lo contrario, agréguelo al token que se está construyendo.
3. En EOL, por lo general no hemos añadido el token final al (tokens) ERROR(/ArrayList)
   1. Si el último "carácter" es un carácter de escape, lanza una excepción; eso no es válido
   2. Si estamos en medio de una cita, lanza una excepción; eso no es válido
   3. De lo contrario, agregue el token final a (tokens)
4. Devuelve una versión String [] de (tokens)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokeniza la cadena, dividiéndola en espacios. No se divide entre comillas dobles consecutivas sin comillas.

Ver también tokenizeLine(String, String)