QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

Executa o inverso de tokenizeLine(String).
Dado um array de tokens, combine-os em uma única linha.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokeniza a string, dividindo-a em espaços. Não divide entre aspas duplas consecutivas e não citadas.

Consulte também tokenizeLine(String,String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokeniza a string, dividindo-a em espaços. Não divide entre aspas duplas consecutivas e não citadas.

Consulte também tokenizeLine(String,String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokeniza a string, dividindo-a no delimitador especificado. Não divide entre aspas duplas consecutivas, não citadas.

Como o tokenizador funciona:

1. Divide a string em "caracteres", em que cada "caractere" é um caractere de escape como \" (ou seja, "\\\"") ou um caractere real único, como f (apenas "f").
2. Para cada "caractere"
   1. Se for um espaço, conclua um token, a menos que estejamos sendo citados.
   2. Se for uma aspa, inverta o bit "estamos sendo citados".
   3. Caso contrário, adicione-o ao token que está sendo criado.
3. No final da linha, normalmente não adicionamos o token final ao `ArrayList` (tokens) ArrayList
   1. Se o último "caractere" for um caractere de escape, gere uma exceção. Isso não é válido.
   2. Se estivermos no meio de uma citação, gere uma exceção. Isso não é válido.
   3. Caso contrário, adicione o token final aos tokens.
4. Retorne uma versão String[] de tokens.