QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

Faça o inverso de tokenizeLine(String).
Dada uma matriz de tokens, combine-os em uma única linha.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokeniza a string, dividindo-a em espaços. Não divide entre aspas duplas consecutivas sem aspas e consecutivas.

Consulte também tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokeniza a string, dividindo-a em espaços. Não divide entre aspas duplas consecutivas sem aspas e consecutivas.

Consulte também tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokeniza a string, dividindo-a no delimitador especificado. Não divide entre aspas duplas consecutivas sem aspas.

Como o tokenizer funciona:

1. Divida a string em "caracteres", em que cada "caractere" é um caractere com escape, como \" (ou seja, "\\\"") ou um único caractere real, como f (apenas "f").
2. Para cada "personagem"
   1. Se for um espaço, finalize um token, a menos que esteja sendo citado
   2. Se for uma citação, inverta o bit "estamos sendo citados"
   3. Caso contrário, adicione ao token que está sendo criado
3. No EOL, normalmente não adicionamos o token final ao ERROR(/ArrayList) (tokens).
   1. Se o último "caractere" for um caractere de escape, gere uma exceção. Isso não é válido
   2. Se estivermos no meio de uma citação, gere uma exceção; isso não é válido
   3. Caso contrário, adicione o token final a (tokens).
4. Retornar uma versão String[] de (tokens)