QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

Execute o reverso de tokenizeLine(String) .
Dado um conjunto de tokens, combine-os em uma única linha.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokeniza a string, dividindo em espaços. Não se divide entre aspas duplas consecutivas e sem aspas.

Veja também tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokeniza a string, dividindo no delimitador especificado. Não se divide entre aspas duplas consecutivas e sem aspas.

Como funciona o tokenizer:

1. Divida a string em "caracteres" onde cada "caractere" é um caractere de escape como \ "(ou seja," \\\ "") ou um único caractere real como f (apenas "f").
2. Para cada "personagem"
   1. Se for um espaço, termine um token, a menos que estejamos sendo citados
   2. Se for uma aspa, vire a parte "estamos sendo citados"
   3. Caso contrário, adicione-o ao token que está sendo construído
3. No EOL, normalmente não adicionamos o token final ao (tokens) ERROR(/ArrayList)
   1. Se o último "caractere" for um caractere de escape, lance uma exceção; isso não é válido
   2. Se estivermos no meio de uma citação, lance uma exceção; isso não é válido
   3. Caso contrário, adicione o token final a (tokens)
4. Retorne uma versão String [] de (tokens)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokeniza a string, dividindo em espaços. Não se divide entre aspas duplas consecutivas e sem aspas.

Veja também tokenizeLine(String, String)