CitationAwareTokenizer

CitationAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

Effectuez l'inverse de tokenizeLine(String) .
Compte tenu du tableau de jetons, combinez-les en une seule ligne.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokénise la chaîne, en divisant les espaces. Ne divise pas entre des guillemets doubles consécutifs sans guillemets.

Voir aussi tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokénise la chaîne, en la divisant sur le délimiteur spécifié. Ne divise pas entre des guillemets doubles consécutifs sans guillemets.

Comment fonctionne le tokenizer :

1. Divisez la chaîne en "caractères" où chaque "caractère" est soit un caractère échappé comme \" (c'est-à-dire "\\\"") ou un seul caractère réel comme f (juste "f").
2. Pour chaque "personnage"
   1. Si c'est un espace, terminez un jeton à moins que nous ne soyons cités
   2. S'il s'agit d'un guillemet, retournez le bit "nous sommes cités"
   3. Sinon, ajoutez-le au jeton en cours de construction
3. Chez EOL, nous n'avons généralement pas ajouté le jeton final au (jetons) ERROR(/ArrayList)
   1. Si le dernier "caractère" est un caractère d'échappement, lancez une exception ; ce n'est pas valide
   2. Si nous sommes au milieu d'une citation, lancez une exception ; ce n'est pas valide
   3. Sinon, ajoutez le jeton final à (tokens)
4. Renvoie une version String[] de (tokens)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokénise la chaîne, en divisant les espaces. Ne divise pas entre des guillemets doubles consécutifs sans guillemets.

Voir aussi tokenizeLine(String, String)