QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

Wykonaj odwrotną operację do tokenizeLine(String).
Z tablicy tokenów tworzy pojedynczą linię.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokenizuje ciąg znaków, dzieląc go na tokeny na podstawie spacji. Nie dzieli się na kolejne niesformatowane podwójne cudzysłowe.

Zobacz też tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokenizuje ciąg znaków, dzieląc go na podstawie określonego separatora. Nie dzieli się na kolejne, niepoprzedzone cudzysłowami podwójnymi znaki.

Jak działa dzielenie na tokeny:

1. Podziel ciąg znaków na „znaki”, przy czym każdy „znak” jest albo ujęty w znak modyfikacji, np. \" (czyli „\\\""), albo pojedynczym prawdziwym znakiem, np. f (tylko „f”).
2. W przypadku każdego „znaku”
   1. Jeśli jest to spacja, zakończ token, chyba że jest to cytat.
   2. Jeśli jest to cudzysłów, odwróć „jesteśmy cytowani”
   3. W przeciwnym razie dodaj go do tworzonego tokena.
3. W przypadku wersji EOL zwykle nie dodaliśmy ostatniego tokena do listy (tokenów) ERROR(/ArrayList)
   1. Jeśli ostatni „znak” jest znakiem ucieczki, zgłaszaj wyjątek; to nie jest prawidłowe
   2. Jeśli jesteśmy w środku cytatu, twórz wyjątek; to jest nieprawidłowe
   3. W przeciwnym razie dodaj ostatni token do (tokens).
4. Zwraca tablicę String[] z wartościami (tokenów).

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokenizuje ciąg znaków, dzieląc go na tokeny na podstawie spacji. Nie dzieli się na kolejne niesformatowane podwójne cudzysłowe.

Zobacz też tokenizeLine(String, String)