QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

Führen Sie den umgekehrten Vorgang von tokenizeLine(String) aus.
Fügt ein Array von Tokens in eine einzige Zeile ein.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Der String wird tokenisiert und anhand von Leerzeichen aufgeteilt. Die Funktion wird nicht zwischen aufeinanderfolgenden doppelten Anführungszeichen ohne Anführungszeichen geteilt.

Weitere Informationen finden Sie unter tokenizeLine(String, String).

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Der String wird tokenisiert und anhand des angegebenen Trennzeichens aufgeteilt. Die Funktion wird nicht zwischen aufeinanderfolgenden doppelten Anführungszeichen ohne Anführungszeichen geteilt.

So funktioniert der Tokenisierer:

1. Der String wird in „Zeichen“ aufgeteilt, wobei jedes „Zeichen“ entweder ein Escape-Zeichen wie \" (d. h. „\\\"") oder ein einzelnes echtes Zeichen wie „f“ (nur „f“) ist.
2. Für jede „Figur“
   1. Wenn es sich um einen Bindestrich handelt, beenden Sie ein Token, es sei denn, wir werden zitiert.
   2. Wenn es sich um ein Anführungszeichen handelt, ändere den Status des Bits „Wir werden zitiert“.
   3. Andernfalls fügen Sie ihn dem erstellten Token hinzu.
3. Am Ende der Lebensdauer haben wir den (tokens) ERROR(/ArrayList)-Elementen in der Regel noch kein abschließendes Token hinzugefügt.
   1. Wenn das letzte „Zeichen“ ein Escape-Zeichen ist, werfen Sie eine Ausnahme. Das ist nicht zulässig.
   2. Wenn wir mitten in einem Zitat sind, werfen wir eine Ausnahme aus, da dies nicht zulässig ist.
   3. Andernfalls fügen Sie das finale Token zu „(tokens)“ hinzu.
4. Eine String[]-Version von „tokens“ zurückgeben

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Der String wird tokenisiert und anhand von Leerzeichen aufgeteilt. Die Funktion wird nicht zwischen aufeinanderfolgenden doppelten Anführungszeichen ohne Anführungszeichen geteilt.

Siehe auch tokenizeLine(String, String)