QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

Führen Sie das Gegenteil von tokenizeLine(String) aus.
Fassen Sie die Tokens bei einem Array in einer Zeile zusammen.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokenisiert den String und unterteilt ihn nach Leerzeichen. Die Funktion wird nicht zwischen aufeinanderfolgenden doppelten Anführungszeichen ohne Anführungszeichen geteilt.

Siehe auch tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Der String wird tokenisiert und anhand von Leerzeichen aufgeteilt. Die Funktion wird nicht zwischen aufeinanderfolgenden doppelten Anführungszeichen ohne Anführungszeichen geteilt.

Siehe auch tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Der String wird tokenisiert und anhand des angegebenen Trennzeichens aufgeteilt. Die Funktion wird nicht zwischen aufeinanderfolgenden doppelten Anführungszeichen ohne Anführungszeichen geteilt.

So funktioniert der Tokenisierer:

1. Teilen Sie den String in „Zeichen“ auf, wobei jedes „Zeichen“ entweder ein umgeschriebenes Zeichen wie „\“ (also „\\“) oder ein einzelnes reelles Zeichen wie „f“ (nur „f“) ist.
2. Für jede „Figur“
   1. Wenn es sich um einen Bindestrich handelt, beenden Sie ein Token, es sei denn, wir werden zitiert.
   2. Wenn es sich um ein Anführungszeichen handelt, ändere den Status des Bits „Wir werden zitiert“.
   3. Andernfalls fügen Sie sie dem zu erstellenden Token hinzu.
3. Am Ende der Lebensdauer haben wir den (Tokens) ERROR(/ArrayList)
   1. Wenn das letzte „Zeichen“ ein Escape-Zeichen ist, werfen Sie eine Ausnahme. Das ist nicht zulässig.
   2. Wenn wir mitten in einem Zitat sind, werfen wir eine Ausnahme aus, da dies nicht zulässig ist.
   3. Andernfalls fügen Sie das finale Token zu „(tokens)“ hinzu.
4. String[]-Version von (Tokens) zurückgeben