QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

組合代幣

public static String combineTokens (String... tokens)

執行tokenizeLine(String)的反向操作。
給定標記數組，將它們組合成一行。

分詞線

public static String[] tokenizeLine (String line, 
                String delim)

分詞線

public static String[] tokenizeLine (String line)

標記字符串，按空格拆分。不在連續的、不帶引號的雙引號之間拆分。

另見tokenizeLine(String, String)

分詞線

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

標記字符串，按指定的分隔符拆分。不在連續的、不帶引號的雙引號之間拆分。

分詞器如何工作：

1. 將字符串拆分為“字符”，其中每個“字符”要么是一個轉義字符，如 \"（即“\\\”），要么是單個真實字符，如 f（只是“f”）。
2. 對於每個“字符”
   1. 如果它是一個空格，除非我們被引用，否則完成一個令牌
   2. 如果是引號，請翻轉“我們被引用”位
   3. 否則，將其添加到正在構建的令牌中
3. 在 EOL，我們通常沒有將最終令牌添加到 (tokens) ERROR(/ArrayList)
   1. 如果最後一個“字符”是轉義字符，則拋出異常；那是無效的
   2. 如果我們在引用中間，拋出一個異常；那是無效的
   3. 否則，將最終標記添加到 (tokens)
4. 返回 (tokens) 的 String[] 版本

分詞線

public static String[] tokenizeLine (String line, 
                boolean logging)

標記字符串，按空格拆分。不在連續的、不帶引號的雙引號之間拆分。

另見tokenizeLine(String, String)