QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

CombineTokens

public static String combineTokens (String... tokens)

執行tokenizeLine(String)的相反操作。
給定令牌數組，將它們組合成一行。

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

標記字符串，在空格上分割。不會在連續的，雙引號引起來的雙引號之間進行分隔。

另請參見tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

標記字符串，分割指定的定界符。不會在連續的，雙引號引起來的雙引號之間進行分隔。

分詞器的工作方式：

1. 將字符串拆分為“字符”，其中每個“字符”都是轉義字符，例如\“（即“ \\\””）或單個實數字符，例如f（僅是“ f”）。
2. 對於每個“字符”
   1. 如果是空格，請完成令牌，除非被引用
   2. 如果是引號，請翻轉“我們正在被報價”位
   3. 否則，將其添加到正在構建的令牌中
3. 在EOL，我們通常沒有將最終令牌添加到（令牌） ERROR(/ArrayList)
   1. 如果最後一個“字符”是轉義字符，則拋出異常；否則，拋出異常。那是無效的
   2. 如果我們在引號中間，則拋出異常；那是無效的
   3. 否則，將最終令牌添加到（令牌）
4. 返回（令牌）的String []版本

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

標記字符串，在空格上分割。不會在連續的，雙引號引起來的雙引號之間進行分隔。

另請參見tokenizeLine(String, String)