QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

tokenizeLine(String) の逆を実行します。
指定されたトークンの配列を 1 行に結合します。

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

文字列をトークン化し、スペースで分割します。連続する引用符なしの二重引用符の間に分割されません。

tokenizeLine(String, String) もご覧ください。

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

文字列をトークン化し、スペースで分割します。連続する引用符なしの二重引用符の間に分割されません。

tokenizeLine(String, String) もご覧ください。

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

指定された区切り文字で分割して文字列をトークン化します。連続する引用符なしの二重引用符の間に分割されません。

トークン化の仕組み:

1. 文字列を「文字」に分割します。各「文字」は、\" などのエスケープ文字（つまり「\\\""）か、f などの単一の実際の文字（「f」のみ）です。
2. 各「キャラクター」について、次の手順を行います。
   1. スペースの場合は、引用符が付いていない限り、トークンを終了します。
   2. 引用符の場合は、[引用符が含まれている] をオンにします。
   3. それ以外の場合は、ビルド中のトークンに追加します。
3. 通常、EOL では、最後のトークンを（トークン）ERROR(/ArrayList) に追加していません。
   1. 最後の「文字」がエスケープ文字の場合は、例外をスローします。これは有効ではありません。
   2. 引用符の途中で例外をスローします。これは有効ではありません。
   3. それ以外の場合は、最後のトークンを（トークン）に追加します。
4. （トークン）の String[] バージョンを返します。