QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

menggabungkanToken

public static String combineTokens (String... tokens)

Lakukan kebalikan dari tokenizeLine(String) .
Array token yang diberikan, gabungkan menjadi satu baris.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokenize string, membelah pada spasi. Tidak membagi antara tanda kutip ganda berturut-turut tanpa tanda kutip.

Lihat juga tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Tokenize string, membelah pada pembatas yang ditentukan. Tidak membagi antara tanda kutip ganda berturut-turut tanpa tanda kutip.

Cara kerja tokenizer:

1. Pisahkan string menjadi "karakter" di mana setiap "karakter" adalah karakter yang lolos seperti \" (yaitu, "\\\"") atau satu karakter nyata seperti f (hanya "f").
2. Untuk setiap "karakter"
   1. Jika itu spasi, selesaikan token kecuali kita sedang dikutip
   2. Jika itu adalah tanda kutip, balikkan bit "kami sedang dikutip"
   3. Jika tidak, tambahkan ke token yang sedang dibangun
3. Pada EOL, kami biasanya belum menambahkan token akhir ke (token) ERROR(/ArrayList)
   1. Jika "karakter" terakhir adalah karakter pelarian, berikan pengecualian; itu tidak sah
   2. Jika kita berada di tengah kutipan, berikan pengecualian; itu tidak sah
   3. Jika tidak, tambahkan token terakhir ke (token)
4. Kembalikan versi String[] dari (token)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokenize string, membelah pada spasi. Tidak membagi antara tanda kutip ganda berturut-turut tanpa tanda kutip.

Lihat juga tokenizeLine(String, String)