QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

Lakukan kebalikan dari tokenizeLine(String) .
Diberikan array token, gabungkan menjadi satu baris.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Tokenize string, membelah spasi. Tidak terbagi antara tanda kutip ganda yang berurutan dan tidak dikutip.

Lihat juga tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Membuat token string, membelah pada pembatas yang ditentukan. Tidak terbagi antara tanda kutip ganda yang berurutan dan tidak dikutip.

Cara kerja tokenizer:

1. Pisahkan string menjadi "karakter" di mana setiap "karakter" adalah karakter yang diloloskan seperti \" (yaitu, "\\\"") atau satu karakter nyata seperti f (hanya "f").
2. Untuk setiap "karakter"
   1. Jika itu spasi, selesaikan token kecuali kami sedang dikutip
   2. Jika itu adalah tanda kutip, balikkan bit "kami sedang dikutip".
   3. Jika tidak, tambahkan ke token yang sedang dibangun
3. Di EOL, kami biasanya belum menambahkan token terakhir ke (token) ERROR(/ArrayList)
   1. Jika "karakter" terakhir adalah karakter pelarian, berikan pengecualian; itu tidak valid
   2. Jika kita berada di tengah kutipan, berikan pengecualian; itu tidak valid
   3. Jika tidak, tambahkan token terakhir ke (token)
4. Mengembalikan versi String[] dari (token)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Tokenize string, membelah spasi. Tidak terbagi antara tanda kutip ganda yang berurutan dan tidak dikutip.

Lihat juga tokenizeLine(String, String)