QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

menggabungkanToken

public static String combineTokens (String... tokens)

Lakukan kebalikan dari tokenizeLine(String).
Dengan mempertimbangkan array token, gabungkan menjadi satu baris.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Membuat token string, dengan memisahkan spasi. Tidak dipisahkan antara berturut-turut, tanpa tanda kutip tanda kutip ganda.

Lihat juga tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Membuat token string, yang memisahkan pada pembatas yang ditentukan. Tidak dipisah antara berturut-turut, tanda kutip ganda tanpa tanda kutip.

Cara kerja tokenizer:

1. Bagi string menjadi "karakter" di mana setiap “karakter” dapat berupa escape karakter seperti \" (yaitu, "\\\"") atau satu karakter nyata seperti f (hanya "f").
2. Untuk setiap "karakter"
   1. Jika berupa spasi, selesaikan token kecuali kita sedang dikutip
   2. Jika itu tanda kutip, balikkan "kita sedang dikutip" mata bor
   3. Atau, tambahkan ke token yang sedang dibuat
3. Di EOL, kami biasanya belum menambahkan token akhir ke (token) ERROR(/ArrayList)
   1. Jika "karakter" terakhir adalah karakter escape, tampilkan pengecualian; itu bukan valid
   2. Jika kita berada di tengah tanda kutip, berikan pengecualian; itu tidak valid
   3. Jika tidak, tambahkan token akhir ke (token)
4. Menampilkan versi String[] dari (token)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Membuat token string, dengan memisahkan spasi. Tidak dipisahkan antara berturut-turut, tanpa tanda kutip tanda kutip ganda.

Lihat juga tokenizeLine(String, String)