QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

combineTokens

public static String combineTokens (String... tokens)

Lakukan kebalikan dari tokenizeLine(String).
Dengan array token yang diberikan, gabungkan token tersebut menjadi satu baris.

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim)

tokenizeLine

public static String[] tokenizeLine (String line)

Membuat token string, yang dipisahkan spasi. Tidak memisahkan antara tanda kutip ganda berturut-turut tanpa tanda kutip.

Lihat juga tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                boolean logging)

Membuat token string, yang dipisahkan spasi. Tidak memisahkan antara tanda kutip ganda yang berurutan tanpa tanda kutip.

Lihat juga tokenizeLine(String, String)

tokenizeLine

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

Membuat token string, yang dipisahkan pada pemisah yang ditentukan. Tidak memisahkan antara tanda kutip ganda berturut-turut tanpa tanda kutip.

Cara kerja pemisah kata:

1. Pisahkan string menjadi "karakter" dengan setiap "karakter" berupa karakter yang di-escape seperti \" (yaitu, "\\\"") atau satu karakter nyata seperti f (hanya "f").
2. Untuk setiap "karakter"
   1. Jika berupa spasi, selesaikan token kecuali kita sedang dikutip
   2. Jika itu adalah tanda kutip, balik bit "kita sedang dikutip"
   3. Jika tidak, tambahkan ke token yang sedang dibuat
3. Pada EOL, biasanya kami belum menambahkan token akhir ke (token) ERROR(/ArrayList)
   1. Jika "karakter" terakhir adalah karakter escape, berikan pengecualian; itu tidak valid
   2. Jika kita berada di tengah kutipan, tampilkan pengecualian; yang tidak valid
   3. Jika tidak, tambahkan token akhir ke (token)
4. Menampilkan versi String[] dari (token)