উদ্ধৃতি টোকেনাইজার

উদ্ধৃতি টোকেনাইজার

public QuotationAwareTokenizer ()

টোকেন একত্রিত করুন

public static String combineTokens (String... tokens)

এর বিপরীত সঞ্চালন tokenizeLine(String) ।
টোকেনগুলির অ্যারে দেওয়া, সেগুলিকে একক লাইনে একত্রিত করুন।

টোকেনাইজ লাইন

public static String[] tokenizeLine (String line, 
                String delim)

টোকেনাইজ লাইন

public static String[] tokenizeLine (String line)

স্ট্রিংকে টোকেনাইজ করে, স্পেসে বিভক্ত করে। পরপর, উদ্ধৃত দ্বৈত-উদ্ধৃতি চিহ্নের মধ্যে বিভক্ত হয় না।

আরও দেখুন tokenizeLine(String, String)

টোকেনাইজ লাইন

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

স্ট্রিংকে টোকেনাইজ করে, নির্দিষ্ট ডেলিমিটারে বিভক্ত করে। পরপর, উদ্ধৃত দ্বৈত-উদ্ধৃতি চিহ্নের মধ্যে বিভক্ত হয় না।

টোকেনাইজার কিভাবে কাজ করে:

1. স্ট্রিংটিকে "অক্ষরে" বিভক্ত করুন যেখানে প্রতিটি "অক্ষর" হয় an "(অর্থাৎ," \\\ "") অথবা f (যেমন "f") এর মতো একটি বাস্তব চরিত্র।
2. প্রতিটি "চরিত্র" এর জন্য
   1. যদি এটি একটি স্থান হয়, একটি টোকেন শেষ করুন যদি না আমাদের উদ্ধৃত করা হয়
   2. যদি এটি একটি উদ্ধৃতি চিহ্ন হয়, "আমাদের উদ্ধৃত করা হচ্ছে" বিটটি উল্টে দিন
   3. অন্যথায়, এটি নির্মিত টোকেন যোগ করুন
3. EOL এ, আমরা সাধারণত (টোকেন) যুক্ত করেন নি চূড়ান্ত টোকেন ERROR(/ArrayList)
   1. যদি শেষ "অক্ষর" একটি পালানোর চরিত্র হয়, একটি ব্যতিক্রম নিক্ষেপ; এটা বৈধ নয়
   2. যদি আমরা একটি উদ্ধৃতি মাঝখানে, একটি ব্যতিক্রম নিক্ষেপ; এটা বৈধ নয়
   3. অন্যথায়, চূড়ান্ত টোকেন (টোকেন) যোগ করুন
4. (টোকেন) এর একটি স্ট্রিং [] সংস্করণ ফিরিয়ে দিন

টোকেনাইজ লাইন

public static String[] tokenizeLine (String line, 
                boolean logging)

স্ট্রিংকে টোকেনাইজ করে, স্পেসে বিভক্ত করে। পরপর, উদ্ধৃত দ্বৈত-উদ্ধৃতি চিহ্নের মধ্যে বিভক্ত হয় না।

আরও দেখুন tokenizeLine(String, String)