QuotationAwareTokenizer

QuotationAwareTokenizer

public QuotationAwareTokenizer ()

결합 토큰

public static String combineTokens (String... tokens)

의 역 수행 tokenizeLine(String) .
주어진 토큰 배열을 한 줄로 결합합니다.

토큰화 라인

public static String[] tokenizeLine (String line, 
                String delim)

토큰화 라인

public static String[] tokenizeLine (String line)

공백으로 분할하여 문자열을 토큰화합니다. 인용되지 않은 연속적인 큰따옴표 사이를 나누지 않습니다.

참조 tokenizeLine(String, String)

토큰화 라인

public static String[] tokenizeLine (String line, 
                String delim, 
                boolean logging)

지정된 구분 기호로 분할하여 문자열을 토큰화합니다. 인용되지 않은 연속적인 큰따옴표 사이를 나누지 않습니다.

토크나이저의 작동 방식:

1. 문자열을 "문자"로 분할합니다. 여기서 각 "문자"는 \"와 같은 이스케이프된 문자(즉, "\\\"")이거나 f와 같은 단일 실제 문자(단지 "f")입니다.
2. 각 "캐릭터"에 대해
   1. 공백인 경우 인용되지 않는 한 토큰을 완료하십시오.
   2. 인용 부호인 경우 "우리는 인용되고 있습니다" 비트를 뒤집습니다.
   3. 그렇지 않으면 빌드 중인 토큰에 추가하십시오.
3. EOL에서, 우리는 일반적으로 (토큰)로 최종 토큰을 추가하지 않은 ERROR(/ArrayList)
   1. 마지막 "문자"가 이스케이프 문자인 경우 예외를 throw합니다. 그것은 유효하지 않습니다
   2. 인용문 중간에 있다면 예외를 던지십시오. 그것은 유효하지 않습니다
   3. 그렇지 않으면 (tokens)에 최종 토큰을 추가합니다.
4. (토큰)의 String[] 버전을 반환합니다.

토큰화 라인

public static String[] tokenizeLine (String line, 
                boolean logging)

공백으로 분할하여 문자열을 토큰화합니다. 인용되지 않은 연속적인 큰따옴표 사이를 나누지 않습니다.

참조 tokenizeLine(String, String)