- tokenizer.addTerminator(";", false);
- tokenizer.addTerminator("{", false);
- tokenizer.addTerminator("}", false);
- tokenizer.addTerminator("(", false);
- tokenizer.addTerminator(")", false);
- tokenizer.addTerminator("[", false);
- tokenizer.addTerminator("]", false);
- tokenizer.addTerminator("<", false);
- tokenizer.addTerminator(">", false);
- tokenizer.addTerminator(",", false);
- tokenizer.addTerminator("@", false);
+ final Tokenizer tokenizer = new Tokenizer(contents.toString());
+
+ // empty space
+ tokenizer.addTerminator(" ", true);
+ tokenizer.addTerminator("\t", true);
+ tokenizer.addTerminator("\n", true);
+
+ tokenizer.addTerminator(";", false);
+ tokenizer.addTerminator("{", false);
+ tokenizer.addTerminator("}", false);
+ tokenizer.addTerminator("(", false);
+ tokenizer.addTerminator(")", false);
+ tokenizer.addTerminator("[", false);
+ tokenizer.addTerminator("]", false);
+ tokenizer.addTerminator("<", false);
+ tokenizer.addTerminator(">", false);
+ tokenizer.addTerminator(",", false);
+ tokenizer.addTerminator("@", false);