type TokenType …
type runeTokenClass …
type lexerState …
type Token …
func (a *Token) Equal(b *Token) bool { … }
const spaceRunes …
const escapingQuoteRunes …
const nonEscapingQuoteRunes …
const escapeRunes …
const commentRunes …
const unknownRuneClass …
const spaceRuneClass …
const escapingQuoteRuneClass …
const nonEscapingQuoteRuneClass …
const escapeRuneClass …
const commentRuneClass …
const eofRuneClass …
const UnknownToken …
const WordToken …
const SpaceToken …
const CommentToken …
const startState …
const inWordState …
const escapingState …
const escapingQuotedState …
const quotingEscapingState …
const quotingState …
const commentState …
type tokenClassifier …
func (typeMap tokenClassifier) addRuneClass(runes string, tokenType runeTokenClass) { … }
func newDefaultClassifier() tokenClassifier { … }
func (t tokenClassifier) ClassifyRune(runeVal rune) runeTokenClass { … }
type Lexer …
func NewLexer(r io.Reader) *Lexer { … }
func (l *Lexer) Next() (string, error) { … }
type Tokenizer …
func NewTokenizer(r io.Reader) *Tokenizer { … }
func (t *Tokenizer) scanStream() (*Token, error) { … }
func (t *Tokenizer) Next() (*Token, error) { … }
func Split(s string) ([]string, error) { … }