go/src/cmd/asm/internal/lex/tokenizer.go

type Tokenizer …

func NewTokenizer(name string, r io.Reader, file *os.File) *Tokenizer { … }

// We want center dot (·) and division slash (∕) to work as identifier characters.
func isIdentRune(ch rune, i int) bool { … }

func (t *Tokenizer) Text() string { … }

func (t *Tokenizer) File() string { … }

func (t *Tokenizer) Base() *src.PosBase { … }

func (t *Tokenizer) SetBase(base *src.PosBase) { … }

func (t *Tokenizer) Line() int { … }

func (t *Tokenizer) Col() int { … }

func (t *Tokenizer) Next() ScanToken { … }

func (t *Tokenizer) Close() { … }