lc/lexer.h at master · lolzdev/lc · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
#ifndef LEXER_H
#define LEXER_H

#include "utils.h"

typedef enum {
	TOKEN_ERROR,
	TOKEN_END,
	TOKEN_PLUS, // +
	TOKEN_PLUS_PLUS, // ++
	TOKEN_MINUS, // -
	TOKEN_MINUS_MINUS, // --
	TOKEN_SLASH, // /
	TOKEN_PERC, // %
	TOKEN_STAR, // *
	TOKEN_AND, // &
	TOKEN_HAT, // ^
	TOKEN_PIPE, // |
	TOKEN_ARROW, // ->
	TOKEN_LSHIFT, // <<
	TOKEN_RSHIFT, // >>
	TOKEN_DOUBLE_EQ, // ==
	TOKEN_EQ, // =
	TOKEN_LESS_THAN, // <
	TOKEN_GREATER_THAN, // >
	TOKEN_LESS_EQ, // <=
	TOKEN_GREATER_EQ, // >=
	TOKEN_NOT_EQ, // !=
	TOKEN_PLUS_EQ, // +=
	TOKEN_MINUS_EQ, // -=
	TOKEN_STAR_EQ, // *=
	TOKEN_SLASH_EQ, // /=
	TOKEN_AND_EQ, // &=
	TOKEN_HAT_EQ, // ^=
	TOKEN_PIPE_EQ, // |=
	TOKEN_PERC_EQ, // %=
	TOKEN_LSHIFT_EQ, // <<=
	TOKEN_RSHIFT_EQ, // >>=
	TOKEN_OR, // ||
	TOKEN_DOUBLE_AND, // &&
	TOKEN_COLON, // :
	TOKEN_SEMICOLON, // ;
	TOKEN_DOT, // .
	TOKEN_DOUBLE_DOT, // ..
	TOKEN_BANG, // !
	TOKEN_COMMA, // ,
	TOKEN_LPAREN, // (
	TOKEN_RPAREN, // )
	TOKEN_LSQUARE, // [
	TOKEN_RSQUARE, // ]
	TOKEN_LCURLY, // {
	TOKEN_RCURLY, // }
	TOKEN_INTEGER,
	TOKEN_FLOAT,
	TOKEN_IDENTIFIER,
	TOKEN_STRING,
	TOKEN_CHAR,
	TOKEN_TRUE,
	TOKEN_FALSE,
	TOKEN_GOTO,
	TOKEN_LOOP,
	TOKEN_WHILE,
	TOKEN_UNTIL,
	TOKEN_IF,
	TOKEN_ELSE,
	TOKEN_SWITCH,
	TOKEN_BREAK,
	TOKEN_DEFER,
	TOKEN_RETURN,
	TOKEN_IMPORT,
	TOKEN_CONST,
	TOKEN_EXTERN,
	TOKEN_VOLATILE,
	TOKEN_STRUCT,
	TOKEN_ENUM,
	TOKEN_UNION
} token_type;

typedef struct _token {
	token_type type;
	source_pos position;
	char *lexeme;
	usize lexeme_len;
	struct _token *next;
} token;

typedef struct {
	usize column, row, index, size;
	char *source;
	token *tokens;
	token *tail;
	arena *allocator;
} lexer;

lexer *lexer_init(char *source, usize size, arena *arena);

#endif