Rev 2 | Details | Compare with Previous | Last modification | View Log | RSS feed
Rev | Author | Line No. | Line |
---|---|---|---|
2 | pj | 1 | /* |
2 | * |
||
3 | * |
||
4 | */ |
||
5 | |||
6 | #include <stdio.h> |
||
7 | #include <stdlib.h> |
||
8 | #include <string.h> |
||
9 | #include <ctype.h> |
||
10 | |||
11 | #define MAXTOKENSIZE 128 |
||
12 | |||
13 | static char string[MAXTOKENSIZE]; |
||
14 | static char buffer[MAXTOKENSIZE*8]; |
||
15 | static FILE *fin; |
||
16 | int line; |
||
17 | static int flags; |
||
18 | static char *lasttoken,*token; |
||
19 | |||
20 | int init_tokenizer(char *filename,int fl) |
||
21 | { |
||
22 | fin=fopen(filename,"rt"); |
||
23 | if (fin==NULL) return -1; |
||
24 | |||
25 | line=0; |
||
26 | buffer[0]='\0'; |
||
27 | strtok(buffer," \n"); |
||
28 | flags=fl; |
||
29 | lasttoken=NULL; |
||
30 | token=NULL; |
||
31 | return 0; |
||
32 | } |
||
33 | |||
34 | void ungettoken(void) |
||
35 | { |
||
36 | if (flags&0x02) {fprintf(stderr,"<<UNGET>>"); fflush(stderr); } |
||
37 | if (lasttoken!=NULL) abort(); |
||
38 | lasttoken=token; |
||
39 | } |
||
40 | |||
41 | char *gettoken(void) |
||
42 | { |
||
43 | char *s; |
||
44 | |||
45 | if (lasttoken!=NULL) { |
||
46 | token=lasttoken; |
||
47 | lasttoken=NULL; |
||
48 | if (flags&0x02) {fprintf(stderr,"<%s>",token); fflush(stderr); } |
||
49 | return token; |
||
50 | } |
||
51 | |||
52 | s=strtok(NULL," \n"); |
||
53 | |||
54 | if (s==NULL) { |
||
55 | for (;;) { |
||
56 | s=fgets(buffer,sizeof(buffer),fin); |
||
57 | line++; |
||
58 | if (flags&0x1) {fprintf(stderr,"[%i]",line); fflush(stderr); } |
||
59 | if (s==NULL) { |
||
60 | if (flags&0x03) {fprintf(stderr,"\n"); fflush(stderr); } |
||
61 | return NULL; |
||
62 | } |
||
63 | s=strtok(buffer," \n"); |
||
64 | if (s!=NULL) { |
||
65 | if (*s=='#') continue; |
||
66 | break; |
||
67 | } |
||
68 | } |
||
69 | } |
||
70 | |||
71 | if (*s=='\"') { |
||
72 | /* Well, the strings are returned with a \" on first character */ |
||
73 | char *p; |
||
74 | strcpy(string,s); |
||
75 | p=strchr(string+1,'\"'); |
||
76 | if (p!=NULL) { |
||
77 | *p='\0'; |
||
78 | if (flags&0x02) {fprintf(stderr,"<%s>",string); fflush(stderr); } |
||
79 | return token=string; |
||
80 | } |
||
81 | s=strtok(NULL,"\""); |
||
82 | if (s==NULL) { |
||
83 | if (flags&0x03) {fprintf(stderr,"\n"); fflush(stderr); } |
||
84 | return NULL; |
||
85 | } |
||
86 | strcat(string," "); |
||
87 | strcat(string,s); |
||
88 | p=strchr(string+1,'\"'); |
||
89 | if (p!=NULL) *p='\0'; |
||
90 | if (flags&0x02) {fprintf(stderr,"<%s>",string); fflush(stderr); } |
||
91 | return token=string; |
||
92 | } |
||
93 | |||
94 | if (flags&0x02) {fprintf(stderr,"<%s>",s); fflush(stderr); } |
||
95 | return token=s; |
||
96 | } |
||
97 | |||
98 | int done_tokenizer(void) |
||
99 | { |
||
100 | return fclose(fin); |
||
101 | } |
||
102 | |||
103 | #if 0 |
||
104 | int main(int argc, char *argv[]) |
||
105 | { |
||
106 | char *s; |
||
107 | init_tokenizer(argv[1]); |
||
108 | while ((s=gettoken())!=NULL) { |
||
109 | printf("<%s>\n",s); |
||
110 | } |
||
111 | done_tokenizer(); |
||
112 | } |
||
113 | #endif |
||
114 | |||
115 | |||
116 |