Собственный интерпретатор

На этом этапе вы добавите поддержку распознавания пробельных символов (табуляции, пробелов и переводов строки).

Ссылка на книгу

Код для этого этапа реализован в разделе 4.6: Длинные лексемы.

Проверки

Тестирующая система выполнит серию проверок с файлами test.lox, содержащими пробельные символы (табуляцию, пробелы и переводы строки) вместе с ранее введёнными токенами.

Например, если test.lox содержит следующее:

(<|TAB|>
<|SPACE|>)

Тестирующая система запустит вашу программу следующим образом:

$ ./your_program.sh tokenize test.lox
LEFT_PAREN ( null
RIGHT_PAREN ) null
EOF  null

Тестирующая система проверит, что stdout вашей программы соответствует приведённому выше формату.

Обратите внимание: символы табуляции, пробела и перевода строки игнорируются, поэтому не появляются в выводе как токены.

Примечания

• Этот формат вывода соответствует спецификации в репозитории книги
• В журналах пробелы будут заменены на <|SPACE|>, а символы табуляции — на <|TAB|> для удобства чтения. Файл test.lox будет содержать настоящие символы пробела/табуляции.
• При выделении токенов допускаются непарные круглые или фигурные скобки. На следующих этапах, когда мы перейдём к синтаксическому анализу выражений, такие случаи будут отмечаться как ошибки.