Análise léxica: diferenças entre revisões

Conteúdo apagado Conteúdo adicionado
Artigo referenciado. Traduzi a introdução da enwiki.
Linha 1:
{{Mais fontes|data=junho de 2010}}
 
Na ciência da computação, '''análise léxica''', '''lexing''' ou '''tokenização''' é o processo de converter uma sequência de caracteres (como em um programa de computador ou página da web) em uma sequência de tokens (strings com um significado atribuído e, portanto, identificado). Um programa que realiza análise lexical pode ser denominado lexer, tokenizer,<ref>{{Citar web|titulo=Anatomy of a Compiler and The Tokenizer|url=http://www.cs.man.ac.uk/~pjj/farrell/comp3.html|obra=University of Manchester|acessodata=2020-06-04|publicado=Departament of Computer Science}}</ref> ou scanner, embora scanner também seja um termo para o primeiro estágio de um lexer. Um lexer geralmente é combinado com um analisador, que juntos analisam a sintaxe de linguagens de programação, páginas da Web e assim por diante.
 
== Primeiro estado da análise ==