#20 ejemplos de cómo utilizar el módulo token en Python:[br][br]#1. Importar el módulo token:[br]import token[br][br]#2. Obtener una lista de todos los tokens en un archivo de Python:[br]import tokenize[br]with open('archivo.py') as f:[br] tokens = tokenize.tokenize(f.readline)[br]print(tokens)[br][br]#3. Obtener una lista de todos los tokens en una cadena de Python:[br]import tokenize[br]codigo_fuente = "print('Hola, mundo!')"[br]tokens = tokenize.tokenize(codigo_fuente)[br]print(tokens)[br][br]#4. Obtener el valor numérico de un token:[br]import tokenize[br]tokens = tokenize.tokenize("x = 5")[br]valor = tokens[2][1][br]print(valor)[br][br]########################################################[br]#5. Obtener el tipo de un token:[br]import tokenize[br]tokens = tokenize.tokenize("x = 5")[br]tipo = tokenize.tok_name[tokens[1][0]][br]print(tipo)[br][br]#6. Obtener una lista de todos los nombres de tokens:[br]import tokenize[br]nombres_tokens = [tokenize.tok_name[i] for i in range(256)][br][br]#7. Obtener una lista de todos los nombres de tokens que comienzan con 'NAME':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('NAME')][br][br]#8. Obtener una lista de todos los nombres de tokens que comienzan con 'OP':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('OP')][br][br]#9. Obtener una lista de todos los nombres de tokens que comienzan con 'STRING':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('STRING')][br][br]#10. Obtener una lista de todos los nombres de tokens que comienzan con 'NUMBER':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('NUMBER')][br][br]#11. Obtener una lista de todos los nombres de tokens que comienzan con 'NEWLINE':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('NEWLINE')][br][br]#12. Obtener una lista de todos los nombres de tokens que comienzan con 'INDENT':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('INDENT')][br][br]#13. Obtener una lista de todos los nombres de tokens que comienzan con 'DEDENT':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('DEDENT')][br][br]#14. Obtener una lista de todos los nombres de tokens que comienzan con 'ENDMARKER':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('ENDMARKER')][br][br]#15. Obtener una lista de todos los nombres de tokens que comienzan con 'COMMENT':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('COMMENT')][br][br]#16. Obtener una lista de todos los nombres de tokens que comienzan con 'NL':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('NL')][br][br]#17. Obtener una lista de todos los nombres de tokens que comienzan con 'ERRORTOKEN':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('ERRORTOKEN')][br][br]#18. Obtener una lista de todos los nombres de tokens que comienzan con 'OP':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('OP')][br][br]#19. Obtener una lista de todos los nombres de tokens que comienzan con 'ASYNC':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('ASYNC')][br][br]#20. Obtener una lista de todos los nombres de tokens que comienzan con 'AWAIT':[br]import token[br]nombres_tokens = [name for name in token.tok_name.values() if name.startswith('AWAIT')]

##################################################################[br]#10 ejemplos de cómo utilizar el módulo tokenize en Python:[br][br]#1. Leer un archivo de código fuente en Python y convertirlo en una secuencia de tokens:[br]import tokenize[br]with open('archivo.py') as f:[br] tokens = tokenize.generate_tokens(f.readline)[br] for token in tokens:[br] print(token)[br][br]#2. Leer un archivo de código fuente en Python y convertirlo en una lista de tokens:[br]import tokenize[br]with open('archivo.py') as f:[br] tokens = list(tokenize.generate_tokens(f.readline))[br] print(tokens)[br][br]#3. Leer un archivo de código fuente en Python y contar el número de tokens:[br]import tokenize[br]with open('archivo.py') as f:[br] tokens = tokenize.generate_tokens(f.readline)[br] count = sum(1 for _ in tokens)[br] print(count)[br][br]#4. Leer un archivo de código fuente en Python y [br]#contar el número de tokens de un tipo específico (por ejemplo, identificadores):[br]import tokenize[br]with open('archivo.py') as f:[br] tokens = tokenize.generate_tokens(f.readline)[br] count = sum(1 for token in tokens if token.type == tokenize.NAME)[br] print(count)[br][br]#5. Leer un archivo de código fuente en Python y obtener una lista de identificadores:[br]import tokenize[br]with open('archivo.py') as f:[br] tokens = tokenize.generate_tokens(f.readline)[br] identifiers = [token.string for token in tokens if token.type == tokenize.NAME][br] print(identifiers)[br][br]#6. Leer un archivo de código fuente en Python y obtener una lista de cadenas de texto:[br]import tokenize[br]with open('archivo.py') as f:[br] tokens = tokenize.generate_tokens(f.readline)[br] strings = [token.string for token in tokens if token.type == tokenize.STRING][br] print(strings)[br][br]#7. Leer un archivo de código fuente en Python y obtener una lista de números:[br]import tokenize[br]with open('archivo.py') as f:[br] tokens = tokenize.generate_tokens(f.readline)[br] numbers = [token.string for token in tokens if token.type == tokenize.NUMBER][br] print(numbers)[br][br]#8. Leer un archivo de código fuente en Python y obtener una lista de operadores:[br]import tokenize[br]with open('archivo.py') as f:[br] tokens = tokenize.generate_tokens(f.readline)[br] operators = [token.string for token in tokens if token.type == tokenize.OP][br] print(operators)[br][br]#9. Leer un archivo de código fuente en Python y obtener una lista de palabras clave:[br]import tokenize[br]with open('archivo.py') as f:[br] tokens = tokenize.generate_tokens(f.readline)[br] keywords = [token.string for token in tokens if token.type == tokenize.NAME and token.string in tokenize.keywords][br] print(keywords)[br][br]#10. Leer un archivo de código fuente en Python y obtener una lista de comentarios:[br]import tokenize[br]with open('archivo.py') as f:[br] tokens = tokenize.generate_tokens(f.readline)[br] comments = [token.string for token in tokens if token.type == tokenize.COMMENT][br] print(comments)