Python 3.4.6 (default, Mar 22 2017, 12:26:13) [GCC] on linux
Type "copyright", "credits" or "license()" for more information.

>>> import nltk

>>> nltk.download()
showing info https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/index.xml
True

>>> nltk.download('stopwords')

>>> #nltk disponibiliza uma lista de stopwords
>>> stopwords = nltk.corpus.stopwords.words
>>> stopwords = nltk.corpus.stopwords.words("portuguese")
>>> stopwords
['de', 'a', 'o', 'que', 'e', 'do', 'da', 'em', 'um', 'para', 'com', 'não', 'uma', 'os', 'no', 'se', 'na', 'por', 'mais', 'as', 'dos', 'como', 'mas', 'ao', 'ele', 'das', 'à', 'seu', 'sua', 'ou', 'quando', 'muito', 'nos', 'já', 'eu', 'também', 'só', 'pelo', 'pela', 'até', 'isso', 'ela', 'entre', 'depois', 'sem', 'mesmo', 'aos', 'seus', 'quem', 'nas', 'me', 'esse', 'eles', 'você', 'essa', 'num', 'nem', 'suas', 'meu', 'às', 'minha', 'numa', 'pelos', 'elas', 'qual', 'nós', 'lhe', 'deles', 'essas', 'esses', 'pelas', 'este', 'dele', 'tu', 'te', 'vocês', 'vos', 'lhes', 'meus', 'minhas', 'teu', 'tua', 'teus', 'tuas', 'nosso', 'nossa', 'nossos', 'nossas', 'dela', 'delas', 'esta', 'estes', 'estas', 'aquele', 'aquela', 'aqueles', 'aquelas', 'isto', 'aquilo', 'estou', 'está', 'estamos', 'estão', 'estive', 'esteve', 'estivemos', 'estiveram', 'estava', 'estávamos', 'estavam', 'estivera', 'estivéramos', 'esteja', 'estejamos', 'estejam', 'estivesse', 'estivéssemos', 'estivessem', 'estiver', 'estivermos', 'estiverem', 'hei', 'há', 'havemos', 'hão', 'houve', 'houvemos', 'houveram', 'houvera', 'houvéramos', 'haja', 'hajamos', 'hajam', 'houvesse', 'houvéssemos', 'houvessem', 'houver', 'houvermos', 'houverem', 'houverei', 'houverá', 'houveremos', 'houverão', 'houveria', 'houveríamos', 'houveriam', 'sou', 'somos', 'são', 'era', 'éramos', 'eram', 'fui', 'foi', 'fomos', 'foram', 'fora', 'fôramos', 'seja', 'sejamos', 'sejam', 'fosse', 'fôssemos', 'fossem', 'for', 'formos', 'forem', 'serei', 'será', 'seremos', 'serão', 'seria', 'seríamos', 'seriam', 'tenho', 'tem', 'temos', 'tém', 'tinha', 'tínhamos', 'tinham', 'tive', 'teve', 'tivemos', 'tiveram', 'tivera', 'tivéramos', 'tenha', 'tenhamos', 'tenham', 'tivesse', 'tivéssemos', 'tivessem', 'tiver', 'tivermos', 'tiverem', 'terei', 'terá', 'teremos', 'terão', 'teria', 'teríamos', 'teriam']
>>> stopwords.sort()

>>> #nltk permite tokenizar textos
>>> nltk.download("punkt")
>>> frase = "Oi, Tim! Esta vivo? Claro"
>>> palavras = nltk.word_tokenize(frase)
>>> palavras
['Oi', ',', 'Tim', '!', 'Esta', 'vivo', '?', 'Claro']

>>> #tokenizando por sentença
>>> frases = nltk.sent_tokenize( frase )
>>> frases
['Oi, Tim!', 'Esta vivo?', 'Claro']
 
>>> #podemos extrair radicais de palavras em portugues
>>> nltk.download( "rslp" )

>>> stemmer = nltk.stem.RSLPStemmer()
>>> stemmer.stem( "aprendizagem" )
'aprendiz'
>>> stemmer.stem("luminosidade")
'luminos'
>>> stemmer.stem("irracional")
'irrac'

>>> #nltk também possui ferramentas para a classificação de palavras
>>> #nltk traz o corpus mac_morpho com exemplos de classificação (etiquetagem) de diversas palavras da lingua portuguesa. A etiquetagem pode se dar por palavra, por sentença ou por parágrafo

>>> nltk.download("mac_morpho")

>>> from nltk.corpus import mac_morpho
>>> sentencas_etiquetadas = mac_morpho.tagged_sents()
>>> sentencas_etiquetadas
[[('Jersei', 'N'), ('atinge', 'V'), ('média', 'N'), ('de', 'PREP'), ('Cr$', 'CUR'), ('1,4', 'NUM'), ('milhão', 'N'), ('em', 'PREP|+'), ('a', 'ART'), ('venda', 'N'), ('de', 'PREP|+'), ('a', 'ART'), ('Pinhal', 'NPROP'), ('em', 'PREP'), ('São', 'NPROP'), ('Paulo', 'NPROP')], [('Programe', 'V'), ('sua', 'PROADJ'), ('viagem', 'N'), ('a', 'PREP|+'), ('a', 'ART'), ('Exposição', 'NPROP'), ('Nacional', 'NPROP'), ('do', 'NPROP'), ('Zebu', 'NPROP'), (',', ','), ('que', 'PRO-KS-REL'), ('começa', 'V'), ('dia', 'N'), ('25', 'N|AP')], ...]