【python】自然言語処理100本ノックやってみた!【05本目】
演習問題が載っているサイトはこちらです!
05. n-gram
与えられたシーケンス(文字列やリストなど)からn-gramを作る関数を作成せよ.この関数を用い,"I am an NLPer"という文から単語bi-gram,文字bi-gramを得よ.
N-gramとは
単語、または文章をN文字ごとに分解したもの。
こちらのサイトを参考にしました。詳しいことが知りたい方はこちらをご覧ください。
N-gramについて書いてみる - どん底から這い上がるまでの記録
def ngram(text,n): lastnum=len(text)-n+1 text_list=[] for i in range(lastnum): text_list.append(text[i:i+n]) print(text_list) text="I am an NLPer" ngram(text,2) ngram(text.split(),2)
06本目
第1章まとめ