MeCab他、形態素解析はそれぞれ一長一短あれどひとまずウチではJUMAN++を採用するに至り。しかし、処理速度が遅い。遅いったら遅い。Google Colabで走らせて寝て起きて。気づいたら止まってた、ということもしばしば。なので途中までの出力をドライブに保存しつつ、処理済
2020年07月
Twitter産対話コーパスを整形するやつ
前回の記事では対話コーパスに識別子をわざわざつけた。しかし、別ファイルに保存したほうが取り扱いが楽なのでは?と思い立ったのでコーパスファイルを整形するやつ。24時間毎にテキストファイルが分割されているのを前提に、一度すべて結合したものを中間保存する。クソデ
夢次元機アルマエレンシア
ライター違いなれど、小説の投稿などを始めてみました。例によってロボットモノです。しばらくの間、お付き合いいただければ幸いです。よろしくお願い致します。里奈加ひびき