「Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer」

最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは? Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの…

Wiki-40Bとは? Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです

hironsan.hatenablog.com

Webページ

コンテンツ文字数:11,371 文字

見出し数(H2/H3タグ):0 個

閲覧数:107 件

2020-09-26 21:16:53

オリジナルページを開く

画像一覧
※読み込みに時間がかかることがあります