「Metaの大規模言語モデル「LLaMa」に入力した文章がどのようなトークンとして認識しているかを確認できる「LLaMA-Tokenizer」 」
OpenAIのChatGPTやGoogleのBardなど、近年ではさまざまなAIが人間レベルに近い会話を行うことができるようになりました。AIは基本的に文章の処理に「トークン」と呼ばれる単位で認識を行います。普通の文章がトークン的にはどのように分解されるのかを一目で判断できるツールが「トークナイザー」で、Metaの大規模言語モデルである「LLaMA」専用のツール「LLaMA-Tokenizer」が公開されています。
Webページ
コンテンツ文字数：0 文字
見出し数（H2/H3タグ）：0 個
閲覧数：48 件
2023-06-14 20:01:11
オリジナルページを開く
リンク