Skip to main content
`Ctrl`+`K`

# 7.3.70. `tokenizer_list`

## 7.3.70.1. 概要

`tokenizer_list` コマンドはデータベースに登録されているトークナイザーの一覧を返します。

## 7.3.70.2. 構文

このコマンドに引数はありません:

    tokenizer_list

## 7.3.70.3. 使い方

以下は簡単な使用例です。

実行例:

    tokenizer_list
    # [
    #   [
    #     0,
    #     1337566253.89858,
    #     0.000355720520019531
    #   ],
    #   [
    #     {
    #       "name": "TokenMecab"
    #     },
    #     {
    #       "name": "TokenDelimit"
    #     },
    #     {
    #       "name": "TokenUnigram"
    #     },
    #     {
    #       "name": "TokenBigram"
    #     },
    #     {
    #       "name": "TokenTrigram"
    #     },
    #     {
    #       "name": "TokenBigramSplitSymbol"
    #     },
    #     {
    #       "name": "TokenBigramSplitSymbolAlpha"
    #     },
    #     {
    #       "name": "TokenBigramSplitSymbolAlphaDigit"
    #     },
    #     {
    #       "name": "TokenBigramIgnoreBlank"
    #     },
    #     {
    #       "name": "TokenBigramIgnoreBlankSplitSymbol"
    #     },
    #     {
    #       "name": "TokenBigramIgnoreBlankSplitSymbolAlpha"
    #     },
    #     {
    #       "name": "TokenBigramIgnoreBlankSplitSymbolAlphaDigit"
    #     },
    #     {
    #       "name": "TokenDelimitNull"
    #     },
    #     {
    #       "name": "TokenRegexp"
    #     },
    #     {
    #       "name": "TokenNgram"
    #     },
    #     {
    #       "name": "TokenPattern"
    #     },
    #     {
    #       "name": "TokenTable"
    #     },
    #     {
    #       "name": "TokenDocumentVectorTFIDF"
    #     },
    #     {
    #       "name": "TokenDocumentVectorBM25"
    #     }
    #   ]
    # ]

データベースに登録されているトークナイザーの一覧を返します。

## 7.3.70.4. 戻り値

`tokenizer_list` コマンドはトークナイザーの一覧を返します。各トークナイザーは属性を持っています。例えば名前です。将来、属性は増えるかもしれません。:

    [HEADER, tokenizers]

`HEADER`

> `HEADER` については 出力形式 を参照してください。

`tokenizers`

> `tokenizers` はトークナイザーの配列です。トークナイザーは次の属性を持つオブジェクトです。

> 名前 | 説明
> --- | ---
> `name` | トークナイザー名。

## 7.3.70.5. 参考

- トークナイザー

- tokenize