この投稿では、fasttext テキスト分類子の操作について説明します。
ファーストテキスト –テキスト分類のための機械学習ライブラリ。彼女に曲のタイトルでメタルバンドを見分けるように教えてみましょう。これを行うために、データセットを使用した教師あり学習を使用します。
グループ名を付けた曲のデータセットを作成しましょう:
__label__metallica fuel
__label__metallica escape
__label__black_sabbath gypsy
__label__black_sabbath snowblind
__label__black_sabbath am i going insane
__label__anthrax anthrax
__label__anthrax i'm alive
__label__anthrax antisocial
[и т.д.]Формат обучающей выборки:
Обучим fasttext и сохраним модель:
model.save_model("model.bin")
トレーニングされたモデルをロードし、曲の名前でグループを識別するように要求します。
predictResult = model.predict("Bleed")
print(predictResult)
В результате мы получим список классов на которые похож данный пример, с указанием уровня похожести цифрой, в нашем случае похожесть названия песни Bleed на одну из групп датасета.
Для того чтобы модель fasttext умела работать с датасетом выходящим за границы обучающей выборки, используют режим autotune с использованием файла валидации (файл тест). Во время автотюна fasttext подбирает оптимальные гиперпараметры модели, проводя валидацию результата на выборке из тест файла. Время автотюна ограничивается пользователем в самостоятельно, с помощью передачи аргумента autotuneDuration.
Пример создания модели с использованием файла тест:
Источники
https://fasttext.cc
https://gosha20777.github.io/tutorial/2018/04/12/fasttext-for-windows
Исходный код
https://gitlab.com/demensdeum/MachineLearning/-/tree/master/6bandClassifier
