はじめに このごろ多様なベクトルデータベースが開発されていますが、これまで扱ったことも基本的なことも知らないままでした。 そこで日本語の処理を念頭にして調査のうえ、実際に手を動かして扱いを確認しました。 この記事は、高い性能を示した日本語文埋…

はじめに Meta AI製のモデルNLLB-200*1を使って、ローカルで翻訳をできるようにした。 Gradioを利用した簡易UIでブラウザーから翻訳できます。 簡易Web UIのウィンドウ 性能 速度はAMD Ryzen 9 5900HX、メモリ32GBで、以下の文章の翻訳に1分くらいです。 Ali…

はじめに AMD RX6600M GPUを搭載したWindowsマシンで、テキスト生成用途にLLM実行環境を試したときのメモです。 LM Studio、Ollama、KoboldCpp-rocm、AnythingLLMの各ソフトウェアの使用感、GPU動作について紹介します。 結論として、この中ではLM StudioとK…