このモデルはQwen 0.6Bモデルを４ビット量子化したモデルです。非常にサイズが小さいためスマートフォンでも高速実行できますが、できる事は非常に限られています。挨拶は出来ますが会話を続けていくと段々と軌道からはずれます
This model is a 4-bit quantized version of the 0.6B model. Its extremely small size allows it to run quickly on smartphones, but its capabilities are very limited. It can greet users, but continuing the conversation will cause it to gradually deviate from its orbit.
アンドロイドでの動作確認はできています
I've tested it on Android.
動作確認端末：
| 項目 | 内容 |
|---|---|
| 機種 | AQUOS sense4 basic A003SH |
| 発売日 | 2020年11月19日（5年前の廉価スマートフォン） |
| OS | Android 12 |
| SoC | Qualcomm Snapdragon 720G（オクタコア） |
| RAM | 3GB |
| 動作速度 | 17.20 t/s |
PCからケーブル（充電しか出来ないケーブルもありますが、ファイル転送ができるケーブルが必要です）でスマホと繋いでモデルとトークナイザーを転送する必要があります。
You need to connect your PC to your smartphone with a cable (there are cables that are only for charging, but you need a cable that can transfer files) and transfer the model and tokenizer.
iphoneでもXcodeのシミュレーターでの動作確認は出来ています
I also checked it using the Xcode simulator on my iPhone.
iphoneを実機で動かすためには有料のappleデベロッパーアカウントが必要です
To run the app on an iPhone, you need a paid apple developer account.
動かし方
How to Run
Unslothのページを読んでExecutorchをセットアップする必要があります。
please read How to Run and Deploy LLMs on your iOS or Android Phone.
私のiPhone SE (第2世代)ではsoftware-mansion-labs/private-mindで動かす事は出来ませんでした。
I was unable to get software-mansion-labs/private-mind to work on my iPhone SE (2nd generation).