ChatGPT の登場以来、ユーザーのプライバシーの尊重が疑わしいツールが多数登場しました。幸いなことに、これを解決するオープンソース プロジェクトがいくつか登場しました。 Ollama AIは端末内で人工知能を利用するためのツールです
アプリは ハードウェアが十分に強力である限り、コンピュータ端末またはシングルボード デバイス上で LLM のリストを使用できます。 良い点は、ライブラリにあらゆるサイズのオプションがあることです。
LLM (大規模言語モデル) は、自然言語に近いレベルで言語の生成と翻訳を理解するために使用されます。 彼らは膨大な量のテキストデータを使用してトレーニングされます。これらのモデルは、質問への回答、テキストの要約、他の言語への翻訳、一貫性のある創造的なコンテンツの作成、文章の仕上げ、言語パターンの検索など、さまざまな言語関連のタスクに使用できます。
「大規模」という表現 膨大な量 (数十億) のデータと、データ間の関係を確立し、パターンを見つけるためにモデルが使用するパラメーターの両方を指します。
パラメータは考慮すべき要素です。 Raspberry Pi 4 で Ollama AI を使用したという報告もありますが、メモリが足りない場合はすべてのモデルが使用できるわけではありません。 私は、システムのパフォーマンスにほとんど影響を与えることなく、グラフィックス カードなしで 7 GB の RAM を搭載し、6 億のパラメータを持つモデルを使用しましたが、13 のパラメータを処理することはできませんでした。
パラメータが少ないモデルは、ヤンキー観光客のパロディレベルのスペイン語を話し、応答があまり正確ではないため、使用する場合は注意が必要です。
Ollama AI: 端末で人工知能を使用する
先に進む前に、簡単な説明から始めましょう。 LlaMa は、人工知能が物体の画像を認識して分類する方法を学習できるようにする機械学習アルゴリズムです。
このタイプのモデルへ 彼らはラベル付き画像を使用してトレーニングされ、テクスチャ、形状、色などの特定の特徴を認識することを学習し、他のコンテキストでも識別できるようにします。
アルゴリズムの名前は動物の名前と同じ発音であるため、一部のライブラリは、ビキューナ (記号を使用しない言語ではビクーニャ) やアルパカなどの類似した種にちなんで命名されました。
オラマ AI の話に戻りますが、 これにより、Linux ディストリビューションのターミナルからさまざまなオープン ソース モデルをダウンロードして実行できるようになります。 次のコマンドでインストールされます。
curl https://ollama.ai/install.sh | sh
モデルを起動するには、次のコマンドを記述します。
ollama run nombre_del_modelo
モデルのリストを見ることができます アク
たとえば、1 テラバイトを超えるパラメーターを持つモデルである TinyLlaama をインストールするには、次のコマンドを使用します。
ollama run tinyllama
このコマンドを初めて実行すると、モデルがコンピューターにダウンロードされます。数ギガバイトのディスク容量を占有するものもありますのでご注意ください。
次のコマンドを使用してモデルを削除できます。
ollama rm nombre_del modelo
インストールされているモデルのリストを表示するには、次のコマンドを使用します。
オラマリスト
インストールされている各モデルに関する情報は、次の方法で確認できます。
ollama show
Ollama モデル ライブラリの興味深いオプションは、いわゆる「無修正」オプションです。。最もよく知られている人工知能モデルは、法律だけでなくポリティカル コレクトネスの社会的圧力にも準拠するために、特定の種類の質問に制限を設けています。
ずっと前に、Microsoft の ChatGPT ベースのアシスタントである Copilot に、氷山のジョークを教えてほしいと頼んだことを覚えています。彼は、生態学的大惨事はジョークにするには深刻すぎるトピックだと言いました。
無修正モデル AI が基本モデルからの応答を拒否したり、偏った応答をしたりする状況を特定し、それらを削除し、正しく応答するようにシステムをトレーニングします。
RAM の量が限られており、専用のグラフィック カードを持たないコンピューターで Ollama AI がどれほど役立つかを知るには、さらにテストを行う必要があります。いずれにせよ、オープンソースの代替手段が普及し、検閲の排除が可能になりつつあることを知っておくのは良いことです。