端末を起動すると自動的にチャットUI、オープンソースAIツール「Llamafile」最新版

マイナビニュース / 2024年10月17日 16時18分

画像提供：マイナビニュース

Mozilla Buildersは現地時間2024年10月16日、オープンソースAI(人工知能)ツールの最新版、Llamafile 0.8.14をリリースした。Llamafileは単独の実行ファイルにLLM(大規模言語モデル)を含み、Windowsや macOS、Linuxなど各種OSのローカル環境でAI処理を実行できる。実行ファイルおよびソースコードはGitHubから入手可能。本バージョンでは新しいチャットUIや性能向上、Metaが開発したLLMのLLaMA 3.2などに対応し、音声認識ツールのWhisperfileも取り込んだ。

従来のLlamafileはWeb UIを用いていたが、本バージョンから端末を起動すると自動的にチャットUIが開く仕組みに変更している。また、事前入力の速度は各プラットフォームで向上した。具体的にはIntel Core i9で100トークン/秒から400トークン/秒(4倍)に増加。AMD Threadripperは300トークン/秒から2,400トークン/秒(8倍)に増加。Raspberry Pi 5でも8トークン/秒から80トークン/秒(10倍)に増加した。OpenAIのWhisper技術を使用したWhisperfileは音声の文字起こしを担う。同じく実行プラットフォームは問わない。
（阿久津良和）

外部リンク