ローカルAI 最強LLM llama.cpp - スマートフォン、タブレットでLinux、*BSDを使おう @ Wiki

こちらに書きました。

OSC名古屋2024で発表しました資料です。

はじめての生成AIローカルLLM、llama.cppとllamafile。練習演習あり初心者向け講座fromNetwalker lab kapper

 

cmakeで簡単にビルド出来るのでNetBSDでも動作しました。

CPUだけでも使えるフリーの量子化省メモリローカルLLMのllama.cppを入れて賢いデータセットでJava,PythonプログラムをAIに書かせてみた。オフラインでも使える。ジャンクノートPCでおけ。LLM禁止職場に最適。大変素晴らしい。メモリは8〜16GB程度必要。NetBSDでもビルド出来た