【中小企業向け】少ないメモリで最強のAI秘書を！API活用で作るセキュアなローカルLLM環境

はじめに：高価な機材は不要？賢いAI秘書を低コストで導入する方法

自社専用の「賢いローカルLLM（大規模言語モデル）」を構築しようとすると、120Bクラスの巨大なモデルを動かすために非常に高価なハードウェアが必要になります。「AIを活用したいが、初期投資が高すぎる」とお悩みの中小企業のWeb担当者様や経営者様も多いのではないでしょうか。

しかし、実は「APIモデル」と「軽量なローカル環境」を組み合わせることで、パソコンのメモリ消費を最小限に抑えつつ、外部に機密データが漏れないセキュアなAI秘書環境を構築することが可能です。株式会社ニリアコットでは、Googleの最先端APIを頭脳として活用し、お客様に最適なAI秘書を構築するサポート（準委任契約）を行っております。

1. 徹底的に最適化された実行環境と多層的な「知能」

超高速・非Docker構成による軽量化

当社のAI秘書システムは、MacBook Pro M3 Maxの計算リソースを基盤としています。最大の特徴は、一般的なDockerを使用せず、最速のPythonパッケージマネージャーである「uv」を採用している点です。これにより、環境構築の圧倒的なスピードと実行時の軽量さを両立させています。プラットフォームには最新のOpenWebUI（v0.8.3）をベースに、独自のカスタマイズを施しています。

適材適所のチームプレー構成

複数のAIモデルを組み合わせることで、効率的かつ高度な処理を実現しています。

🎯 メイン知能：高度な推論や長文読解は「Gemini 2.5 Pro」が担当。
🥷 タスク専門知能：検索キーワードの生成など裏方の処理には「Gemini 2.5 Flash」や「Gemma 3:4b」を配備。挨拶などのノイズを排除し、純粋なデータ処理に特化した黒子として機能させます。

これら各モデルのアクセス権を「公開」設定にすることで、システム全体で柔軟にモデルが切り替わる仕組みを構築しています。

2. 五感を持ったAI：外部システムとの高度な連携

AI秘書は単なるチャットボットにとどまらず、社内のエコシステムとシームレスに連携します。

🗣️ 音声によるコミュニケーション：ローカル環境の「GPT-SoVITS」と連携し、秘書固有の声を生成。時報や定型の挨拶は軽量なwavファイルで処理し、対話はリアルタイム生成することで、聴覚を通じた自然なやり取りを実現します。
📅 スケジュール管理：Nextcloudと統合し、カレンダーの予定をAIが直接読み取ってスケジュールの相談に乗ることが可能です。
🌐 リアルタイム情報取得：TavilyとPlaywrightを組み合わせたWeb検索機能を搭載。最新ニュースはもちろん、自社のサーバー状態までウェブ越しに調査・報告します。

3. 精度を担保する「鉄の掟」とAI秘書の人格

ハルシネーション（捏造）を防ぐ厳格なロジック

天気予報一つをとっても、AI特有の「捏造」を防ぐためにweathernews.jpの情報を優先取得する独自のロジックを組んでいます。正確な実測値を引き出す精度を最優先し、独自の「ニリアコット気象台」として機能させています。

また、システム運用面でもエンジニアリングの作法を徹底。ファイルの編集には環境に負荷をかけるcatコマンドではなく「vi」を使用し、スクリプト修正時には必ず「_YYYYMMDD_HHMM」形式のタイムスタンプを付与してBackupsフォルダへ自動保存する安全設計を組み込んでいます。

ユーザーに寄り添う「AI秘書」のペルソナ

AI秘書は、明るく献身的な性格を持っています。ニリアコットの生活リズムに最適化し、夜10時以降には「おやすみなさい」と労いの言葉をかけるなど時間管理も徹底しています。また、ユーザーの理解を深めるため、文章だけでなくアイコンや色分け、罫線を駆使して視覚的にもわかりやすい回答（UX向上）を心がけます。これらの「記憶」や「知識」は専用のBrainフォルダ（データベース）に保存され、日々の業務を学習していきます。