ローカルAIと議事録AIの専門メディア運営:ノートルAI

ローカルAI・LLM・ガイド

ローカルAIとは|仕組み・ローカルLLMとの違い・始め方

運営:ノートルAI公開

ローカルAI(パソコンやスマホの中で動くAI)の仕組みを、Apple・Google・Microsoft などの公式の資料をもとにまとめました。ローカルLLMとの違い、向いていること、よくある誤解、始め方が分かります。

ローカルAIとは 仕組みと始め方

仕事の資料をAIに読ませて、要点をまとめてほしい。けれど、中身を外のサービスに入れるのは気が引けます。そんなとき目に入るのが「ローカルAI」という言葉です。ただ、パソコンの中でAIが動くと言われても、いつものチャットのAIと何が違うのかは分かりにくいものです。自分のパソコンやスマホで何ができるのかも、すぐには見えません。

私たちは議事録のアプリ「ノートルAI」を開発・運営し、開発の中でAIのモデルの選び方から動きの速さまで日々試して確かめています。

この記事ではローカルAIとは何かを、スマホやパソコンで使う人の目線でまとめます。ローカルAIの4つの形と仕組み、向いていることと向かないこと、よくある誤解、使い始める3つの道が分かります。内容は Apple・Google・Microsoft と各ツールの公式の資料で確かめました。

ローカルAIとは

ローカルAIは手元の端末の中で計算して答えを出すAIのことです。端末はパソコンやスマホ、会社のサーバなどです。入力した文章や音声は、その端末の中で処理されます。

これに対して、クラウドのAIはインターネットの向こうにあるサーバで計算します。入力はネットを通ってサーバに届き、答えが返ってきます。2つの違いは計算する場所です。

「オフライン AI」と呼ばれることもあります。端末の中で計算するので、ネットなしで動かせるものがあるためです。ただし、モデルの入手などにはネットを使います。詳しくは「よくある誤解」の節に書きました。

ローカルAIの4つの形

ひとくちにローカルAIといっても、どこで誰が用意するかで形が4つに分かれます。この記事では、この4つの名前で話を進めます。

形 どんなものか 例
端末に入っているAI スマホやパソコンに最初から入っていて、OS が用意する Apple Intelligence・Gemini Nano
アプリに組み込まれたAI 文字起こしや議事録など、用途の決まったアプリの中で動く 議事録のアプリ
自分で動かすモデル 実行ツールを入れ、モデルを自分で選んで動かす Ollama・LM Studio
会社のサーバのAI 会社が自分のサーバに入れて、社内で使う 社内のサーバで動かす LLM

個人がスマホやパソコンで使うのは、上の3つです。この記事も、この3つを中心に書きます。

ローカルLLMとの違い

ローカルAIと並んでよく見るのが「ローカルLLM」です。LLM(大規模言語モデル)は、文章を読んで書くAIのことです。ローカルLLM は、この LLM を手元の端末で動かすものを指します。

ローカルAI は、もっと広い言葉です。文章のAIのほかに、文字起こしや画像の認識など、端末の中で動くAI全体を含みます。例えば Apple のライブキャプション(音声をその場で字幕にする機能)は、音声を Mac の中で処理します(Apple のライブキャプションの案内)。Mac で録音を文字にする方法は、Mac で録音を文字起こしする方法にまとめました。

端末に入っているAI

4つの形のうち、いちばん身近なのが端末に入っているAIです。自分で準備しなくても、新しいスマホやパソコンにはすでに入っています。主なものを端末ごとにまとめました。

端末 端末の中で動くAI 公式の説明
iPhone・iPad・Mac Apple Intelligence 基礎はデバイス上の処理。Mac は M1 以降が対象
Android のスマホ Gemini Nano AICore という仕組みで動き、ネットなしでも使える
Windows のパソコン Copilot+ PC の AI の機能 1秒に40兆回を超える計算ができる NPU で動く

NPU は、AIの計算に向いた部品です。出典は Apple のプライバシーについての発表とApple Intelligence のページです。Google のGemini Nano の開発者向けの案内と、Microsoft のCopilot+ PC の開発者向けの案内も使いました。

Apple Intelligence は、すべてを端末の中で処理するわけではありません。Apple によると、より高い演算能力が要るときは、プライベートクラウドコンピューティング(Apple シリコンのサーバ)を使います。そのときに送られるのは、タスクに関係するデータだけです。

答えが出るまでの仕組み

ここからは、端末に入っているAI・アプリに組み込まれたAI・自分で動かすモデルに共通する、答えが出るまでの流れを見ます。いつものチャットのAI(クラウドのAI)と比べたときのいちばんの違いは、計算する場所です。

クラウドのAIでは、計算する場所がサーバになります。

どの形のローカルAIでも、ネットを使うのは主にモデルを入手するときと、更新するときです。答えを作る計算は端末の中で済みます。

モデルと実行ツール

ローカルAIは、どの形でも「モデル」と「実行ツール」の2つで動きます。モデルはAIの中身にあたるファイルです。学習で決まった大量の数(重み・パラメータ)が入っています。実行ツールはこのファイルを読み込んで計算を動かすソフトです。

自分で動かすモデルの形では、この2つを自分で組み合わせます。実行ツールには Ollama や LM Studio、llama.cpp などがあります。モデルは実行ツールの中や、Hugging Face などの配布元から入手します。動かすモデルには Google の Gemma や OpenAI の gpt-oss のような、重みが公開されたモデル(オープンウェイトのモデル)があります。

端末に入っているAIでは、この2つを OS が用意します。たとえば Android では、AICore という仕組みが Gemini Nano の配布と更新を受け持ちます(Google の案内)。アプリに組み込まれたAIでは、アプリが用意します。

大きさはメモリで決まる

どの形のローカルAIでも、モデルの大きさで要るメモリが決まります。モデルは、重みの数が多いほど大きくなり、動かすのに多くのメモリが要ります。そこで、1つの重みを少ない桁数で表して、ファイルを小さくします。この工夫を量子化といいます。

端末に入っているAIと、自分で動かすモデルから、例を1つずつ挙げます。

  • 端末に入っているAIでは、Apple の端末のモデルが約30億のパラメータで、1つの重みあたり2ビットに縮めています(Apple の基盤モデルの技術の解説)
  • 自分で動かすモデルでは、OpenAI の gpt-oss-20b が MXFP4 という量子化で、16GB のメモリの中で動きます(OpenAI の配布ページ)

自分で動かすモデルの形では、実行ツールの動作条件もメモリの量で書かれています。LM Studio(モデルを手元で動かすアプリ)の Mac での条件は、Apple シリコンと macOS 14.0 以降です。メモリは 16GB 以上を勧めています。8GB の Mac でも使えますが、小さいモデルにとどめるよう案内しています(LM Studio の動作条件)。

クラウドのAIとの違い

ローカルAIと、いつものチャットのAIのようなクラウドのAIの違いを、計算する場所から順に並べました。

比べる所 ローカルAI クラウドのAI
計算する場所 手元の端末 ネットの向こうのサーバ
入力の行き先 端末の中 サーバに送られる
速さを決めるもの 端末の性能 サーバの処理とネットの通信
動かせるモデル 端末のメモリに入る大きさまで 大きなモデルも使える
ネットへの接続 モデルの入手と更新のとき 使うたびに要る

どちらか1つに決める必要はありません。Apple と Google の開発者向けの案内も、軽い仕事は端末で、重い仕事はサーバで、と使い分ける考え方を示しています。

向いていること・向かないこと

ローカルAIが向いている仕事と向かない仕事を、Apple と Google の案内をもとにまとめます。どちらも、端末に入っているAIと自分で動かすモデルに共通する話です。

向いていること

最初に挙げた「仕事の資料の要約」は、ローカルAIに向いている仕事の1つです。次のような仕事がローカルAIに向いています。

  • 手元の文章の要約や書き換え
  • 外に出したくない中身を扱う仕事
  • ネットが不安定な場所での作業
  • 回数の多い小さな仕事

端末のモデルが得意な仕事として、要約や書き換え、文章からの抜き出しが挙げられています。端末の中で動かすと、中身を端末に置いたまま処理でき、ネットなしでも動きます。推論(AIが答えを作る計算)の費用も下がります。出典は Apple のFoundation Models の資料と、Google の Gemini Nano の案内です。

向かないこと

次のような仕事には、クラウドのAIのほうが合います。

  • 深い推論が要る仕事
  • 長い文章や大量の資料を一度に扱う仕事
  • 古い端末やメモリの少ない端末での作業

端末のモデルには、一度に扱える量の上限や、端末の性能による制約があります。そのため、より深い推論や長い文脈が要るときは、サーバのモデルを使うよう案内されています。出典は Apple の Foundation Models の資料と、Google の Gemini Nano の案内です。答えが出る速さも端末の性能で決まります。

よくある誤解

ローカルAIで取り違えやすい点を4つ取り上げます。どれも、端末に入っているAIと自分で動かすモデルの両方に当てはまる話です。

一度もネットにつながない

どの形のローカルAIでも、モデルを入手するときはネットを使います。自分で動かすモデルなら、オフラインで使う前にモデルのファイルを入れておきます(LM Studio の案内)。端末に入っているAIでも、モデルはネットから届きます。Android では、Private Compute Services という仕組みを通してモデルをダウンロードします(Google の案内)。計算は端末の中でも、入手と更新にはネットが要ります。

ローカルの道具なら全部手元

自分で動かすモデルの実行ツールでも、クラウドで動く機能が入っているものがあります。たとえば Ollama(モデルを手元で動かす実行ツール)には、Ollama のクラウドで計算するモデルがあります(Ollama のクラウドのモデルの案内)。

Ollama の FAQ によると、手元で動かすときの入力やデータを、Ollama は見ません。設定でクラウドの機能を止めて、手元だけで動かすこともできます(Ollama のFAQ)。端末に入っているAIでも、Apple Intelligence は、より高い演算能力が要るときはサーバを使います。どの機能がどこで動くかは、道具や機能ごとに確かめてください。

高いパソコンでないと動かない

端末に入っているAIは、スマホでも動きます。自分で動かすモデルは、大きいものほど多くのメモリが要ります。それでも LM Studio は、8GB の Mac で小さいモデルを使えると案内しています。どこまでのモデルを動かせるかは、端末のメモリの量で変わります。

クラウドのAIと同じことができる

端末に入っているAIのモデルは、端末のメモリに収まる大きさで作られています。たとえば Apple の端末のモデルは約30億のパラメータの小型のモデルで、複雑な仕事はサーバのモデルが受け持ちます。Gemini Nano にも、モデルの力の限界があります(Apple の技術の解説・Google の案内)。小さな仕事を何度も頼むならローカルAI、大きな仕事ならクラウドのAI、という分け方が合います。

使い始める3つの道

ローカルAIを使い始める道は、最初に挙げた4つの形のうち、個人で使う3つに当たります。手軽な順に並べました。

端末に入っているAIを使う

いちばん手軽なのは、端末に入っているAIを使うことです。アプリや実行ツールを新しく入れる必要はありません。

  • Apple Intelligence は、M1 以降の Mac、iPhone 15 Pro・15 Pro Max、iPhone 16 以降などで使えます
  • Android では、対応する端末で、Gemini Nano を使う機能が動きます
  • Windows では、Copilot+ PC で、NPU で動く AI の機能を使えます

Apple によると、地域や言語によっては、使えない機能があります。

アプリに組み込まれたAIを使う

次は、アプリに組み込まれたAIです。文字起こしや議事録など、用途の決まったアプリの中には、ローカルAIで動くものもあります。アプリがモデルを用意するものなら、自分でモデルを選ぶ手間はありません。Apple は macOS 26 と iOS 26 から、アプリが端末の中のモデルを呼び出せる仕組み(Foundation Models)を用意しています。

アプリを選ぶときは、どの処理が端末の中で動き、何を外に送るかを、アプリの説明で確かめてください。

自分でモデルを動かす

いちばん自由に選べるのは、自分で動かすモデルです。モデルを選んで動かすには、実行ツールを入れます。

  • LM Studio は、macOS・Windows・Linux で、LLM を手元で動かすアプリです
  • Ollama も、macOS・Windows・Linux で使えます(Ollama の配布ページ)

モデルを選ぶときは、ライセンス(使ってよい条件)を確かめます。条件はモデルごとに違い、例えば gpt-oss は Apache 2.0 です。同じ名前のモデルでも、バージョンによって条件が変わる場合もあります。Google の Gemma は、Gemma 3n までは「Gemma Terms of Use」に従い、Gemma 4 には別のライセンスがあります。出典は Google のGemma の利用規約です。

作り手が測った速さ

アプリに組み込まれたAIの速さが、端末と電源の状態でどう変わるかの例です。私たちがノートルAIで測った数字を載せます。ノートルAIは議事録を作るAIを Mac の中で動かすアプリです。

次の表は録音を止めてから議事録ができるまでの時間です。標準のAIを使い、電源につないで測りました(2026-11-04 の実測)。

会議の長さ MacBook Air M4・16GB
60分 約151秒
90分 約200秒
120分 約263秒
  • 同じ機種で軽量のAIを使うと、60分の会議が約110秒でした(同じ日の実測)
  • Mac mini M1・8GB では、標準のAIで60分の会議が約244秒という見積もりです(実測ではありません)
  • 電池で低電力モードのときは、AIの時間が軽量のAIで約1.7倍、標準のAIで約1.9倍になりました(M4・2026-11-12)

どれも目安です。同じアプリでも、AIの大きさと電源の状態で時間が変わります。ほかのアプリや、自分で動かすモデルの速さではありません。ローカルAIを選ぶときは、自分の端末で試してから決めてください。

議事録をローカルAIで作るなら

ローカルAIで会議の議事録を作るなら、ノートルAIを使う方法もあります。ノートルAIは、議事録が使い放題の、Mac の中で動くAI(ローカルAI)のノートです。録音の回数や時間に、料金による上限はありません。処理の速さや長い会議の仕上がりは、Mac の性能や macOS のバージョンによって変わります。

  • 議事録と質問のAIはアプリに搭載したもので、Mac の中で動きます。文字起こしは Apple の文字起こしを使います
  • 録音・文字起こし・議事録・メモなどの中身は、外に送りません
  • 最初に、AIの準備で約2.7〜4.1GB をダウンロードします
  • 準備が済めば、録音も議事録づくりも Mac の中で動きます。使える期間の確認のため、定期的なインターネット接続が要ります(通常35日に1回程度)

中身のほかに外とやり取りするのは、次のような場面です。

  • AIのモデルのダウンロードと、使える期間(ライセンス)の確認
  • アプリの更新の確認と、不具合の報告
  • 利用状況の送信(設定で止められます)
  • macOS 26 以降で、macOS が Apple から日本語の文字起こしのデータを取ってくるとき

AIは間違えることがあります。大事な決定は、元の発言で確かめてください。議事録の項目の横の時刻から、その発言にすぐ戻れます。

対象は Apple シリコン(M1 以降)の Mac・macOS 14.4 以降です。会議を録るときは、録音することを相手に伝えてから始めてください。

よくある質問

スマホでもローカルAIは使えますか?
使えます。Android では、対応する端末の AICore という仕組みで Gemini Nano が動きます(Google の開発者向けの案内)。iPhone では、Apple Intelligence に対応する機種で使えます。Apple Intelligence は端末の中の処理が土台で、より高い演算能力が要るときは Apple のサーバも使います。どの機能が端末の中で動くかは、機能ごとに違います。
ネットにつながっていなくても使えますか?
モデルが端末に入っていれば、ネットにつながずに動くものがあります。LM Studio の案内では、先にモデルのファイルを入れておけば、オフラインで動かせます。Google も、Gemini Nano はネットなしで動くと説明しています。ただし、モデルの入手や更新にはネットを使います。
自分でモデルを動かすには、どのくらいのメモリが要りますか?
モデルの大きさで変わります。LM Studio は、Mac では16GB 以上のメモリを勧めています。8GB の Mac でも、小さいモデルなら使えると案内しています。OpenAI の案内によると、gpt-oss-20b は16GB のメモリの中で動きます。
仕事でモデルを使うとき、何を確かめればよいですか?
まず、モデルのライセンス(使ってよい条件)です。条件はモデルごとに違い、例えば OpenAI の gpt-oss は Apache 2.0 です。あわせて、使う道具がクラウドで動く機能が入っていないかと、会社の決まりでAIの使い方が決まっていないかも確かめてください。

記事の一覧へ