ローカルAI・LLM・ガイド
ローカルAIとは|仕組み・ローカルLLMとの違い・始め方
ローカルAI(パソコンやスマホの中で動くAI)の仕組みを、Apple・Google・Microsoft などの公式の資料をもとにまとめました。ローカルLLMとの違い、向いていること、よくある誤解、始め方が分かります。

仕事の資料をAIに読ませて、要点をまとめてほしい。けれど、中身を外のサービスに入れるのは気が引けます。そんなとき目に入るのが「ローカルAI」という言葉です。ただ、パソコンの中でAIが動くと言われても、いつものチャットのAIと何が違うのかは分かりにくいものです。自分のパソコンやスマホで何ができるのかも、すぐには見えません。
私たちは議事録のアプリ「ノートルAI」を開発・運営し、開発の中でAIのモデルの選び方から動きの速さまで日々試して確かめています。
この記事ではローカルAIとは何かを、スマホやパソコンで使う人の目線でまとめます。ローカルAIの4つの形と仕組み、向いていることと向かないこと、よくある誤解、使い始める3つの道が分かります。内容は Apple・Google・Microsoft と各ツールの公式の資料で確かめました。
ローカルAIとは
ローカルAIは手元の端末の中で計算して答えを出すAIのことです。端末はパソコンやスマホ、会社のサーバなどです。入力した文章や音声は、その端末の中で処理されます。
これに対して、クラウドのAIはインターネットの向こうにあるサーバで計算します。入力はネットを通ってサーバに届き、答えが返ってきます。2つの違いは計算する場所です。
「オフライン AI」と呼ばれることもあります。端末の中で計算するので、ネットなしで動かせるものがあるためです。ただし、モデルの入手などにはネットを使います。詳しくは「よくある誤解」の節に書きました。
ローカルAIの4つの形
ひとくちにローカルAIといっても、どこで誰が用意するかで形が4つに分かれます。この記事では、この4つの名前で話を進めます。
| 形 | どんなものか | 例 |
|---|---|---|
| 端末に入っているAI | スマホやパソコンに最初から入っていて、OS が用意する | Apple Intelligence・Gemini Nano |
| アプリに組み込まれたAI | 文字起こしや議事録など、用途の決まったアプリの中で動く | 議事録のアプリ |
| 自分で動かすモデル | 実行ツールを入れ、モデルを自分で選んで動かす | Ollama・LM Studio |
| 会社のサーバのAI | 会社が自分のサーバに入れて、社内で使う | 社内のサーバで動かす LLM |
個人がスマホやパソコンで使うのは、上の3つです。この記事も、この3つを中心に書きます。
ローカルLLMとの違い
ローカルAIと並んでよく見るのが「ローカルLLM」です。LLM(大規模言語モデル)は、文章を読んで書くAIのことです。ローカルLLM は、この LLM を手元の端末で動かすものを指します。
ローカルAI は、もっと広い言葉です。文章のAIのほかに、文字起こしや画像の認識など、端末の中で動くAI全体を含みます。例えば Apple のライブキャプション(音声をその場で字幕にする機能)は、音声を Mac の中で処理します(Apple のライブキャプションの案内)。Mac で録音を文字にする方法は、Mac で録音を文字起こしする方法にまとめました。
端末に入っているAI
4つの形のうち、いちばん身近なのが端末に入っているAIです。自分で準備しなくても、新しいスマホやパソコンにはすでに入っています。主なものを端末ごとにまとめました。
| 端末 | 端末の中で動くAI | 公式の説明 |
|---|---|---|
| iPhone・iPad・Mac | Apple Intelligence | 基礎はデバイス上の処理。Mac は M1 以降が対象 |
| Android のスマホ | Gemini Nano | AICore という仕組みで動き、ネットなしでも使える |
| Windows のパソコン | Copilot+ PC の AI の機能 | 1秒に40兆回を超える計算ができる NPU で動く |
NPU は、AIの計算に向いた部品です。出典は Apple のプライバシーについての発表とApple Intelligence のページです。Google のGemini Nano の開発者向けの案内と、Microsoft のCopilot+ PC の開発者向けの案内も使いました。
Apple Intelligence は、すべてを端末の中で処理するわけではありません。Apple によると、より高い演算能力が要るときは、プライベートクラウドコンピューティング(Apple シリコンのサーバ)を使います。そのときに送られるのは、タスクに関係するデータだけです。
答えが出るまでの仕組み
ここからは、端末に入っているAI・アプリに組み込まれたAI・自分で動かすモデルに共通する、答えが出るまでの流れを見ます。いつものチャットのAI(クラウドのAI)と比べたときのいちばんの違いは、計算する場所です。
クラウドのAIでは、計算する場所がサーバになります。
どの形のローカルAIでも、ネットを使うのは主にモデルを入手するときと、更新するときです。答えを作る計算は端末の中で済みます。
モデルと実行ツール
ローカルAIは、どの形でも「モデル」と「実行ツール」の2つで動きます。モデルはAIの中身にあたるファイルです。学習で決まった大量の数(重み・パラメータ)が入っています。実行ツールはこのファイルを読み込んで計算を動かすソフトです。
自分で動かすモデルの形では、この2つを自分で組み合わせます。実行ツールには Ollama や LM Studio、llama.cpp などがあります。モデルは実行ツールの中や、Hugging Face などの配布元から入手します。動かすモデルには Google の Gemma や OpenAI の gpt-oss のような、重みが公開されたモデル(オープンウェイトのモデル)があります。
端末に入っているAIでは、この2つを OS が用意します。たとえば Android では、AICore という仕組みが Gemini Nano の配布と更新を受け持ちます(Google の案内)。アプリに組み込まれたAIでは、アプリが用意します。
大きさはメモリで決まる
どの形のローカルAIでも、モデルの大きさで要るメモリが決まります。モデルは、重みの数が多いほど大きくなり、動かすのに多くのメモリが要ります。そこで、1つの重みを少ない桁数で表して、ファイルを小さくします。この工夫を量子化といいます。
端末に入っているAIと、自分で動かすモデルから、例を1つずつ挙げます。
- 端末に入っているAIでは、Apple の端末のモデルが約30億のパラメータで、1つの重みあたり2ビットに縮めています(Apple の基盤モデルの技術の解説)
- 自分で動かすモデルでは、OpenAI の gpt-oss-20b が MXFP4 という量子化で、16GB のメモリの中で動きます(OpenAI の配布ページ)
自分で動かすモデルの形では、実行ツールの動作条件もメモリの量で書かれています。LM Studio(モデルを手元で動かすアプリ)の Mac での条件は、Apple シリコンと macOS 14.0 以降です。メモリは 16GB 以上を勧めています。8GB の Mac でも使えますが、小さいモデルにとどめるよう案内しています(LM Studio の動作条件)。
クラウドのAIとの違い
ローカルAIと、いつものチャットのAIのようなクラウドのAIの違いを、計算する場所から順に並べました。
| 比べる所 | ローカルAI | クラウドのAI |
|---|---|---|
| 計算する場所 | 手元の端末 | ネットの向こうのサーバ |
| 入力の行き先 | 端末の中 | サーバに送られる |
| 速さを決めるもの | 端末の性能 | サーバの処理とネットの通信 |
| 動かせるモデル | 端末のメモリに入る大きさまで | 大きなモデルも使える |
| ネットへの接続 | モデルの入手と更新のとき | 使うたびに要る |
どちらか1つに決める必要はありません。Apple と Google の開発者向けの案内も、軽い仕事は端末で、重い仕事はサーバで、と使い分ける考え方を示しています。
向いていること・向かないこと
ローカルAIが向いている仕事と向かない仕事を、Apple と Google の案内をもとにまとめます。どちらも、端末に入っているAIと自分で動かすモデルに共通する話です。
向いていること
最初に挙げた「仕事の資料の要約」は、ローカルAIに向いている仕事の1つです。次のような仕事がローカルAIに向いています。
- 手元の文章の要約や書き換え
- 外に出したくない中身を扱う仕事
- ネットが不安定な場所での作業
- 回数の多い小さな仕事
端末のモデルが得意な仕事として、要約や書き換え、文章からの抜き出しが挙げられています。端末の中で動かすと、中身を端末に置いたまま処理でき、ネットなしでも動きます。推論(AIが答えを作る計算)の費用も下がります。出典は Apple のFoundation Models の資料と、Google の Gemini Nano の案内です。
向かないこと
次のような仕事には、クラウドのAIのほうが合います。
- 深い推論が要る仕事
- 長い文章や大量の資料を一度に扱う仕事
- 古い端末やメモリの少ない端末での作業
端末のモデルには、一度に扱える量の上限や、端末の性能による制約があります。そのため、より深い推論や長い文脈が要るときは、サーバのモデルを使うよう案内されています。出典は Apple の Foundation Models の資料と、Google の Gemini Nano の案内です。答えが出る速さも端末の性能で決まります。
よくある誤解
ローカルAIで取り違えやすい点を4つ取り上げます。どれも、端末に入っているAIと自分で動かすモデルの両方に当てはまる話です。
一度もネットにつながない
どの形のローカルAIでも、モデルを入手するときはネットを使います。自分で動かすモデルなら、オフラインで使う前にモデルのファイルを入れておきます(LM Studio の案内)。端末に入っているAIでも、モデルはネットから届きます。Android では、Private Compute Services という仕組みを通してモデルをダウンロードします(Google の案内)。計算は端末の中でも、入手と更新にはネットが要ります。
ローカルの道具なら全部手元
自分で動かすモデルの実行ツールでも、クラウドで動く機能が入っているものがあります。たとえば Ollama(モデルを手元で動かす実行ツール)には、Ollama のクラウドで計算するモデルがあります(Ollama のクラウドのモデルの案内)。
Ollama の FAQ によると、手元で動かすときの入力やデータを、Ollama は見ません。設定でクラウドの機能を止めて、手元だけで動かすこともできます(Ollama のFAQ)。端末に入っているAIでも、Apple Intelligence は、より高い演算能力が要るときはサーバを使います。どの機能がどこで動くかは、道具や機能ごとに確かめてください。
高いパソコンでないと動かない
端末に入っているAIは、スマホでも動きます。自分で動かすモデルは、大きいものほど多くのメモリが要ります。それでも LM Studio は、8GB の Mac で小さいモデルを使えると案内しています。どこまでのモデルを動かせるかは、端末のメモリの量で変わります。
クラウドのAIと同じことができる
端末に入っているAIのモデルは、端末のメモリに収まる大きさで作られています。たとえば Apple の端末のモデルは約30億のパラメータの小型のモデルで、複雑な仕事はサーバのモデルが受け持ちます。Gemini Nano にも、モデルの力の限界があります(Apple の技術の解説・Google の案内)。小さな仕事を何度も頼むならローカルAI、大きな仕事ならクラウドのAI、という分け方が合います。
使い始める3つの道
ローカルAIを使い始める道は、最初に挙げた4つの形のうち、個人で使う3つに当たります。手軽な順に並べました。
端末に入っているAIを使う
いちばん手軽なのは、端末に入っているAIを使うことです。アプリや実行ツールを新しく入れる必要はありません。
- Apple Intelligence は、M1 以降の Mac、iPhone 15 Pro・15 Pro Max、iPhone 16 以降などで使えます
- Android では、対応する端末で、Gemini Nano を使う機能が動きます
- Windows では、Copilot+ PC で、NPU で動く AI の機能を使えます
Apple によると、地域や言語によっては、使えない機能があります。
アプリに組み込まれたAIを使う
次は、アプリに組み込まれたAIです。文字起こしや議事録など、用途の決まったアプリの中には、ローカルAIで動くものもあります。アプリがモデルを用意するものなら、自分でモデルを選ぶ手間はありません。Apple は macOS 26 と iOS 26 から、アプリが端末の中のモデルを呼び出せる仕組み(Foundation Models)を用意しています。
アプリを選ぶときは、どの処理が端末の中で動き、何を外に送るかを、アプリの説明で確かめてください。
自分でモデルを動かす
いちばん自由に選べるのは、自分で動かすモデルです。モデルを選んで動かすには、実行ツールを入れます。
- LM Studio は、macOS・Windows・Linux で、LLM を手元で動かすアプリです
- Ollama も、macOS・Windows・Linux で使えます(Ollama の配布ページ)
モデルを選ぶときは、ライセンス(使ってよい条件)を確かめます。条件はモデルごとに違い、例えば gpt-oss は Apache 2.0 です。同じ名前のモデルでも、バージョンによって条件が変わる場合もあります。Google の Gemma は、Gemma 3n までは「Gemma Terms of Use」に従い、Gemma 4 には別のライセンスがあります。出典は Google のGemma の利用規約です。
作り手が測った速さ
アプリに組み込まれたAIの速さが、端末と電源の状態でどう変わるかの例です。私たちがノートルAIで測った数字を載せます。ノートルAIは議事録を作るAIを Mac の中で動かすアプリです。
次の表は録音を止めてから議事録ができるまでの時間です。標準のAIを使い、電源につないで測りました(2026-11-04 の実測)。
| 会議の長さ | MacBook Air M4・16GB |
|---|---|
| 60分 | 約151秒 |
| 90分 | 約200秒 |
| 120分 | 約263秒 |
- 同じ機種で軽量のAIを使うと、60分の会議が約110秒でした(同じ日の実測)
- Mac mini M1・8GB では、標準のAIで60分の会議が約244秒という見積もりです(実測ではありません)
- 電池で低電力モードのときは、AIの時間が軽量のAIで約1.7倍、標準のAIで約1.9倍になりました(M4・2026-11-12)
どれも目安です。同じアプリでも、AIの大きさと電源の状態で時間が変わります。ほかのアプリや、自分で動かすモデルの速さではありません。ローカルAIを選ぶときは、自分の端末で試してから決めてください。
議事録をローカルAIで作るなら
ローカルAIで会議の議事録を作るなら、ノートルAIを使う方法もあります。ノートルAIは、議事録が使い放題の、Mac の中で動くAI(ローカルAI)のノートです。録音の回数や時間に、料金による上限はありません。処理の速さや長い会議の仕上がりは、Mac の性能や macOS のバージョンによって変わります。
- 議事録と質問のAIはアプリに搭載したもので、Mac の中で動きます。文字起こしは Apple の文字起こしを使います
- 録音・文字起こし・議事録・メモなどの中身は、外に送りません
- 最初に、AIの準備で約2.7〜4.1GB をダウンロードします
- 準備が済めば、録音も議事録づくりも Mac の中で動きます。使える期間の確認のため、定期的なインターネット接続が要ります(通常35日に1回程度)
中身のほかに外とやり取りするのは、次のような場面です。
- AIのモデルのダウンロードと、使える期間(ライセンス)の確認
- アプリの更新の確認と、不具合の報告
- 利用状況の送信(設定で止められます)
- macOS 26 以降で、macOS が Apple から日本語の文字起こしのデータを取ってくるとき
AIは間違えることがあります。大事な決定は、元の発言で確かめてください。議事録の項目の横の時刻から、その発言にすぐ戻れます。
対象は Apple シリコン(M1 以降)の Mac・macOS 14.4 以降です。会議を録るときは、録音することを相手に伝えてから始めてください。
よくある質問
- スマホでもローカルAIは使えますか?
- 使えます。Android では、対応する端末の AICore という仕組みで Gemini Nano が動きます(Google の開発者向けの案内)。iPhone では、Apple Intelligence に対応する機種で使えます。Apple Intelligence は端末の中の処理が土台で、より高い演算能力が要るときは Apple のサーバも使います。どの機能が端末の中で動くかは、機能ごとに違います。
- ネットにつながっていなくても使えますか?
- モデルが端末に入っていれば、ネットにつながずに動くものがあります。LM Studio の案内では、先にモデルのファイルを入れておけば、オフラインで動かせます。Google も、Gemini Nano はネットなしで動くと説明しています。ただし、モデルの入手や更新にはネットを使います。
- 自分でモデルを動かすには、どのくらいのメモリが要りますか?
- モデルの大きさで変わります。LM Studio は、Mac では16GB 以上のメモリを勧めています。8GB の Mac でも、小さいモデルなら使えると案内しています。OpenAI の案内によると、gpt-oss-20b は16GB のメモリの中で動きます。
- 仕事でモデルを使うとき、何を確かめればよいですか?
- まず、モデルのライセンス(使ってよい条件)です。条件はモデルごとに違い、例えば OpenAI の gpt-oss は Apache 2.0 です。あわせて、使う道具がクラウドで動く機能が入っていないかと、会社の決まりでAIの使い方が決まっていないかも確かめてください。

