FgoGotran
GitHub下載 APK

Local AI Guide

FgoGotran Local 使用指南

在 Windows 電腦執行自己的 GGUF 模型，讓手機上的 FgoGotran 通過可信區域網路呼叫本地翻譯服務。

Windowsllama.cppGGUF繁體中文指南
開始設定雲端 API 指南

用途與邊界

FgoGotran Local 是本地執行控制工具，可在首次確認後自動準備 Python 和 llama.cpp；GGUF 始終由使用者管理。

本地完成翻譯推理

模型準備完成後，FGO 對白由電腦上的 llama-server 和 GGUF 處理，不需要雲端翻譯 API Key。

大型執行檔案不進入 Git

Python 和 llama.cpp 的可選下載只寫入已忽略的 user_data；也可完全手動配置。工具不會自動修改驅動、防火牆、路由器，或下載 GGUF/TTS 資源。

首次自動準備需要聯網並會先顯示確認；Python 釋出者簽名以及 llama.cpp 的大小和 SHA-256 必須驗證通過。GGUF 請自行從可信釋出者取得，本地介面仍使用獨立 API Key。

連線方式

管理頁面和手機使用的翻譯介面是兩個不同入口。

Android 手機FgoGotran
可信區域網路
翻譯介面電腦 IP:18080
llama-serverGGUF 模型
電腦管理頁面：http://127.0.0.1:18081

它固定只監聽本機。手機不能使用或開啟這個地址。

快速開始

第一次使用按順序完成，不要跳過“已就緒”和連線測試。

Python Windows 下載llama.cpp 官方 Releases
1

啟動並檢查 Python

雙擊 Start-FgoGotranLocal.cmd。程式會複用 64 位 Python 3.11–3.13；沒有相容版本時，可確認下載經簽名和 SHA-256 校驗的私有 Python 3.13.15。

私有 Python 位於 user_data，不修改系統 PATH 或檔案關聯。

2

準備完整的 llama.cpp

沒有已有配置時，可確認自動下載經過大小和 SHA-256 校驗的官方 Windows x64 構建；NVIDIA 會按驅動選擇 CUDA 包，否則使用 CPU 構建。

也可按 n 跳過並手動選擇；已有非空路徑不會被覆蓋。

3

準備 GGUF 翻譯模型

從可信釋出者自行下載能夠理解日文、穩定輸出中文的 Instruction 或 Chat GGUF，再在管理頁面選擇模型目錄和檔案。

啟動器不會下載、更新、替換或刪除 GGUF 模型。

4

啟動管理頁面

環境準備完成後，管理頁面會在瀏覽器開啟；使用期間保留命令視窗。完整的當前 Profile 會自動啟動模型。

管理頁面預設地址是 http://127.0.0.1:18081，只能由當前電腦訪問。

5

填寫模型設定

自動設定成功時會寫入 llama-server.exe 路徑；GGUF 始終由使用者設定模型資料夾，再掃描並選擇模型。

6

儲存並啟動服務

確認“可信區域網路 + 本機”和 Model ID。自動啟動失敗或被關閉時，在總覽手動啟動服務並等待狀態變成“已就緒”。

執行參數儲存後不會熱更新；模型已經執行時，需要重新啟動服務才能應用新設定。

7

確認連線測試

啟動時會自動檢查 OpenAI Chat Completions 相容性。也可以在“連線測試”中點選“開始測試”複測。

通過只代表連線、認證、格式和非空輸出正常，不代表所有 FGO 對白的翻譯質量。

8

連線 Android 應用

在總覽分別點選“顯示 Endpoint”和“顯示 API Key”，把兩項完整值及可見的 Model ID 填入 FgoGotran 的“自定義 / 本地 AI”，再點選“測試 API”和“應用API設定”。

選擇 llama.cpp 與 GGUF

執行時、顯示卡驅動、模型架構和 Chat Template 必須彼此相容。

llama.cpp 執行包

  • 自動設定按 nvidia-smi 的相容版本選擇官方 Windows x64 CUDA build。
  • 沒有匹配 NVIDIA/CUDA 組合時，自動使用官方 CPU x64 build。
  • 同一 Release 的主包與 CUDA DLL 包會一起校驗並解壓。
  • 更新時解壓到新目錄，測試通過前保留舊版本。

GGUF 模型

  • 選擇 Instruction 或 Chat 模型，不使用未經對齊的 Base 模型。
  • 確認能夠理解日文，並穩定輸出所選中文。
  • 確認 llama.cpp 支援模型架構和 Chat Template。
  • 從可信釋出者下載，並在提供校驗值時完成核對。
顯示記憶體導向的初始選擇，不代表翻譯質量排名
可用顯示記憶體建議起點說明
6–8 GB 顯示記憶體7B/8B Q4適合作為首次載入與速度測試
10–12 GB 顯示記憶體8B–14B Q4實際佔用仍受架構和上下文影響
16 GB 顯示記憶體約 14B Q4也可嘗試較小模型的更高量化

模型架構、Context Size、Batch Size 和其他 GPU 程式都會影響真實顯示記憶體佔用。

控制面板

頁面預設在 127.0.0.1:18081 開啟，並分成四個標籤頁。

總覽

啟動、重新啟動或停止 llama-server；檢視執行狀態和當前 Profile 摘要。Endpoint 與 API Key 預設隱藏，需要時可分別臨時顯示。

模型設定

管理最多 12 個 Profile，選擇 llama.cpp 與 GGUF，並設定埠、網路範圍和推理參數。

連線測試

複測 API Key、Model ID、請求格式和非空中文輸出。啟動服務時也會自動執行一次相容性測試。

系統

檢視 Python、埠、GPU、記憶體診斷和執行日誌；區域網路地址與本機路徑預設隱藏，可按需臨時顯示。

首次測試保留這些預設值

參數預設值使用建議
Context Size8192顯示記憶體不足時優先減小；過小可能限制較長提示詞。
GPU Layers999請求儘可能多地解除安裝到 GPU；無可用 GPU 時可設為 0。
Batch Size512記憶體或顯示記憶體壓力仍然過高時再逐步減小。
UBatch Size256必須小於或等於 Batch Size。
CPU Threads0（自動）首次使用讓 llama.cpp 自動選擇。
Flash Attention開啟通常更節省資源；遇到不相容或啟動錯誤時嘗試 Auto 或關閉。
強制關閉模型思考關閉預設跟隨模型。只有模型文件明確支援且測試需要時才啟用。
Prompt Cache / Metrics / Slots開啟首次測試保持預設值，便於快取、效能觀察和請求狀態檢查。

連線 Android 手機

請點選總覽的“顯示 Endpoint”並複製當前地址，不要憑記憶手動組合 IP 和埠。

手機不能填寫 localhost、127.0.0.1、0.0.0.0、電腦主機名或路由器地址。

  1. 讓手機和電腦連線同一個可信 Wi-Fi 或區域網路。
  2. 把 Windows 當前網路配置為“專用網路”。
  3. 在當前 Profile 選擇“可信區域網路 + 本機”，儲存並重新啟動服務。
  4. 等待狀態變成“已就緒”，點選總覽的“顯示 Endpoint”，再用其中相同的電腦 IP 與埠開啟 /health 地址。
  5. 在 FgoGotran 的 API 設定中選擇“自定義 / 本地 AI”。
  6. 分別點選總覽的“顯示 Endpoint”和“顯示 API Key”，填寫兩項完整值及模型名稱，然後測試並應用設定。
API 地址http://<電腦區域網路IP>:18080/v1/chat/completions
手機瀏覽器測試http://<電腦區域網路IP>:18080/health
電腦總覽顯示 Endpoint手機“API 地址”
電腦總覽Model ID手機“模型”
電腦總覽顯示 API Key手機“API Key”

執行狀態說明

只有“已就緒”表示手機現在可以穩定發起翻譯請求。

STOPPED已停止

服務尚未啟動，或者已經正常停止。

STARTING正在啟動

正在檢查配置並建立 llama-server 程序。

LOADING正在載入模型

llama-server 已執行，正在把 GGUF 和執行緩衝區載入記憶體或顯示記憶體。

VERIFYING正在檢查相容性

健康檢查已通過，正在驗證 Chat Completions 能否返回可用文本。

RECOVERING正在應用相容回退

強制關閉思考與當前模型不相容，正在改用模型預設行為重新啟動一次。

READY已就緒

模型已經通過健康與相容性檢查，可以讓手機連線。

BUSY正在翻譯

llama-server 正在處理請求，短時間排隊屬於正常情況。

ERROR錯誤

服務啟動、模型載入或相容性檢查失敗；請檢視狀態詳情和執行日誌。

效能調節順序

每次只調整一類設定，儲存並重新啟動後再判斷效果。

1

先關閉其他 GPU 程式

瀏覽器、遊戲錄製和其他 AI 工具可能佔用顯示記憶體。釋放資源後重新啟動模型。

2

先減小 Context Size

這是顯示記憶體不足或載入失敗時的第一項調整。每次只改一項，並重新啟動後觀察。

3

改用更小的模型或量化

如果仍無法載入，選擇參數更小或量化更低的 GGUF，通常比盲目修改多個底層參數更可靠。

4

再減小 Batch 與 UBatch

逐步減小 Batch Size 和 UBatch Size，同時確保 UBatch 不大於 Batch。

5

最後檢查執行時相容性

檢查 llama.cpp 構建、顯示卡驅動、DLL、模型架構、Chat Template 和 Flash Attention 是否相容。

判斷翻譯質量時要連續測試多段 FGO 對白，包括人名、術語、省略主語和較長句子；不要只看內建相容性測試。

故障排查

先按問題現象檢查，再檢視“系統 → 執行日誌”中的最後幾行。

找不到 Python

安裝 64 位 Python 3.11–3.13。存在多個 Python 時，可用 FGO_LOCAL_PYTHON 指向需要的 python.exe。

管理頁面打不開

確認啟動命令視窗仍在執行，並開啟 http://127.0.0.1:18081。埠衝突時再使用 FGO_LOCAL_CONTROL_PORT 更換管理埠。

llama-server 路徑無效

選擇名為 llama-server.exe 的實際檔案，使用絕對路徑，並保留同一發行包中的全部 DLL。

掃描不到 GGUF

確認副檔名為 .gguf、模型目錄是絕對路徑，並且模型位於該目錄或它的子目錄內，然後重新掃描。

載入時退出或一直載入

檢視“系統 → 執行日誌”。常見原因是顯示記憶體或記憶體不足、DLL 缺失、執行時與驅動不匹配，或模型架構不受支援。

相容性測試失敗

確認 Model ID 與 llama-server 別名一致，並檢視認證、Chat Template、只有思考內容或空輸出等錯誤。測試超時為 45 秒。

手機無法連線

確認手機和電腦位於同一可信網路、Profile 使用“可信區域網路 + 本機”、服務已經就緒，並檢查 Windows 專用網路防火牆與 VPN。

設定儲存後沒有變化

模型、Model ID、埠、網路和推理參數屬於執行時設定。儲存後需要重新啟動 llama-server。

安全、備份與更新

區域網路 HTTP 沒有傳輸加密，只適合可信家庭網路或可信專用網路。

網路安全

防火牆只允許專用網路。不要使用公共 Wi-Fi，不要關閉整個防火牆，也不要把 18080 或 18081 對映到公網。

API Key

不要分享完整 Key。懷疑洩露時先停止服務，再更換 Key，並更新所有手機；舊 Key 會立即失效。

配置備份

更新或重置前備份 user_data。這個目錄含 API Key，不能上傳、公開或隨故障截圖一起傳送。

安全更新

先停止服務，再把新版 llama.cpp 解壓到新目錄。更新路徑並通過載入與翻譯測試後，才移除舊版本。

最終檢查清單

全部確認後，再開始長時間執行 FGO 翻譯。

  • 使用 64 位 Python 3.11、3.12 或 3.13
  • llama.cpp 來自可信來源並已完整解壓；自動下載已通過大小和 SHA-256 校驗
  • llama-server.exe 同目錄保留所需 DLL
  • GGUF 是從可信釋出者自行取得、支援日文輸入和中文輸出的 Instruction 或 Chat 模型
  • 手機連線時選擇“可信區域網路 + 本機”
  • Windows 防火牆只允許專用網路
  • 執行狀態已經變為“已就緒”
  • 啟動相容性測試或手動連線測試已經通過
  • 手機 API 地址來自總覽，並包含 /v1/chat/completions
  • 手機中的模型名稱與電腦 Model ID 完全一致
  • 手機使用完整的新 API Key
  • 沒有把 18080 或 18081 轉發到公網