AI 開發框架與基建 AI 工具推薦

D

Dyad

開源、本地優先的 AI 應用建構工具,被視為 Lovable、v0 的開源替代,在你自己的電腦上用自然語言做出可運行的 app,程式碼完全屬於你,還能自帶 API 金鑰、不被平台綁定。

TA

Truffle AI

被稱為「AI 代理界的 AWS」的後端平台，把 AI agent 包成可直接呼叫的 API，幫你扛掉部署、整合與基礎設施，開發者用簡單的 SDK 就能把代理塞進任何軟體裡，背後有 YC 撐腰。

開源的自架雲端開發環境平台,用 Terraform 模板把開發環境寫成基礎設施即程式碼,能跑在 AWS、GCP、Azure、Kubernetes 到裸機,還能替 AI 編碼代理提供受治理的工作空間。

O

Ona

Gitpod 改名而來,把雲端開發環境升級成軟體工程代理的指揮中心,Ona Agent 能平行或在背景自主跑任務,還帶上你環境的完整脈絡,並用 Guardrails 控管安全。

M

MLflow

開源的 AI 工程平台,從 ML 模型一路延伸到 LLM 與代理,提供端到端追蹤、評估、監控與最佳化,月下載破三千萬,被無數團隊用來除錯與優化正式環境的 AI 應用。

B

Bifrost

用 Go 寫的高效能開源 LLM 閘道,號稱比 LiteLLM 快 50 倍、5000 RPS 下額外延遲只有微秒級,統一接 1000 多個模型,內建負載平衡、護欄與觀測性。

L

LiteLLM

開源的 AI 閘道,用統一的 OpenAI 格式呼叫 100 多家 LLM,內建成本追蹤、負載平衡、護欄與日誌,可當 Python SDK 用也能部署成團隊共用的代理伺服器。

V

VoltAgent

開源的 TypeScript AI 代理框架,內建記憶、RAG、護欄、工具、MCP、語音與工作流引擎,還能用主管代理調度一群子代理,接任何模型供應商都行。

D

Daytona

專門用來跑 AI 生成程式碼的安全沙盒,90 毫秒內就能開出一個隔離環境,相容 Docker、跨多區域,還能保留檔案系統與記憶狀態,讓代理放心執行不可信的程式碼。

一個 API 串接 200 多個開源與商用大模型。矽基流動提供無伺服器推論、模型微調與專屬 GPU 部署,讓你在同一個平台上自由切換模型、按用量付費,省去自己養 GPU 的沉重負擔。

開源、可自架的全能檢索 API。Trieve 把搜尋、RAG、推薦與分析整合成一套 API,讓你不用拼湊一堆服務,就能為產品加上又準又快的語意搜尋與檢索能力。

L

LangWatch

AI 代理的測試與評估可觀測性平台。LangWatch 把正式環境的真實追蹤轉成評估資料集,還能模擬端到端的代理流程,讓你在出包前就抓到問題,而不是等使用者來抱怨才知道哪裡壞了。

專治 RAG 檢索不準。ZeroEntropy 提供高精度的重排序與嵌入模型,常常只要加上一行程式碼,就能把你檢索回來的結果排得更對,讓 AI 引用到真正相關的內容而不是似是而非的雜訊。

T

TensorZero

開源的 LLMOps 全家桶。TensorZero 把 LLM 閘道、可觀測性、評估,跟自動化的模型與提示詞優化迴圈整合在一起,讓你的 AI 應用能從正式環境的真實資料中持續學習、越用越準。

CP

Coral Protocol

跨框架的多代理基礎設施。Coral Protocol 提供代理註冊表、執行環境與零信任編排,讓來自不同團隊、不同框架的 AI 代理能彼此發現、安全協作,把「一堆各自為政的代理」變成真正會合作的系統。

開源自架的 AI 桌面代理。Bytebot 在容器化的 Linux 桌面裡給 AI 一台屬於自己的電腦,你用一句白話交代任務,它就自己開瀏覽器、填表單、下載檔案,把多步驟的雜事一路做完。

C

Cua

給 AI 一台真正的雲端電腦。Cua 提供 Linux、Windows、macOS 沙盒桌面與開源 SDK,讓代理像人一樣移動滑鼠、點按鍵盤、操控整個作業系統,而不是只會呼叫幾個 API。

BA

BaseRock AI

代理式 QA 平台,用真實業務情境跑測試,自動驗證商業邏輯有沒有回歸、抓出那種測試覆蓋率漂亮卻還是會出包的隱性錯誤。

把動態程式碼審查、安全掃描與行動 App QA 自動化綁在一起的代理式品質平台。一個地方搞定 review、找漏洞、測 App,不用拼湊好幾個工具。

L

Lightrun

AI SRE 平台,讓你在不重啟、不重新部署的情況下直接對生產環境動態插入遙測與除錯,再交給代理做根因分析與修正建議。線上爆 bug 不用再靠猜了。

D

Diffblue

牛津團隊做的企業級 Java 自動單元測試代理。用強化學習而非生成式猜測,大規模幫你寫出、維護 Java 單元測試,專治那種「沒人想補測試」的龐大遺留系統。

KA

Korbit AI

掛上你的 GitHub、GitLab 或 Bitbucket,它就自動審每一個 PR:抓 bug、寫摘要、給可直接照做的修改建議,像團隊裡多了一個不會累、不會漏的 review 機器人。

C

cubic

YC 出身的 AI 程式碼審查平台,能讀懂跨檔案的複雜邏輯,不只挑語法毛病,還會幫你畫架構圖、一鍵套用修正建議,讓 PR review 從拖時間變成幾分鐘的事。

KC

Kilo Code

開源 AI 編碼代理,不綁單一模型也不綁單一編輯器。VS Code、JetBrains、CLI 到雲端都能接,讓你用自己喜歡的 LLM 做跨檔重構與除錯,連工具費都透明可查。

O

OpenCode

開源、模型不綁定的終端機 AI 程式代理，可串接 75+ 個模型供應商，在自己的電腦上跑、支援離線與企業級部署。

S

SambaNova

以自家晶片提供高速 AI 推論。

F

FastGPT

開源的知識庫問答與工作流平台。

開源的 LLM 應用開發平台。

L

LanceDB

為 AI 打造的開源向量資料庫。

Z

Zilliz

Milvus 背後的雲端向量資料庫。