AI 開發框架與基建 AI 工具推薦

TA

Truffle AI

被稱為「AI 代理界的 AWS」的後端平台，把 AI agent 包成可直接呼叫的 API，幫你扛掉部署、整合與基礎設施，開發者用簡單的 SDK 就能把代理塞進任何軟體裡，背後有 YC 撐腰。

開源的自架雲端開發環境平台,用 Terraform 模板把開發環境寫成基礎設施即程式碼,能跑在 AWS、GCP、Azure、Kubernetes 到裸機,還能替 AI 編碼代理提供受治理的工作空間。

O

Ona

Gitpod 改名而來,把雲端開發環境升級成軟體工程代理的指揮中心,Ona Agent 能平行或在背景自主跑任務,還帶上你環境的完整脈絡,並用 Guardrails 控管安全。

D

Daytona

專門用來跑 AI 生成程式碼的安全沙盒,90 毫秒內就能開出一個隔離環境,相容 Docker、跨多區域,還能保留檔案系統與記憶狀態,讓代理放心執行不可信的程式碼。

一個 API 串接 200 多個開源與商用大模型。矽基流動提供無伺服器推論、模型微調與專屬 GPU 部署,讓你在同一個平台上自由切換模型、按用量付費,省去自己養 GPU 的沉重負擔。

開源、可自架的全能檢索 API。Trieve 把搜尋、RAG、推薦與分析整合成一套 API,讓你不用拼湊一堆服務,就能為產品加上又準又快的語意搜尋與檢索能力。

L

LangWatch

AI 代理的測試與評估可觀測性平台。LangWatch 把正式環境的真實追蹤轉成評估資料集,還能模擬端到端的代理流程,讓你在出包前就抓到問題,而不是等使用者來抱怨才知道哪裡壞了。

專治 RAG 檢索不準。ZeroEntropy 提供高精度的重排序與嵌入模型,常常只要加上一行程式碼,就能把你檢索回來的結果排得更對,讓 AI 引用到真正相關的內容而不是似是而非的雜訊。

CP

Coral Protocol

跨框架的多代理基礎設施。Coral Protocol 提供代理註冊表、執行環境與零信任編排,讓來自不同團隊、不同框架的 AI 代理能彼此發現、安全協作,把「一堆各自為政的代理」變成真正會合作的系統。

C

Cua

給 AI 一台真正的雲端電腦。Cua 提供 Linux、Windows、macOS 沙盒桌面與開源 SDK,讓代理像人一樣移動滑鼠、點按鍵盤、操控整個作業系統,而不是只會呼叫幾個 API。

KA

Korbit AI

掛上你的 GitHub、GitLab 或 Bitbucket,它就自動審每一個 PR:抓 bug、寫摘要、給可直接照做的修改建議,像團隊裡多了一個不會累、不會漏的 review 機器人。

C

cubic

YC 出身的 AI 程式碼審查平台,能讀懂跨檔案的複雜邏輯,不只挑語法毛病,還會幫你畫架構圖、一鍵套用修正建議,讓 PR review 從拖時間變成幾分鐘的事。

KC

Kilo Code

開源 AI 編碼代理,不綁單一模型也不綁單一編輯器。VS Code、JetBrains、CLI 到雲端都能接,讓你用自己喜歡的 LLM 做跨檔重構與除錯,連工具費都透明可查。

O

OpenCode

開源、模型不綁定的終端機 AI 程式代理，可串接 75+ 個模型供應商，在自己的電腦上跑、支援離線與企業級部署。

F

FastGPT

開源的知識庫問答與工作流平台。

開源的 LLM 應用開發平台。

Z

Zilliz

Milvus 背後的雲端向量資料庫。

L

Lunary

開源的 LLM 觀測與管理平台。

LLM 應用的觀測與評估平台。

N

Nomic

嵌入模型與資料視覺化平台。

C

Chroma

給 AI 應用的開源嵌入式向量資料庫。

Q

Qdrant

高效能的開源向量資料庫。

W

Weaviate

開源的向量資料庫。

P

Pinecone

熱門的向量資料庫服務。

C

Cerebras

以自家晶片提供極速 AI 推論。

O

OpenPipe

微調與最佳化模型的平台。

L

LangSmith

LLM 應用的觀測與評估平台。

LLM 評估與監控平台。

P

PromptLayer

提示管理與監控平台。

P

Portkey

LLM 應用的 AI 閘道與管理平台。