MacBook本地大模型入门
本文部分使用本地大模型生成
文字生成ai
Ollama
Ollama是一个开源的大型语言模型服务,提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。
工作流集成平台
dify.ai
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。
由于 Dify 内置了构建 LLM 应用所需的关键技术栈,包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排,并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间,使其可以专注在创新和业务需求上。
文生图
Stable Diffusion web UI
这个项目是使用Gradio库实现的一个Web界面,用于让用户能够通过Web访问并与Stable Diffusion模型进行交互。
mac 原生stable diffusion
在Apple Silicon上使用Core ML将Stable Diffusion模型转换为可在iOS和macOS上运行的形式,从而能够在这些平台上运行这个模型。
其中还有一个hubgging face提供的官方demo app
一只生成的猫,提示词 “cat in the style of Vermeer”