08. 震惊!我,一个AI技术小白,竟然用Dify+Ollama手搓出了自己的AI聊天助手!
08. 震惊!我,一个AI技术小白,竟然用Dify+Ollama手搓出了自己的AI聊天助手!
文 / Kenyon
原创文章,转载请联系授权
写在前面:从AI小白到AI创造者的逆袭
大家好,我是Kenyon!继上一篇《揭秘Deepseek:只用GPT-4成本的6%,却做出更聪明的AI?》带大家简单地了解了一下AI智能助手的工作原理之后,今天我想要跟大家分享一个技能:作为一个连LLM模型底层是怎么实现都不懂的技术小白,也能在半天内成功搭建了一个属于自己的AI聊天助手!
是的,你没听错!不是用ChatGPT,不是用文心一言,而是完全属于我们自己的、可以定制化训练的AI助手!而且整个过程简单到让你怀疑人生——原来搞AI可以这么容易?
为什么要自己搞AI助手?
事情是这样的:年初的时候,要给公司做一个小程序,我在网上看到各种AI工具,什么ChatGPT、Claude、Deepseek,用起来确实很爽。但是每次都要翻墙、每次都要付费、每次都要担心隐私问题...作为一个有点强迫症的人,我实在是受不了了!
于是我就想:能不能自己搞一个?就像自己在家做饭一样,既省钱又放心!
我的"神器"组合:Dify + Ollama
那时候的我对于AI系统还是一个小白,不过经过一番研究,我发现了两个超级好用的工具:
Dify:AI应用的"乐高积木"
想象一下,Dify就像一个AI应用的"乐高积木"工具箱。你不需要懂代码,只需要像搭积木一样,把各种功能模块组合起来,就能搭建出属于自己的AI应用!
Ollama:本地运行的AI"大脑"
Ollama就更神奇了!它能让AI模型在你的电脑上本地运行,就像给你的电脑装了一个AI大脑。不需要联网,不需要付费,完全私有化部署!
手把手教学:我是怎么做到的?
第一步:安装Ollama(5分钟搞定)
这个步骤简单到让我想哭!
- 打开Ollama官网(https://ollama.com/download)
- 下载对应你操作系统的安装包

- Windows双击安装,一路"下一步",MacOS直接拖到Applications文件夹
- 运行程序,并打开命令行,输入:
ollama run llama3.2,这里需要下载模型,而且速度比较满,需要耐心等待。不过有个技巧,就是如果发现下载的速度慢了,就Ctrl+C中断下载,然后重新输入命令,就会从上次中断的地方继续下载。
就这么简单!你的电脑就已经有了一个AI大脑!
第二步:安装Dify(20分钟搞定)
Dify的安装也很简单:
- 确保你的电脑有Docker(没有的话先装Docker)以及翻墙的工具
- 打开命令行,逐行输入:
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d- 等启动完了打开浏览器,访问 http://localhost
恭喜!你已经成功搭建了AI应用平台!
第三步:连接两个"神器"(3分钟搞定)
这是最关键的一步,但也是最简单的:
配置Ollama的模型
- 打开Dify右上角的"设置"

- 点击模型供应商

- 找到
Ollama,然后点击安装,这里忘记截图了,不过截了安装深度求索的截图
- 安装前面下载好的
llama3.2模型,这里用的截图是deepseek的,除了名称,其他都是一样的,填写好了点击保存

- 配置好了模型后,如下图:

- 打开Dify右上角的"设置"
在Dify界面点击"新建应用"

选择"聊天机器人"模板,输入名称

点击"LLM"的组件,配置我们前面设置好的模型

可以按照默认的配置,然后点击“预览”测试效果


接着点击“发布”就可以了

大功告成!你的专属AI助手已经诞生了!
我的AI助手能做什么?
基础功能:聊天对话
我的AI助手现在可以:
- 回答各种问题(比百度好用多了!)
- 帮我写邮件、写文案
- 翻译各种语言
不过前提是你要知道怎么写提示词,如果提示词写得不好,AI助手可能会出现严重的降智。
高级功能:定制化训练
最让我兴奋的是,我还可以训练它专门为我服务:
场景1:我的专属代码助手
我上传了自己的代码数据,现在AI助手能:
- 集成到IDE上写代码,根据我的代码习惯推荐专有的代码提示词
- 再也不用怕自己的代码被上传到其他地方涉密了。
场景2:我的私人理财顾问
我输入了自己的收入和支出数据,现在AI助手能:
- 帮我分析消费习惯
- 制定省钱计划
- 推荐合适的理财产品
场景3:我的写作助手
我上传了自己喜欢的文章风格,现在AI助手能:
- 帮我润色文章
- 提供写作灵感
- 检查语法错误
为什么这个组合这么牛?
1. 完全免费!
- Ollama本地运行,不花一分钱
- Dify社区版免费使用,如果想功能更强大一点的可以试下n8n
- 再也不用担心API费用了!
2. 完全私有!
- 所有数据都在自己电脑上
- 不用担心隐私泄露
- 可以放心上传敏感信息
3. 超级简单!
- 不需要懂代码
- 图形化界面操作
- 像玩积木一样简单
4. 功能强大!
- 支持多种AI模型
- 可以定制化训练
- 支持各种应用场景
我遇到的坑和解决方案
坑1:电脑配置不够
刚开始我用的是老旧的笔记本电脑,运行起来卡得要命。
- 解决方案:换了一台配置好点的电脑,或者使用云服务器。其实现在很多云服务器都很便宜,一个月几十块钱就能搞定。
坑2:模型下载慢
第一次下载AI模型的时候,等得我花儿都谢了。
- 解决方案:选择小一点的模型开始,比如
llama2:7b,等熟悉了再换大模型。
坑3:不知道怎么用
刚开始面对这么多功能,我也有点懵。
- 解决方案:多看官方文档,多在社区里交流。Dify和Ollama都有很活跃的社区,很多问题都能找到答案。
我的使用心得
给技术小白的建议:
- 别怕,大胆尝试:真的没有想象中那么难
- 从简单开始:先用小模型,熟悉了再升级
- 多问多学:遇到问题就去社区求助
- 结合实际需求:想清楚你要AI助手帮你做什么
我的收获:
- 成就感爆棚:从AI使用者变成了AI创造者
- 技能提升:虽然还是小白,但至少知道AI是怎么回事了
- 实际价值:真的帮我解决了很多实际问题
未来展望:AI助手的无限可能
现在我的AI助手已经成了我的得力助手,但我还在不断探索新的可能性:
计划中的升级:
- 语音交互:让AI能听懂我说话
- 多模态:支持图片、视频处理
- 自动化:让AI帮我自动处理一些重复性工作
梦想中的场景:
- 早上起床,AI助手已经帮我安排好一天的工作
- 工作中遇到问题,AI助手实时提供解决方案
- 下班后,AI助手帮我总结今天的工作成果
最后想说
如果你也像我一样,对AI既好奇又有点害怕,那我强烈建议你试试Dify + Ollama这个组合。
真的,这可能是你离AI最近的一次机会!不需要高深的技术,不需要昂贵的设备,只需要一点勇气和好奇心。
相信我,当你看到自己亲手搭建的AI助手第一次回答你的问题时,那种成就感是无法用语言形容的!
互动时间:
如果你也想尝试搭建自己的AI助手,或者已经尝试过了,欢迎在评论区分享你的经历!我们一起交流,一起进步!
资源推荐:
- Ollama官网:https://ollama.ai
- Dify官网:https://dify.ai
- 相关教程:B站上有很多详细的视频教程
原创不易,如果觉得有帮助,请点赞、在看、转发三连支持!

