会员登录 立即注册

搜索

本地部署Llama 3.1大模型

[复制链接]
崎山小鹿 发表于 2024-9-8 09:03:02 | 显示全部楼层 |阅读模式
崎山小鹿
2024-9-8 09:03:02 6637 1 看全部
Meta推出的Llama 3.1系列包括80亿、700亿、4050亿参数版本,上下文长度扩展至12.8万tokens,并增加了对八种语言的支持。
微信截图_20240925153343.png

部署模型需要用到Ollama的一个工具,访问官方网站
https://ollama.com
ollama 大部分代码基于 go 开发。当然你可以自己构建自己的模型从 GGUF/pyTorch or Safetensors 等等

微信截图_20240908085916.png

点击下载,选择下载你对应的操作系统下的工具
微信截图_20240908090054.png

运行下载下来的程序OllamaSetup.exe
微信截图_20240908090638.png
默认情况下,Ollama会被安装到C盘,但你可以通过自定义安装路径来更改安装位置。

打开CMD窗口,输入:ollama run llama3.1  开始部署llama3.1,需要4.7G的空间
ollamasetup.png
部署完成

这样就可以在本地使用llama3.1大模型了,可以在CMD里面直接输入问题,测试一下效果:
ollamasetup2.png

>>> hello
Hello! It's nice to meet you. Is there something I can help you with or would you like to chat?

>>> 切换成中文对话
好的!我可以切换为中文对话。我们可以从哪里开始聊天呢?

>>> 能给我解释一下万有引力吗?
当然可以!万有引力是牛顿在17世纪提出的一种物理力,它使得任何两个物体之间都有一定程度的吸引力。牛顿第三定律描述了这个
现象:两块物体相互作用时,反作用的力量大小与作用力的大小相同,而且方向相反。

地球和月球之间就有万有引力的作用。在日常生活中,我们也可以感受到万有引力的影响,比如:

* 东西掉在地上的时候,它们会向下拉回去,这是因为地球对它们的吸引力。
* 水流在河道里向下流动,尽管水表面看起来平稳,但实际上是受到了地球的吸引力。
* 人类和其他物体之间也会相互吸引(但是很弱,不足以改变生活),因为我们都受到地球的万有引力。

牛顿的万有引力定律简化为:

F = G \* (m1 \* m2) / r^2

其中:

* F 是两物体之间的吸引力。
* G 是万有引力的常数。
* m1 和 m2 是两块物体的质量。
* r 是它们之间的距离。

这是一个非常重要的理论,它解释了很多自然现象,包括星球、行星和其他天体之间的运动。


效果是不是很不错呢?

对llama3.1进行微调,微调的核心原因是赋予大模型更加定制化的功能。通用大模型虽然强大,但在特定领域可能表现不佳。通过微调,可以使模型更好地适应特定领域的需求和特征。
这里介绍一款微调框架:unsloth

unsloth微调Llama 3, Mistral和Gemma速度快2-5倍,内存减少80% !unsloth是一个开源项目,它可以比HuggingFace快2-5倍地微调Llama 3、Mistral和Gemma语言模型,同时内存消耗减少80%。
github:https://github.com/unslothai/unsloth

附:
更改模型默认保存路径
Ollama 下载的模型模型保存在 C 盘(Windows: C:\Users\<username>\.ollama\models),如果想更改默认路径的话,可以通过设置 OLLAMA_MODELS 进行修改。
在CMD中输入命令如下:
setx OLLAMA_MODELS "G:\ollama_model"
setollamamodels.png

重启终端(setx命令在Windows中设置环境变量时,这个变量的更改只会在新打开的命令提示符窗口或终端会话中生效。)
重启ollama服务(在Windows下面没有好的命令,可以重启计算机)

不能科学上网,或者网络不稳定可以下面的地址下载:
https://www.alipan.com/s/i6E9cNCsFFL


参考:
Ollama 可以在 Windows 上运行了 https://blog.csdn.net/engchina/article/details/136125933
天不生墨翟,万古如长夜!以墨运商,以商助墨。金双石科技长期招聘科技研发人才!微信:qishanxiaolu   电话:15876572365   公司:深圳市金双石科技有限公司
回复

使用道具 举报

 楼主| 崎山小鹿 发表于 2024-9-26 13:54:52 | 显示全部楼层
崎山小鹿
2024-9-26 13:54:52 看全部
部署通义千问:
ollama run qwen:7b   
微信图片_20240926224546.png

看看效果:
微信图片_20240926225046.png
天不生墨翟,万古如长夜!以墨运商,以商助墨。金双石科技长期招聘科技研发人才!微信:qishanxiaolu   电话:15876572365   公司:深圳市金双石科技有限公司
回复

使用道具 举报

  • 您可能感兴趣
您需要登录后才可以回帖 登录 | 立即注册 |

本版积分规则 返回列表

管理员给TA私信
以墨运商,以商助墨。

查看:6637 | 回复:1

  • 在村子中央建立图书馆

    昨天成绩斐然,收获两栋漂亮海滨别墅,和一个高级瞭望塔,但同时损失惨重,村民损失九

    阅读:0|2024-12-22
  • 墨家小镇文化与经济

    文化建设: 墨家十要 旗帜: 八卦 双鱼戏水 经济建设: 麦田、 甘蔗田

    阅读:156|2024-12-20
  • 墨者的面具

    仿照三星堆的面具做头像

    阅读:151|2024-12-19
  • 从出生地前往墨家小镇集合

    装饰一下出生地 现在有路标了,通过路标让会员找到我们的村庄,一路要非常小心不

    阅读:239|2024-12-18
  • 墨家盾牌和武器

    盾牌上有墨家的标志,武器上也有墨家的特色

    阅读:231|2024-12-17
  • 安全的保险箱

    每个人都一个自己的箱子,只有自己能开启。且死亡不掉落! 对着一个上方没有红石导

    阅读:240|2024-12-17
  • 我的世界之墨家旗帜

    如何在我的世界里创建独特的旗帜呢? 将图片生成像素画 https://chuiliu.github.io/d

    阅读:295|2024-12-16
  • 给服务器增加组件

    给服务器增加组件,例如:墨家旗帜 租赁服务器如何使用mod? 答:目前我的世界纯净

    阅读:356|2024-12-15
  • 用手机玩墨山游侠

    用手机玩墨山游侠 各大应用市场都可以下载我的世界游戏,启动之后 选择【开始游戏】

    阅读:366|2024-12-15
  • 墨山游侠服务器开启

    在网易上开启创服之旅 服务器号:25744989 我们先用游戏版本:1.12.2 来测试,看

    阅读:478|2024-12-14
金双石科技,软件开发20年,技术行业领先,您的满意,就是我们的目标,认真负责,开拓进取,让成品物超所值
关于我们
公司简介
发展历程
联系我们
本站站务
友情链接
新手指南
内容审核
商家合作
广告合作
商家入驻
新闻合作

手机APP

官方微博

官方微信

联系电话:15876572365 地址:深圳市宝安区西乡街道宝民二路宝民花园 ( 粤ICP备2021100124号-1 ) 邮箱:qishanxiaolu@qq.com
QQ|Powered by Discuz! X3.5 © 2001-2024 Discuz! Team.
快速回复 返回顶部 返回列表