暂停使用QQ作为服务对接,请大家使用网站在线工单系统联系我,目前只接待VIP办理、VIP售后,看到即回复,非实时。
查看: 2777|回复: 39

[人工智能&深度学习] Llama3大模型原理代码精讲与部署微调评估实战

[复制链接]
  • TA的每日心情
    开心
    昨天 00:25
  • 签到天数: 2631 天

    连续签到: 27 天

    [LV.Master]伴坛终老

    注册时间
    2012-9-3
    最后登录
    2024-10-6

    1万

    主题

    1万

    帖子

    16万

    积分

    管理员

    2012年到2024年,感谢各位会员朋友的支持!

    Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62Rank: 62

    推广达人宣传达人突出贡献优秀版主荣誉管理论坛元老vip会员

    QQ
    发表于 2024-9-10 23:32:13 | 显示全部楼层 |阅读模式
    Llama3大模型原理代码精讲与部署微调评估实战

    2a846a287a3121e42f3e328d95092bae_042dd7a356679592d9817760fc75605304b0ef.jpg

    本课程首先讲述了有关Transformer和大语言模型(LLM)的关键前置知识, 包括注意力机制、多头注意力、编码器-解码器结构等Transformer原理, 以及LLM的文本生成和LLM微调技术原理。

    在此基础上, 重点介绍了Llama 3模型的进化历程、技术原理和代码实现。其中涉及RMSNorm归一化、SwiGLU激活函数、RoPE位置编码、GQA注意力和KVCache等关键技术。通过代码解析, 深入剖析了Llama 3的架构设计和代码实现。

    在实践部分, 课程还介绍了如何在阿里云使用Ollama和vLLM部署Llama 3模型, 以及使用llama_factory工具进行基于LoRA和QLoRA的llama3 8B大模型微调。项目实战环节则提供了从准备数据集到训练、推理、评估的全流程指导, 聚焦中文增强和医疗问答两大应用方向。

    这是一门内容全面、理论实践并重的大模型课程。不仅系统讲解了LLM和Llama 3的技术原理, 还通过代码解析和实战项目深度剖析了相关技术在工程落地中的关键环节, 有助于学员全面掌握大模型相关知识和动手实战能力。

    具体课程内容如下:

    前置知识1:Transformer原理与代码精讲
    - 注意力机制:了解注意力机制如何使模型能够捕捉输入序列中不同位置之间的相关性。
    - 自注意力:解释自注意力如何允许序列的每个元素都与序列中的其他元素进行交互。
    - 多头注意力:探讨多头注意力如何通过并行处理多个注意力层来增强模型的能力。
    - 位置编码:学习位置编码如何为模型提供序列中单词的位置信息。
    - 编码器和解码器:深入分析Transformer的编码器和解码器结构,以及它们在模型中的作用。
    - 层归一化(LayerNorm)和前馈网络(FFN):介绍这两种技术如何帮助稳定和增强模型的训练过程。
    - 代码精讲:讲解Transformer模型的PyTorch代码实现细节等。

    前置知识2:大模型(LLM)文本生成
    - LLM的推理方式
    - LLM的文本生成模式: 主要有Completion模式和Chat模式两种
    - LLM的文本生成策略: 包括贪婪搜索、束搜索、随机采样、温度采样、Top-k采样和Top-p采样等
    - LLM中的Token与分词器
    - llama3的文本生成过程
    - LLM文本生成的预填充和解码阶段
    - LLM文本生成中的Q、K、V机制

    前置知识3:大模型微调原理
    - LLM的开发流程可分为预训练、有监督微调、奖励建模和强化学习四个阶段
    - 从基座模型到对话模型的转变。
    - 针对特定领域的SFT微调
    - 微调的技术方法包括全参微调、冻结微调、LoRA、QLoRA
    - LoRA技术原理和有效性
    - QLoRA技术原理


    Llama3进化史和生态
    -Llama3原理精讲
    - Llama3模型架构
    - RMSNorm归一化技术
    - SwiGLU激活函数
    - RoPE旋转位置编码
    - GQA分组查询注意力
    - KVCache

    Llama3代码解析

    - 各文件功能
    - completion和chat应用脚本代码解析
    - generation.py代码解析
    - model.py代码解析
    - tokenizer.py代码解析
    - RMSNorm代码解析
    - SwiGLU代码解析
    - GQA代码解析
    - RoPE代码解析
    - KVCache代码解析


    Llama3部署(阿里云演示)
    - Ollama部署llama3-阿里云免费GPU算力领取及实例创建、ollama安装、llama3推理
    - VLLM部署llama3

    Llama3项目实战1-llama_factory微调llama3中文增强大模型(阿里云演示)
    - llama_factory介绍
    - llama_factory安装及llama3模型下载
    - LoRA微调训练llama3 8B Instruct模型
    - llama3中文增强大模型推理
    - llama3中文增强大模型评估(MMLU, CEVAL, CMMLU)
    - LoRA文件合并

    Llama3项目实战2-llama_factory微调llama3医疗问答大模型(LoRA) 阿里云演示
    - 准备医疗问答大模型数据集
    - LoRA微调训练llama3 8B Instruct模型
    - llama3医疗问答大模型推理

    Llama3项目实战3-llama_factory微调llama3医疗问答大模型(QLoRA) (阿里云演示)
    - QLoRA微调训练llama3 8B Instruct模型
    - llama3医疗问答大模型推理



    资源目录:
    1 课程介绍.mp4
    2 注意力机制.mp4
    3 自注意力机制.mp4
    4 Transformer的架构概述.mp4
    5 Transformer Encoder的多头注意力.mp4
    6 Transformer Encoder的位置编码.mp4
    7 Transformer 残差链接、LayerNorm、FFN.mp4
    8 Transformer Decoder.mp4
    9 Transformer 训练及性能.mp4
    10 Transformer机器翻译工作流程.mp4
    11 Transformer的Encoder代码解读.mp4
    12 Transformer的Decoder代码解读.mp4
    13 Transformer的超参设置代码解读.mp4
    14 Transformer的训练示例(人为随机数据)代码解读.mp4
    15 Transformer的训练示例(德语-英语机器翻译)代码解.mp4
    16 结合中文注释代码深入解读1.mp4
    17 结合中文注释代码深入解读2.mp4
    18 LLM推理方式.mp4
    19 文本生成模式.mp4
    20 文本生成策略.mp4
    21 Token和分词器.mp4
    22 文本生成过程.mp4
    23 prefill和解码阶段.mp4
    24 llama3文本生成过程.mp4
    25 文本生成时的QKV含义.mp4
    26 大模型开发阶段划分.mp4
    27 SFT微调.mp4
    28 微调方法(全参、冻结参数、LoRA、QLoRA).mp4
    29 LoRA微调.mp4
    30 QLoRA微调.mp4
    31 llama模型进化史.mp4
    32 llama3模型类型.mp4
    33 llama大模型生态.mp4
    34 llama3模型架构.mp4
    35 RMSNorm归一化.mp4
    36 SwiGLU激活函数.mp4
    37 RoPE旋转位置编码.mp4
    38 GQA分组查询注意力.mp4
    39 KVCache.mp4
    40 各文件功能.mp4
    41 completion和chat应用脚本代码解析.mp4
    42 generation.py代码解析.mp4
    43 model.py代码解析.mp4
    44 tokenizer.py代码解析.mp4
    45 RMSNorm代码解析.mp4
    46 SwiGLU代码解析.mp4
    47 GQA代码解析.mp4
    48 RoPE代码解析.mp4
    49 KVCache代码解析.mp4
    50 阿里云实例创建.mp4
    51 ollama介绍.mp4
    52 ollama安装.mp4
    53 llama3推理.mp4
    54 vLLM部署llama3.mp4
    55 llama_factory介绍.mp4
    56 llama_factory安装及llama3模型下载.mp4
    57 LoRA微调训练.mp4
    58 llama3中文增强大模型推理.mp4
    59 llama3中文增强大模型评估.mp4
    60 lora文件合并.mp4
    61 数据集准备.mp4
    62 lora 微调.mp4
    63 llama3医疗问答大模型推理.mp4
    64 qlora微调 .mp4
    65 qlora微调的医疗问答大模型推理.mp4
    课程资料.zip

    image.png image.png

    下载地址:
    游客,如果您要查看本帖隐藏内容请回复

    三六五网络学院 - 论坛版权1、本主题所有言论和图片纯属会员个人意见,与本论坛立场无关
    2、本站所有课程收集于互联网,该帖子作者与三六五网络学院不享有任何版权,如有侵权请联系本站删除
    3、本站部分内容转载自其它网站,但并不代表本站赞同其观点和对其真实性负责
    4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
    5、三六五网络学院管理员和版主有权不事先通知发贴者而删除本文

    回复

    使用道具 举报

    该用户从未签到

    1

    主题

    34

    帖子

    85

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    85
    发表于 2024-9-11 02:14:16 | 显示全部楼层
    1111111111
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    85

    帖子

    182

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    182
    发表于 2024-9-11 04:12:02 | 显示全部楼层
    dwadawdwadwdwa
    回复

    使用道具 举报

  • TA的每日心情

    2024-8-14 04:31
  • 签到天数: 485 天

    连续签到: 1 天

    [LV.9]以坛为家II

    2

    主题

    844

    帖子

    6283

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    6283
    发表于 2024-9-11 07:01:01 | 显示全部楼层
    哈哈哈哈哈哈
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    2023-12-27 22:01
  • 签到天数: 501 天

    连续签到: 1 天

    [LV.9]以坛为家II

    10

    主题

    1640

    帖子

    7679

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    7679
    发表于 2024-9-11 07:59:34 | 显示全部楼层
    好好学习,天天向上
    回复

    使用道具 举报

  • TA的每日心情

    2023-12-27 11:45
  • 签到天数: 1345 天

    连续签到: 4 天

    [LV.10]以坛为家III

    0

    主题

    2384

    帖子

    7457

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    7457

    vip会员

    发表于 2024-9-11 08:24:57 | 显示全部楼层

    楼主太厉害了!楼主,I*老*虎*U!我觉得三六五网络学院真是个好地方!
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2023-12-27 08:48
  • 签到天数: 1164 天

    连续签到: 4 天

    [LV.10]以坛为家III

    14

    主题

    1999

    帖子

    1万

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    13378
    发表于 2024-9-11 08:59:19 | 显示全部楼层
    好好学习,天天向上
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2024-9-6 12:32
  • 签到天数: 363 天

    连续签到: 1 天

    [LV.8]以坛为家I

    8

    主题

    1342

    帖子

    4493

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    4493
    发表于 2024-9-11 13:39:49 | 显示全部楼层

    我看不错噢 谢谢楼主!三六五网络学院越来越好!
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2024-9-22 09:33
  • 签到天数: 579 天

    连续签到: 1 天

    [LV.9]以坛为家II

    9

    主题

    1917

    帖子

    1422

    积分

    [终身VIP会员]

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    1422

    vip会员

    发表于 2024-9-11 19:25:28 来自手机 | 显示全部楼层
    111111111111
    回复

    使用道具 举报

  • TA的每日心情

    3 小时前
  • 签到天数: 2500 天

    连续签到: 347 天

    [LV.Master]伴坛终老

    26

    主题

    1万

    帖子

    1万

    积分

    终身vip会员

    Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25Rank: 25

    积分
    16703
    发表于 2024-9-12 16:34:20 | 显示全部楼层
    回帖学习学习
    回复

    使用道具 举报

    懒得打字嘛,点击右侧快捷回复
    您需要登录后才可以回帖 登录 | 注册

    本版积分规则

    商务合作

    客服QQ:1980803031
    点击这里给我发消息
    Copyright;  ©2012-2016  教程论坛  Powered byDiscuz!  技术支持:三六五网络学院