AI世界的基石：Token与Embedding

@lp.Zhang：这视频 示意图做的很直观。 @jupyter.Mou：几分钟小视频，讲得很干货，也容易理解，讲得都是必备知识，可以看下。

AI世界的基石：Token与Embedding，一次讲透！_哔哩哔哩_bilibili

一个空格，凭什么耗费AI数十亿？揭秘大模型眼中的“天大的事”, 视频播放量 9685、弹幕量 8、点赞数 411、投硬币枚数 170、收藏人数 780、转发人数 95, 视频作者 AI茜茜茜, 作者简介 实用AI工具、科技洞察、效率提升，一起探索 AI 赋能的精彩未来！，相关视频：一小时从函数到Transformer！一路大白话彻底理解AI原理，10分钟讲清楚 Prompt, Agent, MCP 是什么，10分钟，让你彻底理解Transformer，Transformer从零详细解读(可能是你见过最通俗易懂的讲解)，原来写一个 AI Agent 这么简单，DeepSeek为什么会跌落神坛？，【科普】如何感性的理解AI大模型是什么，Google AI炸裂更新， 30個疯狂应用，完全免費，Google AI Studio、NotebookLM、Gemini 2.5pro、Opal 一次上手，翻遍整个B站，这绝对是2025讲的最好的AI Agent智能体教程，手把手教你从0基础开始搭建企业级Agent智能体！全程干货无废话，让你少走99%弯路！！，MCP是啥？技术原理是什么？一个视频搞懂MCP的一切。Windows系统配置MCP，Cursor Cline使用MCP

https://b23.tv/3IGLDz3

1. token

• Token：AI输出的最小单位，看懂输入内容的关键。

• Tokenizer：分词器，把输入内容切成一块一块的token。

GPT-4o模型中，常回 基地看看！被切割为7个token。

• Token ID：每一个切割的碎片（token）对应的“身份证号”。

GPT-4o：输入一句话，模型转换为：一串数字，逗号，一串数字…

• 模型生成回答：预测下一个最有可能出现的文字。

• 模型生成token ID，tokenizer通过“词典”翻译为汉字输出。

• 使用词块而非句子：减小词典规模

• 使用词块而非字母/字：减小翻译规模

• 分词比较：

• LLaMA-3和Qwen3的分词方式相似：都使用SentencePiece+BPE的分词器

• 分词器的训练：用海量英文语料训练的，擅长处理英文；用代码训练的，擅长处理代码…

• 分词器也分“特化”版本。

模型的进化：将控制python缩进的4个空格看作一个整体，即一个token。

DeepSeek-Coder：将888拆为3个token

ChatGPT：加入”<|user|>”、”<|assistant|>”，加入对话轮次和角色。

• 分词器进化史：成为模型能力的定义者。

• 模型：通过tokenizer把输入的文字变成数字ID

2. Embedding嵌入

• Embedding嵌入：AI理解世界的方式

• 给每一个token ID分配一个“坐标”，在多维空间中形成庞大的矩阵。

• 词块越相似，在多维空间中的距离越近。

• 语境化嵌入contextualized embedding

明确不同语境（“吃苹果”和“苹果公司”）中的词块（“苹果”）含义。

“吃苹果”：大模型将“苹果”的初始固定坐标进行一次瞬间移动，挪到靠近“水果”、“芒果”等概念的区域。

“苹果公司”：大模型将“苹果”的坐标瞬间移动到靠近“手机”、“数码”等概念的区域。

BERT中文模型理解：用分词器切碎句子，并在前后加入[CLS]、[SEP]两个token（开始处理、处理完成）。

模型输出一个的矩阵，经过动态计算后的浮点数，即包含上下文关系的新坐标。

坐标从何而来：大模型经过海量训练、对比学习预测得出。

Embedding Projector

@jupyter.Mou：这是

📈

Linear Programming&Integer Programming中提到的一个网站，大概是用英文单词embedding向量得到的超高维空间，再降维到二/三维，也添加了relevance，输入英文单词也可以看到相关单词的位置，比较有意思。

Embedding projector - visualization of high-dimensional data

Visualize high dimensional data.

https://projector.tensorflow.org/

Gemini3 prompt指南

@jupyter.Mou：lpZ发我的。

Gemini 3 提示词工程指南.pdf

954.3 KiB

Gemini 3 提示词工程：通用最佳实践.pdf

689.2 KiB

使用过的VPN

如果有好用性价比高的可以推荐给我～

飞连vpn @jupyter.Mou：这是最近开始用的，主要比之前用的便宜点哈哈。教程很详细，如果导入失败可以换个代理APP。我目前用的是ios端Shadowrocket；mac端Clash Verge。用几个月再来写下评价吧。

快塔vpn @jupyter.Mou：这个超级稳定，我从2023年开始用一直都是这个。流量很足，缺点是小贵吧，我有时候用不了那么多。这个使用的代理APP是ios端Shadowrocket；mac端ClashX Pro。

大模型的训练原理：梯度下降

@jupyter.Mou：梯度下降讲得通俗易懂,这篇视频里没懂的可以看看这篇。

大模型的训练原理 梯度下降：从一条直线讲起_哔哩哔哩_bilibili

从Linear到MLP AI模型的数学本质 https://www.bilibili.com/video/BV1i5koBtEUU从零搭建神经网络，识别手写数字 https://www.bilibili.com/video/BV1ypUkB7Eki加入知识星球（鞠躬感谢！）：https://t.zsxq.com/ubYr8, 视频播放量 2178、弹幕量 3、点赞数 148、投硬币枚数 73、收藏人数 104、转发人数 5, 视频作者 隔壁的程序员老王, 作者简介 喜欢分享知识的程序员 个人主页：codewithwang.com，相关视频：【中配】英伟达刚刚终结了 iPhone 时代——迎接首款 AI 新概念手机，15分钟从CNN到Transformer！一路大白话理解AI关键原理，从神器到弃子，新版DeepSeek评测：别被分数骗了！，AI 提示词工程 上下文工程 15分钟弄懂！，第三次失业潮后，IT行业已是夕阳产业，2026年程序员该何去何从？（码士集团），10分钟，让你彻底理解Transformer，不至于吧，梯度下降简单得有点离谱了啊！，1张4090 48G显卡先入DeepSeek已经满足很多小微团队，满血DeepSeek现在咨询的越来越少，，大家都在关心各种大模型，硬件预算真的不用太高了。，Qwen出图10倍质感提升，国人审美脸，这套摄影质感提升工作流，开源模型党必看，网络层：一个数据包的史诗之旅

https://b23.tv/ldBW1tV

1. 介绍

• 最简单的模型：

• 训练目的：确定和的值

• 训练数据：1000组input和output

2. 损失函数

• 将模型的参数赋值为一个随机数

• 将代入模型

• Loss Function 损失函数

• 为了避免折点，更方便计算，更新常用损失函数为：

3. 梯度下降

• 调整 的值，让变小

• 梯度：将对 求导

• 调整

参数：有数据训练出的数字。 超参数（Hyper parameter）：需要手动设置的数字。

• 改表 b 的值，让Loss变小

• 将对 求导

• 调整

• 更新 和

• 选取另外训练数据不断重复训练过程，直到变为较小的数值。

4. 批量训练

• 同时训练100个 和 b ，得到100个

 

• 先把 当成未知量，其他当作已知量，求梯度，再调整

• 再把 当成未知量，其他当作已知量，求梯度，再调整

• batch size（超参数）：一次训练的数据量。

“只要方向是对的，必将收敛于那个美好的未来。”

20行代码彻底搞懂小龙虾～

@jupyter.Mou：看看luping又给我发了啥🤣 @jupyter.Mou：代码门槛很低，很直观，0基础完全可以看懂LLM是怎么成为claw的

【闪客】20 行代码彻底搞懂小龙虾！男女老少都看得懂哟~_哔哩哔哩_bilibili

没有什么比亲手实现一个更容易理解它的原理，只要20行代码即可。, 视频播放量 109759、弹幕量 565、点赞数 7414、投硬币枚数 5296、收藏人数 5325、转发人数 1829, 视频作者 飞天闪客, 作者简介 专治不明白，合作：dibingfa2020，相关视频：OpenClaw玩了一个月，推荐7个龙虾的顶级用法！，一个视频搞懂OpenClaw！，OpenClaw 36个实战案例，Agent Skill 从使用到原理，一次讲清，🚀OpenClaw重磅更新！浏览器自动化终极方案，无需重复登录账号，工作流打包成可复用Skill！【龙虾教程】，【闪客】一口气拆穿Skill/MCP/RAG/Agent/OpenClaw底层逻辑，公司实习生说自己精通计算机，结果一开机就暴露实力，【保姆级】OpenClaw 全网最细教学：安装→Skills实战→多Agent协作，1 小时全精通！，当你装了openClaw后的所有结局，【全10集】全B站最详细“OpenClaw+微信+飞书+钉钉”教程，3小时快速实现自动化运行，手把手教你从0到1本地部署！小白适用！

https://b23.tv/e4se4N9

• 大语言模型：一问一答
• 写进程序里：用api接口
• 单次交互，无上下文&记忆——>补充到空的message中加入到对话循环即可。

• agent智能体：加上【命令】指令，让大模型一直执行命令直到任务完成。
• skills：给大模型更“聪明”的操作步骤
• 加入前端交互——>远程任务输入

• claw: > agent > 大语言模型 > 提示词
• 本质仍依赖提示词，以及各种命令的授权
• 目标在于更标准化、更命令化的实现

LoRA大模型微调是怎么回事

@jupyter.Mou：好玩，有意思哈哈哈。只需找到那百分之一。

什么是LoRA 大模型微调是怎么回事_哔哩哔哩_bilibili

加入知识星球（鞠躬感谢！）: https://t.zsxq.com/ubYr8大模型的训练原理 梯度下降：从一条直线讲起 https://www.bilibili.com/video/BV1mV2tBgE3G30行代码训练模型 手写数字识别 https://www.bilibili.com/video/BV1SdBcB7EtG, 视频播放量 7397、弹幕量 13、点赞数 461、投硬币枚数 244、收藏人数 450、转发人数 28, 视频作者 隔壁的程序员老王, 作者简介 喜欢分享知识的谷歌程序员 咨询服务与商务合作:contact@codewithwang.com，相关视频：LoRA : 发明者亲自解读，Token 到底是什么？—— 揭秘大模型背后的“文字压缩术”，真的不要微调模型，原来写一个 AI Agent 这么简单，如何把你的 DeePseek-R1 微调为某个领域的专家？（实战篇），大模型微调就是骗局，【完整版】微调：从原理到实操，该说的我都说了……，LoRA是什么？| 5分钟讲清楚LoRA的工作原理，作者亲自讲解：LoRA 是什么？，Agent Skill 从使用到原理，一次讲清

https://b23.tv/jc1X08T

• decoder only transformer

• q, k, v：固定矩阵，需要不断训练找到最优参数
• 模型训练：将海量数据放入模型进行计算，得到模型输出，并与期望输出通过数学的方式比较，从而不断地调整参数
• 预训练pre-training：输入普通文本，目的为教会AI通用知识，demand足够多的材料，算力消耗极大
• 模型微调：在预训练好的模型的基础上，再集中训练某些特定类型的文本，让模型的回复迅速集中到某一特定的知识领域。（大厂：对话形式）
• 监督微调sft：输入某一特定类型的文本，目的为让AI如何与用户对话，数据量仅为预训练的几万分之一，计算量小

• 二者在显存占用方面一样

 

• LoRa: Low-Rank Adaptation of LLMs
• 降低训练的显存需求
• 调整参数训练数量，相应地减少显存占用

• 根据每一个大矩阵，生成2个相乘的小矩阵。

• 优化后的显存占用如下：

• LoRA：使用rank很小的矩阵去适配一个大矩阵

• 保证微调更新量级：引入alpha

 

 

什么是大模型skill？

@jupyter.Mou：老师你发得过时啦，这篇视频咋是1月的🤣

什么是大模型Skill 10分钟弄懂_哔哩哔哩_bilibili

加入知识星球（鞠躬感谢！）: https://t.zsxq.com/ubYr8, 视频播放量 251933、弹幕量 421、点赞数 7185、投硬币枚数 3530、收藏人数 10312、转发人数 1983, 视频作者 隔壁的程序员老王, 作者简介 喜欢分享知识的谷歌程序员 咨询服务与商务合作:contact@codewithwang.com，相关视频：一次讲透SKill和MCP区别！4个神级MCP分享，【闪客】一口气拆穿Skill/MCP/RAG/Agent/OpenClaw底层逻辑，Agent Skill 从使用到原理，一次讲清，Token 到底是什么？—— 揭秘大模型背后的“文字压缩术”，10个神级Agent Skills无保留分享！让AI自动干活！【Skill实战】，10分钟讲清楚 Prompt, Agent, MCP 是什么，从 LLM 到 Agent Skill，一期视频带你打通底层逻辑！，Agent Skills到底是什么，一个动画彻底搞懂！，（比刷剧爽！）2026公认最好的《Claude Code》教程，附课件代码—Claude Code探索-测试-重构-调试代码库，我让OpenClaw自动炒股， 最后赚钱了吗？| 摩尔线程 AIBOOK

https://b23.tv/66YtPv7

• skill：一个skill的文件夹，包括：
• 一段关于该skill的简短介绍（metadata），概括skill的作用
• 具体精确细致的操作步骤，skill.md的主要内容

• discovery：发现问题，与skill匹配

• activation：激活，动态读取问题并选择相应的skill
• 减小skill体积：创建其他相关knowledge.md并按需读取

• execution：按需读取相应的skill文件