AI-Interview-Code

AI 大模型相关算法中手写的面试题，（非 LeetCode），一般比 LeetCode 更考察一个人的综合能力，又更贴近业务和基础知识一点

• 欢迎关注我的博客：chaofa用代码打点酱油 ，内容一般会首先更新到博客上面，并且有更好的阅读体验。
• 当前也欢迎关注同名公众号 chaofa用代码打点酱油，这样可以获得订阅更新

目录

题目	难度	知识点	文字解读	视频解读
手写 Self-Attention	⭐⭐⭐	注意力机制	手写 Self-Attention 的四重境界
手写 Multi-Head Self-Attention	⭐⭐⭐	注意力机制	手写 Multi-Head Self-Attention
手写 Group-Query Attention	⭐⭐⭐	注意力机制	手写大模型组件之Group Query Attention，从 MHA -> MQA -> GQA
手写 Transformer Decoder（Causal Language Model, LM）	⭐⭐⭐⭐	Transformer 架构	手写 Transformer Decoder
计算 LLM (Decoder) 模型的参数量	⭐⭐⭐	模型参数量	TODO
LLM 模型训练推理显存占用预估	⭐⭐⭐⭐	显存占用	LLM 大模型训练-推理显存占用分析
手写 AUC	⭐⭐	模型评估	TODO
手写 KMeans	⭐⭐⭐⭐⭐	聚类	TODO
手写 线性回归	⭐⭐⭐⭐⭐	线性回归	TODO
手写 BPE 分词器	⭐⭐⭐⭐⭐	分词	TODO
手写 LayerNorm	⭐⭐	归一化	TODO
手写 BatchNorm	⭐⭐	归一化	TODO
手写 Softmax	⭐⭐	激活函数	TODO

一般不会考的

题目	难度	知识点	文字解读	视频解读
手写 LoRA	⭐⭐⭐⭐⭐	目的是为了深入了解 LoRA	LoRA 原理和 PyTorch 代码实现