李辰博

RESNET实践-零件缺陷分类

2024.09-2024.10| 独立完成

项目经历

通过学习经典模型ResNet的结构，重点掌握ResNet中残差块的原理。依托PyTorch框架搭建模型，基于ImageNet数据集训练ResNet-18的预训练权重并加载到模型中。通过获取原模型全连接层的输入特征值，以开源 DeepPCB数据集作为训练数据集，将全连接层的输出类别修改为 6 种。在训练过程中，采用了余弦退火学习率调度策略，动态调整学习率，使模型在训练初期能够快速收敛，后期能够更精细地调整参数。

项目成就

采用网格搜索法设置3*3的网格调整batch-size、学习率等超参数进行训练，在测试数据集中准确率可达95%，精确率达到了93%，召回率为92%，F1 值为 92.5%，表明模型在零件缺陷分类任务上具有较高的准确性和可靠性。

中医问答大模型-本草悟道

2024.03-2024.05| 主负责人

项目经历

基于Qwen1.5-14B开发中医问答大模型，利用Langchain的文档加载与智能分割技术，高效处理了Hugging Face平台上的TCM、MLEC-QA等结构化数据集，以及中医古籍文献等非结构化数据集。引入检索增强生成(RAG)技术，使用acge_text_embedding模型作为Embedding模型，运用俄罗斯套娃表征学习(MRL)产生可变维度嵌入向量，基于Milvus构建向量数据库，通过检索知识为模型提供上下文，提升中医问答能力。借助Langchain的多模态接口集成能力，将基座模型和文生图(Stable Diffusion)模型进行集成，解决用户生成中医药图片的需求。模型训练中引入LoRA微调来代替全微调，冻结基座模型的所有Embedding层和LayerNorm层，仅对Query和Value 矩阵进行低秩(R=8)分解,可训练参数较原模型减少约 99.98%(14B->2.8M)，使训练时间缩短 40%。

项目成就

经RAG技术与LoRA微调加持后，模型在神农中医药数据集上的问答准确率达 89.7%，较基座模型提升12%，文生图通过CLIP模型计算相似度达92%，实现中医问答与多模态功能高效落地。