新闻动态

大模型技术应用实训室解决方案

发布者：布时间：2024-04-08 14:52:06 点击量：

一、建设背景

随着大数据、云计算等技术的不断进步，大模型技术已成为人工智能领域的重要研究方向，其在自然语言处理、计算机视觉、语音识别等领域展现出强大的应用潜力。自2022年11月ChatGPT问世以来，大模型开始备受关注，科技巨头们纷纷推出大模型实验室解决方案。大模型的价值不知在于互联网场景，而在于大模型能力垂直化，能够与具体的业务需求深度融合。

大模型实验室是在学校现有的实验室建设基础上，依托行业标杆企业，聚焦行业大模型产业发展方向，建设一个产学研一体化的合作教学平台，形成“教与学紧密结合、理论与实践紧密结合，学校与企业紧密结合”的创新教育模式。大模型实验室不仅可以赋能院校“双师型”师资队伍建设，还能培养大模型应用开发方面的复合型、创新型人才。

基于产教融合实训基地开放共享应用需要和校企合作项目化特点，建设集教学培训、项目实践、科研于一体的“大模型技术应用实训室”，满足集教学、科研、培训、社会服务于一体的应用、管理与服务需要，形成一批有影响力的社会服务成果，促进科技成果转化和产业化，不断提升学校服务地方经济社会发展的能力。

在当前信息化社会背景下，高职院校作为培养高技能人才的重要基地，面临着培养具有创新能力、实践能力和跨界融合能力的高素质人才的需求。因此，建设大模型技术应用实训室，为学生提供实践平台，对于提升高职院校人才培养质量、推动产学研用深度融合具有重要意义。建设大模型技术应用实训室，有助于培养更多具备大模型技术应用能力的高素质人才，满足社会经济发展的需求。

二、关键技术

模型架构设计与优化：大模型的架构设计至关重要，它决定了模型能否有效地处理海量数据并提取出有价值的信息。同时，模型的优化也是提升性能的关键，包括超参数调整、模型剪枝、量化等技术，以减少计算量、提高推理速度。

预训练与迁移学习：预训练技术使得模型在大量无标注数据上进行学习，从而掌握通用的知识表示。迁移学习则允许将预训练好的模型迁移到新的任务上，通过微调适应特定领域的需求，极大地提高了模型在新任务上的性能。

分布式计算与并行处理：大模型的训练往往需要处理海量的数据和进行复杂的计算，因此分布式计算和并行处理技术成为关键。通过将这些任务分散到多个计算节点上并行处理，可以显著提高训练效率。

数据处理与特征工程：高质量的数据是训练出优秀模型的基础。数据处理包括数据清洗、标注、增强等操作，以提高数据的质量。特征工程则是从原始数据中提取出有意义的特征，以供模型学习使用。

自动化机器学习（AutoML）：随着模型规模和复杂度的增加，手动调整超参数和模型结构变得越来越困难。AutoML技术通过自动化地搜索最佳的超参数和模型结构，降低了模型调优的难度，提高了模型性能。

模型压缩与部署：大模型往往具有较高的计算复杂度和存储需求，不利于在实际应用中部署。模型压缩技术如剪枝、量化等可以降低模型的复杂度和大小，便于部署到资源有限的设备上。同时，高效的模型部署技术也是确保模型能够在实际场景中发挥作用的关键。

三、建设目标

1)完善高校大模型技术应用课程体系

提供丰富的大模型课程案例，在人工智能教学资源基础上加入最新的大模型技术、案例等内容，并增加实验、实训环节的比重，通过实际操作案例，让学生在理论学习的基础上，加深对大模型应用技术的理解和应用能力，助力高校人才培养。

2) 建成设施一流的大模型技术应用实训室

在学校现有的实验室建设基础上，依托行业标杆企业，聚焦大模型技术发展，以“面向产业、项目驱动、能力培养、全面发展”的教育指导理念，依托先进的人工智能教学科研平台和真实的行业案例，形成“教与学紧密结合、理论与实践紧密结合，学校与产业紧密结合”的教育模式。通过实验室的建设，依托校企共建的人工智能教学、科研平台，与学校深度融合共育技术技能人才，实现包括专业教学实训、师资培训、资源开发、实习实践、科学研究等教学活动。

3)培养人工智能开发应用的复合型人才

实验室建设的核心目标是为了培养具有扎实基础的大模型开发、大模型应用人才，实验室建设后，通过完善教学实训资源及应用软件建设，全面支撑大模型技术应用领域相关教学实训开展，为培养大模型开发和应用方面的核心人才提供支撑。

4)培养创新创业能力

在实际案例操作过程中，推动人工智能与其他学科的有机融合教育，如艺术、设计、传媒等，通过大模型辅助激发学生创新思维，培养学生的跨领域创新能力，为社会培养更多具有创新意识和实践能力的“智能型”人才。

实训室布局图

四、实训室建设内容

4.1 大模型技术应用教学平台

大模型技术应用教学平台是针对职业教育发展现状，以计算机技术、多媒体技术、网络通信技术等现代信息技术手段构建的一种新型教学模式，是融合了现代教育理念、教学内容和现代信息技术的具有多种功能的开放式的教、学、训一体化交互平台。

平台采用B/S结构，运用spring cloud微服务技术，采用kubernetes技术进行部署，支持公有云、私有云、混合云模式安装；平台支持多数据源从而保证技术的一致性；确保服务的稳定、可扩展、弹性扩容；每个独立服务支持分布式集群部署，可以无限横向扩展，提高系统处理能力，支持大规模并发教学全场景和数字化专业群教学实践应用。主要包含通用课程模块和考试模块。

通用教学模块包含以下功能：课程制作工具、作业、活动、云盘、共享课、我的课、云优选课、云视频库、3D模型库。

（1）课程制作工具模块：支持pdf、ppt、word、excel等不同格式的文本、图片、音频、视频、超链接等进行混合编排，并自动生成动态课程目录，支持多源格式文件（至少包含：图片、视频、压缩文件、word、ppt、excel、pdf等）同屏展示。

（2）作业模块：支持单选、多选、判断、主观题等题型，支持自定义出题支持自动出题，支持作弊监控，支持自动进行客观题判题。

（3）共享课程模块。

（4）我的课程：支持老师利用平台提供的课程制作的课程或者平时积累的课程自动归档为我的课程，也可以将共享课程和云优选课、云视频库课程转换成我的课程，支持我的课程一键分享到共享课程、云优选课中。

（5）课堂活动模块：课堂活动至少包括：签到、主题讨论、提问、分组任务、投票、问卷、计时器等功能。

（6）云优选课模块：将教学中多门课程的教材，教案，课件，微课，教学配套材料等教学元素整合到云优选课模块，通过互联网技术保证教学的实施与效果；支持智能备课、一键上课。内置丰富在线课程资源，至少包含100个视频，每个不低于20分钟。

（7）云视频库模块：云视频库模块提供数字化的教学内容，支持课堂教学，支持视频显示和多媒体课件互动，支持网络课堂和远程教学。丰富学生的课外学习，可为学校的专业建设提供有力支持，可充实校内图书馆的数字资源，建立数字阅览室，可为学校进行示范性职业院校建设、精品课程建设、核心专业建设提供支持。

个人云盘：平台为用户提供云盘服务，云盘内所有文件都会按照不同的文件类型进行分类、分类至少包含视频、音频、图片、文档、回收站等、支持一键上传、删除、新建、重命名、移动等功能

(8)3D模型库：至少包含3D模型50个，具备虚拟仿真教学制作工具，可播放 3D 模型、进行交互。

内置丰富大模型技术基础课程：大模型简介、Python与大模型、LLM大模型 API、C++与大模型、CUDA基础、LangChain基础、向量数据库、prompt工程、大模型应用开发等课程资源。

4.2 大模型项目实训管理平台

大模型项目实训管理平台的功能主要涵盖了实训项目的全生命周期管理，从实训任务、文档管理、代码开发与测试、实验环境管理到成果提交与评估等各个环节。

用户创建新的实训项目，并设置项目的基本信息、目标、团队成员等。为项目成员分配具体的任务，并实时跟踪任务的完成情况，确保项目按计划进行。提供项目成果的展示平台，方便团队成员分享和交流项目经验、技术文档等。

支持用户上传、编辑和保存各类实训文档，如需求文档、设计文档、测试报告等。提供文档分类功能，便于用户按项目、类型等快速检索所需文档。支持文档的版本控制，确保文档内容的准确性和一致性；同时支持多人协同编辑，提高团队协作效率。

集成大模型开发所需的各种工具，如模型训练框架、数据预处理工具、性能分析工具等，方便用户一站式完成代码开发与测试工作。平台能够自定义调用CPU和内存资源，自由配置专门针对大模型和深度学习等任务的硬件加速器（如GPU或XPU），能够高效地执行大模型的prompt工程、大模型应用开发和大模型的微调。平台支持主流的大模型基座，支持大模型基座私有化部署，包括智谱的ChatGLM、百川的Baichuan、阿里的Qwen等，助力用户快速进行大模型的开发和微调。平台还提供了丰富大模型开发工具、整套开发环境和资源监控功能，能够灵活分配资源，方便用户轻松使用、开发、管理大模型应用。

平台实时监控实验机的运行状态，包括CPU、内存、磁盘等使用情况；提供实验机的远程管理功能，方便用户进行故障排除和日常维护。收集并展示项目的进度、任务完成情况、代码提交量等统计数据，帮助用户了解项目整体情况。设置不同的用户角色和权限，确保不同用户只能访问和操作其权限范围内的内容。

4.3 大模型项目项目资源包

l 基于 LLM(Large Language odel)大型语言模型的知识库问答系统，它提供了一整套开箱即用的功能，包括数据处理、模型调用等能力，并且通过可视化的 Flow 进行工作流编排，从而实现复杂的问答场景。

l 智能证件照制作算法，本项目基于OpenCV模型，使用 Python 语言实现智能抠图、人脸检测、尺寸切割等功能于一体，采用了一套完善的机器学习模型工作流，实现对多种用户拍照场景的识别、抠图与证件照生成。具体包含轻量级抠图、根据不同尺寸规格生成不同的标准证件照、智能换正装等；

l 计算机视觉应用手写数字识别，采用深度学习技术来构建一个手写数字识别模型，基于MINST数据库，使用 TensorFlow 和 Keras 这两个流行的深度学习框架来实现手写数字识别。

4.4 大模型技术应用平台

大模型技术应用平台是一款专为高校大模型应用场景教学和科研打造的知识库问答系统。该平台易于使用，知识库支持常见的txt、doc、pdf、md等数据文件上传，同时提供了简洁易懂的操作配置界面，使用户可以轻松地搭建和训练AI应用，并快速调用，满足不同领域的交互式对话场景需求。此外平台还支持可视化的工作流编排，能够满足复杂的问答场景搭建需求。通过大模型应用平台，能够更好帮助用户更好地应用大模型技术，提升教学和科研质量。

4.5 大模型技术应用教学平台硬件

CPU：多核心处理器，如 Intel 志强系列，不少于24核，以支持并发处理多个微服务实例。

RAM：至少 64 GB DDR4 RAM，以确保能够同时运行多个微服务实例和相关的应用程序。

存储：SATA SSD 或 HDD：至少 4 TB 用于数据存储和备份，根据需要可增加容量。

网络：至少 10 GbE 网络接口，用于高速内部网络通信和负载均衡。

主板：主板应支持硬件虚拟化技术，如 Intel VT-x 或 AMD-V，以提高虚拟机性能。支持多核心 CPU 和大量 RAM 的主板。足够的 PCIe 插槽，用于扩展网络适配器和存储设备。

电源供应：至少 750W 的电源，具有金牌或白金效率认证，以确保稳定供电。

散热系统：高性能 CPU 散热器，如空气散热器或液冷系统。

数据传输和连接：USB 3.0 或更高版本的端口，用于外部存储和其他设备的连接。HDMI端口，用于连接显示器。

4.6 大模型项目实训平台硬件

CPU：Intel Xeon Gold 6230 或 AMD EPYC 7742 等，具有多个核心（至少 24 核）和高速缓存，以支持并行处理和高效的数据预处理。

GPU：NVIDIA GeForce RTX 4090：具备大量的 CUDA 核心和高速内存，适合进行深度学习模型的训练。