人工智能大模型实验箱
一、产品概述
人工智能大模型实验箱是一款高度集成化的教学科研一体化平台。它基于Windows操作系统与Python开发环境,整合了计算机视觉、语音处理、机械臂运动控制、嵌入式传感以及大模型交互等核心模块,并通过统一的通信协议与接口进行管理。
核心设计目标:
支撑课程体系:全面覆盖Python程序设计、机器学习、深度学习、计算机视觉、语音识别、嵌入式系统、智能机器人等多门课程或核心知识点的实践教学需求。
开箱即用体验:采用一体化加固式铝合金箱体设计,内置18.5英寸高清显示屏、键盘鼠标及全部实验教具,无需额外外设,开机即可投入教学与实验。
强大算力支持:搭载高性能单板AI边缘计算终端,提供充足边缘算力,支持PyTorch、TensorFlow等主流深度学习框架的本地化部署与推理。
跨模块融合实验:支持计算机视觉+机械臂、深度视觉+云台、语音+传感器、语音+机械臂等多种技术组合的综合性、创新性实验。
二、产品硬件组成
|
硬件模块 |
技术规格与描述 |
|
|
1 |
实验箱体 |
1)材质:铝合金包边框架,承重抗压; 2)尺寸:L600mm×W460mm×H220mm; 3)总重(含所有器件):约15.2kg。 |
|
2 |
机械臂 |
1)自由度:3; 2)重复定位精度:±0.1mm; 3)负载:650g; 4)自重:2.9kg; 5)工作半径:340mm; 6)材料:铝合金、光敏树脂SLA; 7)电源:AC100-240V/50-60Hz; 8)输入电源:12V 5A 60W; 9)输出电源:12V 8.4V 5V; 10)电机类型:高精度步进电机; 11)TCP最大速度:100mm/s; 12)机械控制核心:Mega2560; 13)通信方式/连接方式:RS485通讯/USB串口线。 |
|
3 |
机械臂扩展套件 |
1)吸泵套件:磁吸接口,5V供电,负载650g; 2)视觉套件:200万像素,1080P分辨率,110°无畸变视场角,支持UVC协议。 3)写字套件:兼容磁吸接口,用于绘图、书写等精细操作。 |
|
4 |
边缘计算终端 |
1)CPU:Intel Core i5-1340P; 2)协处理器:Microchip ATmega32U4-MU 3)GPU:Intel Iris Xe Graphics; 4)内存:16GB Dual-Channel LPDDR5-6400MHz; 5)存储:500GB M.2 NVMe SSD; 6)M.2接口:4个; 7)接口:2×USB2.0,2×USB3.2 Gen 2,2×USB Type-C Thunderbolt 4,1×HDMI 2.1; 8)网络:2×10/100/1000/2500 Mbps Ethernet RJ45接口; 9)无线网络:支持2.4G/5G/6GHz Wi-Fi 6E; 10)操作系统:Microsoft Windows 11 专业版。 |
|
5 |
桌面大模型交互机器人 |
一、概述 桌面大模型交互机器人是一款基于嵌入式主板与微型云台技术研发的轻量化机器人教学平台,集成了实时情感交互系统与多自由度肢体动作控制功能,打造出兼具AI认知能力与机械执行能力的完整智能实体。 二、技术架构 1)硬件核心:嵌入式控制主板+高精度微型云台; 2)交互能力:实时情感识别与动态响应机制; 3)动作系统:多关节协同控制肢体模块; 4)开发框架:MCP(Model-Controller-Peripheral)机器人动作触发体系。 三、教学体系 1)硬件认知:掌握嵌入式主板选型与电路设计原理; 2)机械工程:完成机器人结构组装与云台调试; 3)算法实践:理解大模型交互流程与意图识别机制; 4)系统集成:实现MCP架构下的智能决策与动作触发。 四、价值体现 1)突破传统文字交互局限,探索大模型在物理世界的应用场景; 2)掌握AI与硬件协同的完整技术链路; 3)培养“感知-决策-执行”的智能系统构建能力。 五、硬件参数 1)主控芯片:ESP32; 2)驱动单元:全金属精密数字舵机×2; 3)显示单元:高密度OLED点阵屏; 4)传感器:手势传感器。 5)材料:铝合金、亚克力; 6)尺寸:85mm×70mm×90mm; 7)净重:180g。 |
|
6 |
离/在线语音识别单元 |
1)6阵列环形麦克风,支持360°声源定位、降噪与回声消除; 2)USB免驱声卡; 3)支持在线云端识别与基于开源大模型的本地离线识别。 |
|
7 |
舵机云台 |
1)控制模式:S20F 180°/270° 在180°/270°范围内往复控制位置; 2)工作电压:5V~6.5V; 3)空载电流:80mA(5V); 4)空载转速:0.18 sec/60°(5V),0.16 sec/60°(6.5V); 5)堵转扭力:20kg-cm(5V),23kg-cm(6.5V); 6)堵转电流:1.8A(5V); 7)待机电流:4mA(5V); 8)死区宽度:S20F 180°/270°为4μsec; 9)减速比:268:1; 10)外观尺寸:40mm×20mm×40mm; 11)产品重量:62g; 12)舵机类型:20kg数字舵机; 13)脉冲宽度范围:S20F 180°/270°为500→2500μsec;控制精度:S20F 180°/270°为±0.36°(180°舵机)、±0.54°(270°舵机)。 |
|
8 |
显示屏 |
1)尺寸:18.5"; 2)面板类型:IPS; 3)分辨率:1920×1080; 4)刷新率:100Hz; 5)亮度:250nit; 6)色域:100%sRGB; 7)接口:2×Type-C,1×HDMI。 |
|
9 |
实验教具 |
1)包含不同颜色的正方体,用于物体识别与分拣实验; 2)蓝牙键盘与鼠标。 |
三、实验项目
|
序号 |
类别 |
实验项目 |
实验内容与目标 |
|
1 |
计算机视觉 |
人脸识别与跟踪 |
通过摄像头采集图像,实现人脸检测与实时跟踪,并结合PID控制算法驱动云台舵机进行物理跟踪,使目标人脸始终保持在画面中心。通过该项目掌握目标检测算法、视觉跟踪方法及闭环控制基础,理解视觉信息到机械动作的映射关系。项目支持模块化训练,既可独立完成检测实验,也可组合形成完整的视觉跟踪与云台控制系统。 |
|
2 |
手势数字识别 |
利用手部关键点检测技术,实现手势数字识别与交互控制功能。通过该项目掌握图像特征提取、手势识别原理和视觉交互系统开发方法。该项目支持多场景应用训练,使学生能够将手势识别技术应用于具身智能控制、交互系统或多模态实验中。 |
|
|
3 |
人工智能语音 |
语音转文字与文字转语音(STT/TTS) |
基于语音识别与语音合成技术,实现语音信号到文本信息的转换以及文本到语音的反馈输出。通过该项目掌握语音信号预处理、声学特征提取及语音识别基本原理,同时理解语音合成在智能交互系统中的应用方式,为后续智能对话系统开发奠定基础。 |
|
4 |
智能语音助手 |
通过集成语音识别与大模型交互能力,实现自然语言驱动的语音助手系统,可完成信息查询、指令控制等任务。在该项目中可理解语音交互系统的整体架构,掌握语音输入、语义理解与任务执行的基本流程,提升多模态人机交互系统的开发能力。 |
|
|
5 |
翻译助手 |
集成语音识别、机器翻译与语音合成技术,实现中英文语音翻译功能。通过该项目掌握多技术模块的集成方法,理解语音识别、文本翻译与语音合成协同工作的实现机制,能够独立完成从语音输入到翻译输出的完整流程开发。 |
|
|
6 |
天气查询 |
通过语音识别获取用户指令,结合IP定位与天气API调用,实现智能天气查询与语音播报功能。通过该项目掌握语音交互设计、第三方API调用及数据解析方法,能够将语音交互技术应用于信息查询类实际场景。 |
|
|
7 |
智能客服系统 |
基于关键词匹配与规则库,构建面向特定领域的智能语音客服系统,可完成产品咨询、功能问答等任务。通过该项目掌握中文分词、规则库设计及语音交互系统集成方法,理解基于规则的对话系统实现原理。 |
|
|
8 |
语音控制云台 |
通过语音识别解析用户指令,结合串口通信协议控制双轴云台实现上、下、左、右等方向运动。通过该项目掌握串口通信技术、自定义协议设计及边界保护机制,理解从语音指令解析到硬件控制的完整技术链路。 |
|
|
9 |
自然语言处理NLP |
中文分词与词性标注 |
基于jieba分词库实现中文文本的分词与词性标注功能,支持文本输入、语音输入及结果统计分析。通过该项目掌握中文分词的基本原理、词性标注的实现方法以及交互式界面的搭建技术,能够独立完成从文本输入到词性分析的全流程开发。 |
|
10 |
文本纠错 |
基于BERT预训练模型实现中文文本的拼写错误检测与自动修正功能。通过该项目理解掩码语言模型(MLM)的纠错原理,掌握基于Transformer架构的文本处理方法,能够识别常见错误类型并给出修正建议,提升文本质量优化的实践能力。 |
|
|
11 |
文本情感分析 |
基于情感分析模型实现对输入文本的情感倾向判断(正面、负面、中性)及情感强度量化。通过该项目掌握情感分析的基本流程,理解情感分类模型的调用与结果解析方法,能够将情感分析技术应用于舆情监测、用户评价分析等实际场景。 |
|
|
12 |
句子相似度计算 |
基于sentence_transformers库实现两个句子之间的语义相似度计算,支持余弦相似度分析与相关性判断。通过该项目掌握句子嵌入(sentence embedding)的基本原理,理解向量化表示与相似度度量的方法,能够构建基础的文本匹配与问答系统。 |
|
|
13 |
命名实体识别(BIO标注) |
基于BERT命名实体识别模型实现中文文本中的人名、地名、机构名等实体识别与BIO格式标注。通过该项目掌握命名实体识别的基本原理,理解BIO标注体系的含义,能够完成从文本输入到实体标注与可视化的完整流程。 |
|
|
14 |
文本标点符号添加 |
基于cttPunctuator库实现中文文本的自动标点符号润饰功能,支持句号、逗号、问号等标点的智能添加。通过该项目掌握文本标点预测的基本原理,理解标点符号对文本可读性的提升作用,能够将该技术应用于语音转文字后处理等场景。 |
|
|
15 |
词性标注_拍照OCR |
通过摄像头拍摄图像,利用OCR技术提取图像中的文字内容,并对识别结果进行中文分词与词性标注。通过该项目掌握OCR识别原理、图像增强方法以及NLP与视觉技术的融合应用,能够完成从图像采集到文本分析的全流程开发。 |
|
|
16 |
大模型应用 |
文本风格转换 |
基于大语言模型实现文本风格的自动转换,支持口语化、正式报告、网络流行语、诗歌、散文等多种风格选择。通过该项目掌握大语言模型的基本调用方法,理解提示词(Prompt)设计对生成效果的影响,能够根据应用需求引导模型生成符合预期的文本内容。 |
|
17 |
大模型语音对话系统 |
集成语音识别、大语言模型与语音合成技术,构建端到端的智能语音对话助手。通过该项目掌握大语言模型API的调用方法,理解语音交互系统的整体架构,能够完成从语音输入、语义理解到语音输出的完整对话流程设计与实现。 |
|
|
18 |
具身智能 |
语音控制机械臂 |
通过自然语言指令控制机械臂完成目标识别、抓取与分拣等任务,集成语音识别、计算机视觉与机械臂运动控制技术。通过该项目掌握多模态信息融合方法,理解从语音指令解析到物理动作执行的完整技术链路,能够独立完成“听懂—看懂—做到”的系统集成与调试,实现“感知-决策-执行”闭环。 |
|
19 |
桌面大模型交互机器人 |
基于嵌入式主板与微型云台技术,构建具备情感交互与肢体动作控制能力的桌面机器人系统,实现大模型推理到硬件执行的完整流式交互。通过该项目掌握MCP(Model-Controller-Peripheral)机器人动作触发体系,理解大模型在物理世界的具身应用方法,培养智能系统设计与工程实现能力。 |
|
|
20 |
AI智能做题 |
构建端到端的自动化做题系统,集成试卷图像采集、OCR文字识别、大模型答案生成与机械臂自动书写等功能模块。通过该项目掌握多模态信息处理与软硬件协同技术,理解复杂AI系统的模块化设计与任务调度方法,提升综合应用与系统集成能力。 |
|
|
颜色分类分拣 |
基于计算机视觉与机械臂控制技术,实现彩色物体的自动识别与分类分拣功能。通过HSV颜色空间分割识别不同颜色物体,控制机械臂完成抓取与分类投放。通过该项目掌握颜色识别算法、坐标变换方法及机械臂路径规划技术,理解视觉引导下的自动化分拣系统实现原理。 |
||
|
22 |
自然语言命令操作机械臂 |
融合语音识别与计算机视觉技术,实现通过自然语言指令控制机械臂完成特定物体的抓取与操作任务。通过该项目掌握语音指令解析、目标物体视觉定位与机械臂运动控制的协同实现方法,理解多模态交互在具身智能系统中的综合应用。 |
四、教程资源
所有实验均配备详尽的步骤化教程。代码按功能模块化编写,并辅以PlantUML绘制的系统流程图,清晰展示函数调用关系与项目运行逻辑。即使编程基础薄弱的学生,也能通过教程理解原理并逐步完成实践。