AI 在校园大放异彩:NVIDIA Jetson 平台助力索尼重塑远程学习
2020-11-02 18:28
索尼的 REA-C1000 Edge Analytics Appliance 借助 NVIDIA Jetson 平台扩大在线教育范围。
今年的返校情况注定与以往不同。
由于全球正在应对新冠疫情,多地安全措施禁止学生返校上课,因此这部分学生会选择线上课程。而借助传统视频会议系统上课的学生经常看不清课程内容,或者出现黑板/白板上的字被老师挡住的情况。
面对这些挑战,日本县立广岛大学(Prefectural University of Hiroshima)的教育工作者采用了一套先进的远程学习系统,该系统具有传统视频会议无法实现的附加功能。
他们通过索尼远程学习解决方案将来自 3 个校区的师生进行连接。该解决方案能够借助 AI 让身处各处的教师都通过引人入胜的视频内容,轻松吸引学生,并传递信息。凭借这些创新,县立广岛大学的教师现在可以通过安全虚拟专用网络连接,同时为 3 个校区的学生授课。
索尼远程学习解决方案中的 Edge Analytics Appliance、远程摄像头和投影仪大显身手
AI 助力教师提供更智能的远程教学体验
索尼 REA-C1000 Edge Analytics Appliance 是县立广岛大学远程教育系统的核心,这套解决方案通过 NVIDIA Jetson 边缘 AI 平台进行开发。使用者可以通过该系统快速创建动态视频演示,而无需使用昂贵的视频制作工具或学习复杂的软件应用程序。
该系统内置索尼专有 AI 算法。这些深度学习模型采用了自动追踪、缩放和裁剪等技术,使非专业人员可以实时制作引人入胜的专业级视频。
用户只需将 Edge Analytics Appliance 连接到可以平移、倾斜和缩放的摄像头、一台电脑以及显示或记录设备即可。县立广岛大学能够通过多个摄像头捕捉到教师在黑板上所写的内容、学生的问题和回答,并根据远程教室的大小拍摄全高清的图像。
教师能够轻松使用这些技术。触控屏面板使系统的操作更加直观,而无需进行复杂的摄像头设置调整。
更加“透明”的课堂
手写提取是 Edge Analytics Appliance 中具有里程碑意义的应用程序之一,它使学生可以在不记笔记的情况下也能更充分掌握课堂上的内容。
当教师在白板或黑板上手写文字或手绘图形时,该应用程序会通过摄像头记录文本和图形,然后立即绘制这些文本和图形。
即使在原手写内容不清楚或被教师身体所遮挡的情况下,在远程位置实时观看讲座或在课后观看录像的学生也可以认出文本和图形。紧凑、高能效的 Jetson TX2 与索尼移动/非移动对象检测技术相结合,能够实现黑板/白板与屏幕之间的无缝切换。
此外,我们还可以进行自定义手写内容提取:调整浮动文本和图形的透明度,以便用彩色突出显示颜色淡或难以阅读的文字,使其更易阅读,甚至比书写在黑板/白板上的原始内容还要清晰。
在没有专业资源的情况下创建引人入胜的内容
另一个创新应用是 Chroma 无键 CG 覆盖层。该应用借助索尼的最新算法(例如运动对象检测)来生成类内容,无需大型视频编辑设备。
该应用能够将教师完美地置于所需呈现的任何动画、图表或图形前。
之前,专业人员只能在专业工作站上运行这种合成所需的运动对象检测算法。通过 Jetson TX2,索尼能够将这一基于深度学习的强大功能加入到 Edge Analytics Appliance 紧凑、简单的设计中。
虚拟摄像头操作人员
该应用还内置了许多其他算法,包括用于颜色模式匹配、形状识别、位姿识别等的算法,从而实现以下功能:
PTZ自动追踪——自动追踪教师的动作并确保他们保持专注。
重点区域裁剪 —— 在通过一个摄像头录制的视频中裁剪指定部分,并产生使裁剪部分如同录制在另一台摄像头上一样的特效。比如该功能可以用于生成画中画效果,让观众可以同时看到演讲者的特写以及用广角镜头拍摄的讲台其余部分。
位姿特写 —— 自动放大并记录站起来准备提出问题的学生或听众。
借助高性能 Jetson 平台,Edge Analytics Appliance 可以轻松处理此类应用程序。就像是一位虚拟摄像头操作人员,能够帮助人们创建引人入胜的专业视频演示,而无需事先为此学习专业知识或支付费用。
县立广岛大学的高层领导表示,新的远程学习计划提高了学生和教师对于远程学习的满意度。该系统将该大学的 3 个校区连接在一起,同时也促进了各校区之间的团结。
索尼计划会持续更新 Edge Analytics Appliance 上的应用程序。因此,该系统会不断进行升级,正如学生会不断取得进步。