摘要
本发明涉及人机交互技术领域,公开了一种用于裸眼3D的人机交互方法,包括:采集手势视频流,进行手部关键点三维预测;对若干手部关键点信息进行数字滤波,生成滤波的若干手部关键点信息,并进行简单手势预测与利用融合时空注意力机制的长短期记忆网络模型进行复杂手势预测;将简单手势与复杂手势进行数字编码后,传输到unity中,同时将滤波的若干手部关键点信息传输到unity中;获取手部关键点深度值,并与滤波的若干手部关键点信息进行融合;在unity中构建手部模型,绑定融合深度信息的若干手部关键点信息,并将编码的简单手势与复杂手势传输到unity中的游戏控制逻辑中,实现现实与虚拟手势的交互;该方法实现了低延迟、流畅、稳定的多自由度的人机交互。