小程序的介绍请参考下面链接：

• 钢琴音乐对应按键还原。一个钢琴老师能够仅仅听声音就知道学生演奏情况，是因为他具备从钢琴弹奏音频中恢复出弹奏者的按键过程（即哪个时间点按下或放开某个按键、按下的力度如何）。如何能够将这个过程在计算机中重现，是钢琴分析AI所关注的重要问题。上文提到的AnthemScore就是这方面科研成果的应用。在使用AnthemScore过程中，我们发现它处理速度较慢，准确率也不是很理想。为此我们学习参考了这方面大量的研究工作，完成了一个还算“凑合”的AI程序：它大概能够在3秒内完成约3分钟钢琴弹奏音频的分析，并支持在线实时处理（相当于 边听边分析，就是“爱弹奏”目前的模式），准确率也达到了比较理想的程度（即使是实时分析“野蜂飞舞”这样高难度的曲子），这为我们后续的分析打下了良好的基础。我们首先将收集的一万多首曲库的专家弹奏进行分析，作为标准模版存在数据库中，然后实时分析用户弹奏，与专家弹奏进行比对，给出评价。
  
• 按键数据的对齐。利用上述技术分析出用户按键信息后，下一步就是需要实现按键数据的对齐。对齐的意思是给出两段钢琴曲A（用户弹奏）和B（专家弹奏）的按键过程，计算出A中的每一次按键在B中的对应按键。这个过程事实上非常复杂，因为用户弹奏会出现很多非标准情况：可能从中间段开始弹奏、可能出现频繁的重复和跳跃（比较难的地方重复弹奏或干脆跳过）、可能频繁出现按键错误（错按、漏按）。对齐算法必须给出一个非常合理的映射关系，而且计算速度一定要够快。我们完成了该功能的实现，对齐效果是非常理想的，在小程序最后的分析结果“完整度”部分，就是对齐结果的简单展示。
  
• 评价分数的计算。当按键数据对齐后，计算分数就是一个比较简单的过程了。如果钢琴曲A中的某个琴键在标准曲B中没有对应，表示用户多按了该琴键；B中某个琴键在A中没有对应，表示用户漏按了该琴键，两种情况都会影响准确度得分。如果A中琴键按下的时间段和B中琴键按下的时间段保持比例关系，那么流畅度得分会比较高（这里不能要求完全时间一致），当然如果该比例数值距离1偏差很大（也就是用户弹的异常快或慢），也会影响流畅度的得分。按键力度也流畅度类似，考察的是A与B中按键力度是否保持比例关系。
  

需要说明一点，目前市面上有不少智能钢琴具备上述功能，但绝大部分都依赖对电钢琴或传统钢琴的改造（电钢琴需要连接MIDI输出，传统钢琴需要专门的拾音设备）。仅有少量依靠声音的陪练APP，但它们的效果我个人认为是难以令人满意的，基本都无法做到复杂快速弹奏的准确识别，在行业内基本没有影响力。
我们目前的评价方式对于高水平用户而言可能是难有区分度的，因为准确流畅的弹奏对于他们而言问题不大。如何更科学地评价弹奏，我们后续也还会深入研究。

• 消除周围环境其他声音对钢琴按键识别的影响。当环境中存在其他声音时，人是能够分辨哪些是钢琴的声音的，但我们的AI在这方面还有待提高，它会把其他声音也当作钢琴声音进行识别分析。因此在弹奏时候要求用户保持环境的安静，非钢琴声音（包括人声、伴奏等）都会降低准确度得分；
  
• 加速弹奏对齐。弹奏对齐是目前“爱弹奏”整体计算资源占用最高的部分，提升其计算性能是提升小程序后台服务支持用户数量的关键；
  
• 提升曲库检索准确率。我们希望能够在最短时间内快速定位弹奏曲目，而现在实现的算法在处理简单和短时弹奏时并不非常理想；
  
• 提升钢琴曲难度评价的合理性。实现一个更加客观有效的钢琴曲评价算法，是实现综合排行榜不可缺少的部分；
  
• 钢琴弹奏到数字化五线谱的对齐。小程序目前能够给弹奏评价，但是如何在五线谱中可视化展现扣分的位置，需要将按键对应到数字化五线谱上，这部分工作将是我们下一步攻关的重点。只有很好解决这个问题，我们才能够给出更客观易懂的评价报告，将小程序功能进一步推广到教育领域，而不仅仅是目前这类娱乐应用；
  
• 钢琴音乐的“美颜”。相机具备美颜功能后，大家才乐于分享自己的照片视频。通过手机自带麦克收集的钢琴音乐的音质并不高，分享出去后可能缺乏质感。为此，我们也考虑后续添加声音“美颜”功能，提升大家分享的乐趣；
  
• 更合理的评价机制。目前我们仅使用用户弹奏与标准弹奏之间的差异度来进行评价，这对于初级或中级爱好者而言可能已经可用，但对于真正的高水平弹奏，我们的评价机制事实上已经达不到要求；
  
• 支持其他乐器。很显然，类似的技术路线也可以应用到其他乐器的分析评价上，这也是我们后续考虑的一个方向。
  
• AI运算的前端化。鉴于目前小程序的形式，所有数据都汇集到后台服务端进行计算处理，服务端的压力比较大。后续我们会考虑开发独立的APP，并将部分运算转移到手机端处理，降低服务器压力，提升用户体验。