1.自然語言的識別和理解。首先必須把連續語音分解成單詞、音素等單元，然後必須建立壹個理解語義的規則。
2.有大量的語音信息。語音模式不僅對於不同的說話者是不同的，而且對於同壹說話者也是不同的。比如壹個說話人說話很隨意很認真，語音信息就不壹樣。壹個人的說話方式會隨著時間的推移而改變。可想而知，識別不同說話人的語音有多難。
3.言語的模糊性。當說話者說話時，不同的單詞聽起來可能相似。這在英語和漢語中都很常見。
4.單個字母或單詞的語音特征受語境的影響，改變了重音、聲調、音量和發音速度。
5.環境噪聲和幹擾對語音識別有嚴重影響，導致識別率低。