人臉識別被認為是生物特征識別領域甚至人工智能領域較困難的研究課題之一。人臉識別系統的困難主要是人臉作為生物特征的特點所帶來的。
相似性
不同個體之間的區別不大，所有的人臉的結構都相似，甚至人臉器官的結構外形都很相似。這樣的特點對于利用人臉進行定位是有利的，但是對于利用人臉區分人類個體是不利的。
易變性
人臉的外形很不穩定，人可以通過臉部的變化產生很多表情，而在不同觀察角度，人臉的視覺圖像也相差很大，另外，人臉識別還受光照條件（例如白天和夜晚，室內和室外等）、人臉的很多遮蓋物（例如口罩、墨鏡、頭發、胡須等）、年齡等多方面因素的影響。
在人臉識別中，第一類的變化是應該放大而作為區分個體的標準的，而第二類的變化應該消除，因為它們可以代表同一個個體。通常稱第一類變化為類間變化（inter-class difference），而稱第二類變化為類內變化（intra-class difference）。對于人臉，類內變化往往大于類間變化，從而使在受類內變化干擾的情況下利用類間變化區分個體變得異常困難。
用戶配合度
現有的人臉識別系統在用戶配合、采集條件比較理想的情況下可以取得令人滿意的結果。但是，在用戶不配合、采集條件不理想的情況下，現有系統的識別率將陡然下降。比如，人臉比對時，與系統中存儲的人臉有出入，例如剃了胡子、換了發型、多了眼鏡、變了表情都有可能引起比對失敗。也就是說，人如果發生較大變化，系統可能就會認證失敗。光照、姿態、裝飾等，對機器識別人臉都有影響。
http://www.quutu.com
