非法證據排除規則在我國正式確立的時間并不長，雖然1979年和1996年的《刑事訴訟法》都確立了禁止使用“刑訊逼供”、“威脅”、“引誘”、“欺騙”等非法取證方法，但對這些取證行為的限制并非非法證據排除規則的精髓。

刑事訴訟程序中，將偵查機關搜集的證據材料通過舉證、質證、認證的過程轉化為定案依據是整個訴訟程序的關鍵，也是國家完成指控犯罪職能的核心內容。而證據材料進入這個過程的前提條件就是具備證明能力，非法證據即是因為沒有證明能力導致了被排除的命運。因此，當絕大多數人在立法沿革的過程中將注意力集中在法律對偵查人員取證行為的態度變化時，非法證據排除規則實際上折射的是非法證據本身效力的最終確認問題。

非法證據在刑事訴訟中反映出的是程序的違法性，例如通過刑訊逼供等非法手段獲取被告人的供述，對應當同步錄音錄像的訊問無法提供錄音錄像等。在實體上則直接侵犯了公民的基本權利，如人身自由權、隱私權、財產權等。因此，排除非法證據的真正意義在于對偵查行為的宣告違法和對非法偵查行為所得結果的無效確認。在司法實踐中，雖然很少直接通過判決的形式宣告偵查行為違法，但卻實現了將非法證據排除法庭，不予轉化為定案依據的效果。同時，根據我國《刑事訴訟法》的規定，被告人所做的有罪供述只要系偵查人員通過嚴重違法手段獲取，均需強制性排除，而該有罪供述作為直接證據一旦被排除，往往使得許多案件只能依靠間接證據定罪，因此，無罪辯護的成功率得到了一定程度的提高。