走近消息摘要--Md5產(chǎn)生重復(fù)的概率

字號(hào):

問(wèn)題:假設(shè)有十萬(wàn)個(gè)不同的文件,每個(gè)文件對(duì)應(yīng)于一個(gè)MD5。這十萬(wàn)個(gè)MD5中,存在兩個(gè)相同的MD5的概率是多大?
    答:MD5是128位hash碼(4個(gè)整數(shù),每個(gè)整數(shù)4個(gè)字節(jié))。我們假設(shè)它的計(jì)算結(jié)果是足夠隨機(jī)和足夠分散的。因此,一個(gè)文件的MD5碼,有2的128次方(用2e128表示,下面都用這種方式表示)個(gè)可能。進(jìn)而我們知道,隨意找出來(lái)的兩個(gè)文件的MD5碼相等的可能性,是2e128分之一。下面討論中,我們用r來(lái)表示這個(gè)概率(即r=2e-128)。
    假設(shè)這十萬(wàn)個(gè)MD5是一條條插入到數(shù)據(jù)庫(kù)中的。第二個(gè)MD5插入時(shí),它跟第一條重復(fù)的概率是r。第三條url插入時(shí),它有可能跟第一條重復(fù),也有可能跟第二條重復(fù),因此總發(fā)生重復(fù)的概率是2×r。同理,第四條插入時(shí)發(fā)生重復(fù)的概率是3×r...第n條插入時(shí)發(fā)生重復(fù)的概率是(n-1)×r。n個(gè)MD5碼,其中有兩個(gè)重復(fù)的概率是上面那么多個(gè)可能的加和。
    因此,n個(gè)md5碼,自然產(chǎn)生重復(fù)的概率是:
    (1+2+3+...+(n-1))×r = (1/2)×n×(n-1)×r
    以n=10e4,r=1/2e128 代入,得到重復(fù)的概率為:
    (1/2)×10e4×(10e4-1)×(1/2e128)
    10e4-1約等于10e4,上式可以簡(jiǎn)化:
    (1/2)×10e8×(1/2e128)
    =10e8/(2×2e128)
    我們使用近似2e10 = 1024 = 10e3,那么
    =10e8/(10e9*2e89)
    =1/(10*2e89)
    =1/(10*10e27)
    =1/(10e28)
    這個(gè)數(shù)字小得可憐,到底有多小,我們來(lái)算一下:一般福利彩票的中頭獎(jiǎng)的機(jī)會(huì),約一百萬(wàn)份之一,即1/10e6。而上面的數(shù)字,相當(dāng)1/10e22個(gè)一百萬(wàn)份之一。也就是說(shuō):相當(dāng)于某人買了一億億億次福彩,每次都中頭獎(jiǎng)的概率。
    結(jié)論:對(duì)于十萬(wàn)條數(shù)據(jù),發(fā)生MD5沖突的概率非常小,可以忽略不計(jì)。
    那么,大約要多少個(gè)文件才能產(chǎn)生自然重復(fù)呢?根據(jù)上面的計(jì)算,對(duì)于N個(gè)MD5碼的集合,存在重復(fù)的概率是:
    (1/2)*(N/2e64)e2
    因此,只有N大到可以與2e64比擬,才需要考慮它的沖突問(wèn)題。
    2e64是怎樣的一個(gè)數(shù)字?
    2e64是4G個(gè)4G。目前32位系統(tǒng)的內(nèi)存尋址范圍才是區(qū)區(qū)4G。
    形象地說(shuō)就是:如果一臺(tái)電腦上可以存放四十億(4G)個(gè)文件,而系統(tǒng)中有四十億臺(tái)這樣的電腦。那么,這么多的文件數(shù)才會(huì)令到系統(tǒng)自然產(chǎn)生重復(fù)。
    所以MD5碼作為系統(tǒng)的索引是非??煽康?。
    補(bǔ)充:
    上面對(duì)于MD5的計(jì)算,并未考慮到人為制造的MD5沖突(現(xiàn)在已經(jīng)有方法可以制造有沖突的MD5碼了),也未考慮到計(jì)算MD5碼時(shí),因數(shù)據(jù)補(bǔ)零而造成的MD5沖突。事實(shí)上,在一般的系統(tǒng)中,并沒(méi)有必要考慮這兩種情況。