基于樸素貝葉斯自動(dòng)過濾垃圾廣告
貝葉斯定理
貝葉斯定理是關(guān)于事件A和事件B的條件概率。先認(rèn)識一下這幾個(gè)符號:
P(A|B):表示在事件B發(fā)生的情況下事件A發(fā)生的概率
P(B|A):表示在事件A發(fā)生的情況下事件B發(fā)生的概率
通常在已知P(A|B)的情況下,計(jì)算P(B|A)的值,此時(shí)P(A|B)可以稱為先驗(yàn)概率,P(B|A)稱為后驗(yàn)概率。
這個(gè)時(shí)候貝葉斯定理就登場啦:
通過這個(gè)定理我們就可以計(jì)算出P(B|A)的值。舉個(gè)栗子:
一座別墅在過去的 20 年里一共發(fā)生過 2 次被盜,別墅的主人有一條狗,狗平均每周晚上叫 3 次,在盜賊入侵時(shí)狗叫的概率被估計(jì)為 0.9,在狗叫的時(shí)候發(fā)生入侵的概率是多少?
我們假設(shè) A 事件為狗在晚上叫,B 為盜賊入侵,則以天為單位統(tǒng)計(jì),P(A) = 3/7,P(B) = 2/(20*365) = 2/7300,P(A|B) = 0.9,按照公式很容易得出結(jié)果:P(B|A) = 0.9*(2/7300) / (3/7) = 0.00058
貝葉斯定理延伸
其實(shí)到這里只是貝葉斯定理的簡單版,下面來看看它的一般版。一般事件B的發(fā)生不止有一個(gè)影響因素,比如事件B為早上是否吃早餐,那么事件A1可以為幾點(diǎn)起床,A2表示為早上是否有課,A3天氣是否寒冷,...An食堂早餐賣到幾點(diǎn),這n個(gè)事件共同影響事件B是否吃早飯的發(fā)生,此時(shí)各事件的概率就發(fā)生了變化:
P(A)=P(A1,A2,A3,...An)
P(A|B)=P(A1,A2,A3,...An|B)
假設(shè)A1,A2,A3,...An都有兩種結(jié)果,那么一共有2^n個(gè)結(jié)果,對應(yīng)需要的樣本數(shù)也是呈指數(shù)增加,這顯然是不合實(shí)際的,這時(shí),就提出了半樸素貝葉斯和樸素貝葉斯。
這兩個(gè)定理都有樸素二字,這二字什么意思呢?白話一點(diǎn)就是簡化的意思,將A1,A2,A3,...An這n個(gè)事件的關(guān)聯(lián)切斷,假設(shè)它們是相互獨(dú)立的,即P(A)=P(A1,A2,A3,...An)=P(A1)P(A2)P(A3)...P(An);
P(A|B)=P(A1,A2,A3,...An|B)=
P(A1|B)P(A2|B)P(A3|B)...P(An|B)
這么一樸素,整個(gè)過程簡單了不止一點(diǎn)點(diǎn)。但是事件A1可以為幾點(diǎn)起床和事件A2表示為早上是否有課真的一點(diǎn)關(guān)聯(lián)都沒有嗎?肯定是有關(guān)聯(lián)的,將相關(guān)性很高的一些事件提出,P(A)=P(A1,A2,A3,...An)=
P(A1)P(A2)P(A3)...P(An)P(A1A2);既不忽略事件的相關(guān)性,又擁有樸素的特性,這就叫半樸素貝葉斯。
半樸素貝葉斯
樸素貝葉斯分類的正式定義如下:
1、設(shè)
為一個(gè)待分類項(xiàng),而每個(gè)a為x的一個(gè)特征屬性。
2、有類別集合
3、計(jì)算
4、如果
則
基于屬性條件獨(dú)立性假設(shè),現(xiàn)在來計(jì)算P(y1|x),P(y2|x),...P(yn|x)。
對于所有類別來說P(x)是相同的,因此只需計(jì)算分子部分。
在實(shí)際計(jì)算時(shí),為了避免下溢(小數(shù)點(diǎn)位數(shù)過高),一般會(huì)對等式兩邊同時(shí)進(jìn)行Ln變形,將*變?yōu)椋;這里ln為一個(gè)增函數(shù),因此可以保證不改變P(yn|x)的大小排序。
另一個(gè)需要注意的點(diǎn)是:樣本數(shù)是有限的,不可能包括所有的情形,這時(shí)會(huì)出現(xiàn)P(xn|yi)=0,但是這種情況不出現(xiàn)是不等價(jià)于不發(fā)生的,這是用到拉普拉斯修正進(jìn)行平滑:
P(xn|yi)=(N(結(jié)果yi發(fā)生的前提下xn發(fā)生的次數(shù))+1)/(結(jié)果yi發(fā)生的次數(shù)+屬性xn所有可能的取值)
數(shù)據(jù)預(yù)處理
上圖是這次要用到的原始數(shù)據(jù),一行代表一則廣告。ham代表有用的廣告,spam代表垃圾短信。預(yù)處理一共有三部:
第一步:將數(shù)據(jù)讀入進(jìn)來。
def read_txt():
file = 'C:/Users/伊雅/Desktop/bayes.txt'
with open(file, encoding='utf-8') as f:
con = f.readlines()
return con
第二步:廣告存到dataset中,分類結(jié)果存儲(chǔ)到txt_class中,得到一個(gè)詞匯表將dataset中的廣告用于split為一個(gè)一個(gè)的單詞,并將長度小于1的單詞去掉(a)
def create_word_list(con):
reg = re.compile(r'W*')
dataset = []
wordlist = set([])
txt_class = []
for i in con[1:]:
dataset.a(chǎn)ppend(re.split(reg, i)[1:])
wordlist = wordlist | set(re.split(reg, i)[1:])
if re.split(reg, i)[0]=='ham':#有用的郵件
txt_class.a(chǎn)ppend(1)
else:#垃圾郵件
txt_class.a(chǎn)ppend(0)
wordlist=[i for i in wordlist if len(i)>2]
return dataset,wordlist,txt_class
第三步:對每一個(gè)廣告做循環(huán),通過函數(shù)words_vec輸入?yún)?shù)為每則廣告的單詞以及詞匯表wordlists,返回一個(gè)文檔向量,向量的每一個(gè)元素為0或1,分別表示詞匯表中的單詞在廣告次中是否出現(xiàn),如果出現(xiàn)該單詞的index則更新為1,否則則為0。
def words_vec(txt,wordlist):
returnvec=[0]*len(wordlist)
for word in txt:
if word in wordlist:
returnvec[list(wordlist).index(word)]=1
return returnvec
經(jīng)過這三步把單詞文本轉(zhuǎn)化為了數(shù)學(xué)向量,大大簡化了計(jì)算。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會(huì)
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 國產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動(dòng)化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市