如何使用Transformer在Twitter數(shù)據(jù)上進(jìn)行情感分類
介紹Transformer的發(fā)明最近取代了自然語言處理的世界。transformers是完全無視傳統(tǒng)的基于序列的網(wǎng)絡(luò)。RNN是用于基于序列的任務(wù)(如文本生成,文本分類等)的最初武器。但是,隨著LSTM和GRU單元的出現(xiàn),解決了捕捉文本中長期依賴關(guān)系的問題。但是,使用LSTM單元學(xué)習(xí)模型是一項(xiàng)艱巨的任務(wù),因?yàn)槲覀儫o法使其并行學(xué)習(xí)。
Transformer類似于以編碼器-解碼器為基礎(chǔ)的網(wǎng)絡(luò),并在其末尾添加了注意層,以使模型能夠根據(jù)文本的相關(guān)上下文進(jìn)行有效學(xué)習(xí)。讓我們看看如何使用這個(gè)很棒的python包裝器。你需要?jiǎng)?chuàng)建一個(gè)Twitter開發(fā)人員帳戶,以便可以訪問其API并利用許多不可思議的功能。
請通過此來了解它。
先決條件構(gòu)建簡單的Transformer模型時(shí)要考慮到特定的自然語言處理(NLP)任務(wù)。每個(gè)此類模型都配備有旨在最適合它們要執(zhí)行的任務(wù)的特性和功能。使用簡單Transformer模型的高級過程遵循相同的模式。我們將使用庫中的文本分類模塊來構(gòu)建情感分類器模型。通過以下代碼安裝簡單的轉(zhuǎn)換器庫。pip install simpletransfomers
最好創(chuàng)建一個(gè)虛擬環(huán)境并進(jìn)行安裝。在安裝軟件包后,請按照以下鏈接中提到的步驟來組織你的Twitter開發(fā)帳戶。設(shè)置帳戶后,獲取帳戶的記名令牌并將其保存在YAML文件中,如下所示:
bearer_token: xxxxxxxxxxxxxxxxxxxxxxx
模型對于此任務(wù),我們將使用Kaggle的以下數(shù)據(jù)集:數(shù)據(jù)集有兩列,一列具有文本,另一列具有相應(yīng)的情感。讓我們可視化數(shù)據(jù)集及其類分布。
數(shù)據(jù)集中有以下情感類別:*悲傷,憤怒,愛,驚奇,恐懼,快樂,*你可以在下圖中看到其分布
在對數(shù)據(jù)集進(jìn)行建模之前,我們可以執(zhí)行一些基本的預(yù)處理步驟,例如清除文本,使用數(shù)字對類進(jìn)行編碼等,以便最終的數(shù)據(jù)幀看起來像下面的圖像。
我已將以下內(nèi)容定義為模型訓(xùn)練的輸入配置。我已經(jīng)使用XL-Net對數(shù)據(jù)集進(jìn)行建模,因?yàn)樗荰ransformer的高級版本,可以捕獲較長序列的上下文。max_seq_length保持為64,因?yàn)樵跀?shù)據(jù)集中找到的最大token數(shù)為66,如果你希望為更大的文本輸入訓(xùn)練模型,可以根據(jù)需要將其增加到更大的值。from simpletransformers.classification import ClassificationModel, ClassificationArgs
model_args = ClassificationArgs()
model_args.num_train_epochs = 4
model_args.reprocess_input_data = True
model_args.save_best_model = True
model_args.save_optimizer_and_scheduler = False
model_args.overwrite_output_dir = True
model_args.manual_seed = 4
model_args.use_multiprocessing = True
model_args.train_batch_size = 16
model_args.eval_batch_size = 8
model_args.max_seq_length = 64
model = ClassificationModel("xlnet",
"xlnet-base-cased",
num_labels=6,
args=model_args,
use_cuda=True)
訓(xùn)練模型后,你可以獲取驗(yàn)證數(shù)據(jù)集的指標(biāo)并評估其性能。如果你之前未進(jìn)行任何配置,則模型權(quán)重將保存在 output/ directory 中。接下來是使用Twitter API獲得推文的部分。你可以使用該API的最大推文數(shù)量為100,可以通過使用高級帳戶進(jìn)一步增加?梢允褂靡韵麓a片段獲取特定句柄的tweet。def create_twitter_url(handle, max_results):
mrf = "max_results={}".format(max_results)
q = "query=from:{}".format(handle)
url = "https://api.twitter.com/2/tweets/search/recent?{}&{}".format(
mrf, q
)
return url
def process_yaml():
with open("keys.yaml") as file:
return yaml.safe_load(file)
def create_bearer_token(data):
return data["search_tweets_api"]["bearer_token"]
def twitter_auth_and_connect(bearer_token, url):
headers = {"Authorization": "Bearer {}".format(bearer_token)}
response = requests.request("GET", url, headers=headers)
return response.json()
url = create_twitter_url('user',10)
data = process_yaml()
bearer_token = create_bearer_token(data)
response = twitter_auth_and_connect(bearer_token, url)
text_list = [x['text'] for x in response['data']]
cleaned_text = [re.findall(regex, x)[0] for x in text_list]
上面的代碼獲取了“user”句柄的Twitter響應(yīng),并將獲得相應(yīng)句柄的最新10條推文。清除了這些推文以刪除任何表情符號,鏈接等。例如,讓我們看一下一些著名的社交媒體鏈最近發(fā)布的20條推文的情感,以及他們對這些推文的情緒。
那些著名的社交媒體鏈的情感計(jì)數(shù)與其他人相比,Facebook似乎度過了一個(gè)美好的一周。本文我們使用Twitter API和Transfer構(gòu)建了一個(gè)簡單的情感分類應(yīng)用程序,你還可以實(shí)時(shí)進(jìn)行操作,并進(jìn)一步擴(kuò)展此用例,分析任何暴力或悲傷的推特。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個(gè)字
最新活動更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報(bào)名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 國產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市