使用 TensorFlow 2.x API 介紹圖像中的顯著性圖
TensorFlow 2.x 簡介
在計算機視覺領(lǐng)域中,顯著性圖是圖像在人類視線最初聚焦的區(qū)域。顯著性圖的主要目標是突出特定像素對人類視覺感知的重要性。
例如,在下圖中,花和手是人們首先注意到的東西,因此必須在顯著性圖上強調(diào)它們。還有一點需要注意的是,人工神經(jīng)網(wǎng)絡(luò)創(chuàng)建的顯著性圖并不總是與生物或自然視覺產(chǎn)生的顯著性圖相同。
什么是顯著圖?
顯著性圖是深度學(xué)習和計算機視覺的一個關(guān)鍵主題。在深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)的訓(xùn)練過程中,了解每一層的特征圖變得至關(guān)重要。CNN 的特征圖告訴我們模型的學(xué)習特征。而顯著性圖主要關(guān)注圖像的特定像素,而忽略其他像素。
顯著性圖
圖像的顯著性圖表示圖像中最突出和最集中的像素。有時,圖像中較亮的像素會告訴我們像素的顯著性。這意味著像素的亮度與圖像的顯著性成正比。
假設(shè)我們想要關(guān)注圖像的特定部分,比如想要關(guān)注鳥的圖像而不是天空、鳥巢等其他部分。然后通過計算顯著圖,我們將實現(xiàn)這一點。它將有助于降低計算成本,通常是灰度圖像,但可以根據(jù)我們的視覺舒適度轉(zhuǎn)換為另一種格式的彩色圖像。
顯著性圖也稱為“熱圖”,因為圖像的熱度/亮度對識別對象的類別有影響。顯著性圖旨在確定中央凹(高分辨率的顏色)中每個地方顯著或可觀察的區(qū)域,并根據(jù)顯著性的空間模式影響注意力區(qū)域的決策。它用于各種視覺注意模型。
如何使用 TensorFlow 計算顯著性圖?
顯著圖可以通過對輸入圖像 X 取類別概率 Pk的導(dǎo)數(shù)來計算。
等一下!這似乎很熟悉!是的,這與我們用于訓(xùn)練模型的反向傳播相同。我們只需要再邁出一步:梯度不會在我們網(wǎng)絡(luò)的第一層停止。相反,我們必須將其返回給輸入圖像 X。
因此,顯著性圖根據(jù)特定的類別預(yù)測 Pi 為每個輸入像素提供合適的表征。對花卉預(yù)測具有重要意義的像素應(yīng)聚集在花卉像素周圍。否則,經(jīng)過訓(xùn)練的模型會發(fā)生一些非常奇怪的事情。
顯著圖的優(yōu)勢在于,由于它們完全依賴于梯度計算,許多常用的深度學(xué)習模型可以免費為我們提供顯著圖。我們根本不需要修改網(wǎng)絡(luò)架構(gòu);我們只需要稍微調(diào)整梯度計算。
不同類型的顯著圖
靜態(tài)顯著性:針對圖像的每個靜態(tài)像素點計算出重要的感興趣區(qū)域,進行顯著性圖分析。
動態(tài)顯著性:關(guān)注視頻數(shù)據(jù)的動態(tài)特征。視頻中的顯著性圖是通過計算視頻的光流來計算的。移動實體/對象被認為是顯著對象。
代碼
我們將逐步研究 ResNet50 架構(gòu),該架構(gòu)已在 ImageNet 上進行了預(yù)訓(xùn)練。但是你可以采用其他預(yù)訓(xùn)練的深度學(xué)習模型或你自己的訓(xùn)練模型。
我們將說明如何利用 TensorFlow 2.x 中最著名的 DL 模型開發(fā)基本的顯著性圖。在教程中,我們使用了 Wikimedia 圖像作為測試圖像。
我們首先創(chuàng)建一個具有 ImageNet 權(quán)重的 ResNet50。使用簡單的輔助函數(shù),我們將圖像導(dǎo)入并準備將其饋送到 ResNet50。
# Import necessary packages
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
def input_img(path):
image = tf.image.decode_png(tf.io.read_file(path))
image = tf.expand_dims(image, axis=0)
image = tf.cast(image, tf.float32)
image = tf.image.resize(image, [224,224])
return image
def normalize_image(img):
grads_norm = img[:,:,0]+ img[:,:,1]+ img[:,:,2]
grads_norm = (grads_norm - tf.reduce_min(grads_norm))/ (tf.reduce_max(grads_norm)- tf.reduce_min(grads_norm))
return grads_norm
def get_image():
import urllib.request
filename = 'image.jpg'
img_url = r"https://upload.wikimedia.org/wikipedia/commons/d/d7/White_stork_%28Ciconia_ciconia%29_on_nest.jpg"
urllib.request.urlretrieve(img_url, filename)
def plot_maps(img1, img2,vmin=0.3,vmax=0.7, mix_val=2):
f = plt.figure(figsize=(15,45))
plt.subplot(1,3,1)
plt.imshow(img1,vmin=vmin, vmax=vmax, cmap="ocean")
plt.a(chǎn)xis("off")
plt.subplot(1,3,2)
plt.imshow(img2, cmap = "ocean")
plt.a(chǎn)xis("off")
plt.subplot(1,3,3)
plt.imshow(img1*mix_val+img2/mix_val, cmap = "ocean" )
plt.a(chǎn)xis("off")
圖1:輸入圖像
為了獲得預(yù)測向量,ResNet50 將直接從 Keras 應(yīng)用程序中加載。
test_model = tf.keras.a(chǎn)pplications.resnet50.ResNet50()
#test_model.summary()
get_image()
img_path = "image.jpg"
input_img = input_img(img_path)
input_img = tf.keras.a(chǎn)pplications.densenet.preprocess_input(input_img)
plt.imshow(normalize_image(input_img[0]), cmap = "ocean")
result = test_model(input_img)
max_idx = tf.a(chǎn)rgmax(result,axis = 1)
tf.keras.a(chǎn)pplications.imagenet_utils.decode_predictions(result.numpy())
TensorFlow 2.x 上提供了 GradientTape 函數(shù),該函數(shù)能夠處理反向傳播相關(guān)操作。在這里,我們將利用 GradientTape 的優(yōu)勢來計算給定圖像的顯著性圖。
with tf.GradientTape() as tape:
tape.watch(input_img)
result = test_model(input_img)
max_score = result[0,max_idx[0]]
grads = tape.gradient(max_score, input_img)
plot_maps(normalize_image(grads[0]), normalize_image(input_img[0]))
圖2:(1)Saliency_map,(2)input_image,(3)overlayed_image
關(guān)于Tensorflow 2.x 的結(jié)論
在這篇博客中,我們從不同方面定義了顯著性圖。我們添加了一個圖形表示來深入理解“顯著性地圖”這個術(shù)語。此外,我們通過使用 TensorFlow API 在 python 中實現(xiàn)它來理解它。結(jié)果似乎很容易理解。
在本文中,我們學(xué)習了:
1. 使用 tensorflow 的圖像的顯著性圖
2. 實現(xiàn)了一個 python 代碼來計算圖像的顯著性圖
3. 顯著性圖的數(shù)學(xué)背景
4. 計算了顯著性圖
原文標題 : 使用 TensorFlow 2.x API 介紹圖像中的顯著性圖
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價拍賣
- 5 具身智能火了,但規(guī)模落地還需時間
- 6 國產(chǎn)英偉達們,抓緊沖刺A股
- 7 三次錯失風口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市