使用EXCEL中的Power Query一次抓取網(wǎng)站中的多頁數(shù)據(jù)

2010-03-01 網(wǎng)站建設(shè)觀點(diǎn)

有時(shí)我們需要進(jìn)入網(wǎng)站站中抓取一些數(shù)據(jù)，但會(huì)遇到數(shù)據(jù)出現(xiàn)分頁顯示的情況，查看比較都沒有那么方便。如果一頁一頁的提取會(huì)顯得比較麻煩。別急，我們可以使用Excel中的Power Query的功能將這些出在網(wǎng)站中不同頁面的數(shù)據(jù)抓取到一張表中。便于你在后期的查看，查詢，比較分析等操作。

下面我們來看看如何實(shí)現(xiàn)這一目的，操作中無需要編程知識。

首先，確定你需要抓取的網(wǎng)站。下面我們以抓取中國銀行的外匯牌價(jià)作為例子。看如何操作。

首先，打開Excel程序新建一個(gè)表格。將菜單切換至“數(shù)據(jù)”，點(diǎn)擊“新建查詢”-“從其他源”-“自網(wǎng)站”

此時(shí)打開了一個(gè)“從Web"的界面。在這里需要從網(wǎng)站上去觀察網(wǎng)址點(diǎn)擊每一分頁的網(wǎng)址變化情況。下面的案例，網(wǎng)頁的變化主要是由index_1后面的數(shù)字變化和改變數(shù)據(jù)的分頁瀏覽。由于后面還跟有.html的后綴。需要進(jìn)行一些設(shè)定

好了，確定這個(gè)規(guī)律后。我們將該界面中的基本點(diǎn)選改為點(diǎn)選”高級“。將網(wǎng)址復(fù)制到URL部分的下面，稍有些不同的是，需要將網(wǎng)址中的一部分內(nèi)容作為部件。

將不變化的部分index_前的一大段網(wǎng)址先做為"URL部分輸入"，將1和.html各作為一個(gè)部件輸入。這里分成兩個(gè)部件主要是需要將數(shù)字部分作為一個(gè)變量。從"URL預(yù)覽“中我們就能看到表示出的完整地址。就是我們需要數(shù)據(jù)的第一頁的地址。

點(diǎn)擊確定進(jìn)入到導(dǎo)航器的界面當(dāng)中。選擇左手邊的Table0，在右手邊的“表視圖”中可以看到網(wǎng)站第一頁的數(shù)據(jù)。這就是我們需要的數(shù)據(jù)部分。然后點(diǎn)擊下方的“轉(zhuǎn)換數(shù)據(jù)”

開啟轉(zhuǎn)到了“Power Query編輯器”界面，在這里需要做一個(gè)手動(dòng)的加工。點(diǎn)擊開啟“高級編輯器”，在高級編輯器的界面中可以看到有一些生成的代碼。在這里需要進(jìn)行代碼的一些變更。

在let的上方加入下面的語句，定義一個(gè)變量n，類型為number，作為一個(gè)table

（n as number) as table=>

接下來修改下作為變量的部分，就是上面部件為1的部分。因在網(wǎng)頁地址中為文本類型，因此使用Text函數(shù)進(jìn)行格式的轉(zhuǎn)換：

&Text.From(n)&

點(diǎn)擊完成。

可以看到n變量參數(shù)的一個(gè)調(diào)用頁面，測試一下，輸入?yún)?shù)2，點(diǎn)擊“調(diào)用”就可調(diào)用查詢到網(wǎng)站頁面2的數(shù)據(jù)?？梢愿鶕?jù)調(diào)用的參數(shù)不同，調(diào)用不同頁面中的數(shù)據(jù)。

下面看看如何調(diào)用你需要的不同頁面的數(shù)據(jù)?？梢韵劝焉厦嬲{(diào)用測試的查詢刪除。右鍵點(diǎn)擊左邊空白處，根據(jù)下圖中的菜單，選擇新建一個(gè)“空查詢”

在上方fx的后面輸入：={1..9}回車，建立一個(gè)1到9的列表

接下來需要將它轉(zhuǎn)換到表，點(diǎn)擊上方的“轉(zhuǎn)換”，然后點(diǎn)擊“列表”。在彈出的“到表”界面中選擇默認(rèn)即可。點(diǎn)擊“確定。

接下來我們就可以來調(diào)用自定義函數(shù)。菜單切換至“添加列”選項(xiàng)卡，點(diǎn)擊“調(diào)用自定義函數(shù)”。在調(diào)用自定義函數(shù)的界面中，在功能查詢下面選擇“table0”，n參數(shù)選擇“Column1”

完成上面的自定義函數(shù)調(diào)用設(shè)置后點(diǎn)擊“確定”

接下來需要將數(shù)據(jù)展開，點(diǎn)擊table0后面的展開圖標(biāo)，進(jìn)行數(shù)據(jù)展開

選擇需要展開的列，點(diǎn)擊“確定”

可以看到我們設(shè)置的1到9頁的數(shù)據(jù)全部展現(xiàn)出來，并且在最前一列中顯示出展示的數(shù)據(jù)在那一個(gè)頁碼中。

接下來，將菜單切換至“主頁”選項(xiàng)卡，并點(diǎn)擊“關(guān)閉并上載至……”

將需要上載到的數(shù)據(jù)加載到一個(gè)表中。點(diǎn)擊“加載”。加載數(shù)據(jù)需要一段時(shí)間，主要跟網(wǎng)速與抓取數(shù)據(jù)的多少有關(guān)。請耐心等待。

可以看到網(wǎng)站上1到9頁數(shù)據(jù)都導(dǎo)入到了一個(gè)Excel的工作表中了。

像這個(gè)數(shù)據(jù)在網(wǎng)站中會(huì)定時(shí)更新，如果你有需要也可以在表格中設(shè)置數(shù)據(jù)的更新頻率。從“設(shè)計(jì)”的菜單中選擇打開“屬性”，在連接屬性中進(jìn)行刷新頻率的勾選和設(shè)置。

上一篇：微軟 Chromium 版 Edge 瀏覽器正測試釣魚網(wǎng)站警告返回觀點(diǎn)列表下一篇：網(wǎng)站遲遲不出沙盒期，網(wǎng)站快速收錄解決辦法

本文標(biāo)簽：

本文地址： http://www.bmwdream.cn/a/1746.html

相關(guān)專題

品牌官網(wǎng)設(shè)計(jì)
杭州派迪科技為高端客戶提供品牌官網(wǎng)咨詢策劃，品牌官網(wǎng)設(shè)計(jì)，品牌官網(wǎng)建設(shè)開發(fā)服務(wù)，以國際化視野和標(biāo)準(zhǔn)為基礎(chǔ)，為各行業(yè)領(lǐng)軍品牌提供高端企業(yè)網(wǎng)站定制、策劃、設(shè)計(jì)、互動(dòng)與制作
查看詳情
大策略營銷門戶網(wǎng)站
杭州派迪科技有自己的營銷型網(wǎng)站CMS系統(tǒng)，適合白帽SEO網(wǎng)站。特別對大策略的營銷型門戶網(wǎng)站制作有一定的經(jīng)驗(yàn)，曾經(jīng)為上海天擎外貿(mào)行業(yè)網(wǎng)站、浙江兆龍營銷型門戶、先臨三維門戶營銷網(wǎng)站提供全程的技術(shù)支持及SEO優(yōu)化指導(dǎo)
查看詳情
集團(tuán)/上市公司網(wǎng)站
杭州派迪科技為杭州本地集團(tuán)公司提供網(wǎng)頁設(shè)計(jì)、制作、開發(fā)服務(wù)，為集團(tuán)公司網(wǎng)站建設(shè)提供了響應(yīng)式、營銷型、品牌型、門戶型網(wǎng)站建設(shè)需求，歡迎廣大集團(tuán)公司客戶咨詢
查看詳情
外貿(mào)網(wǎng)站建設(shè)
杭州派迪科技為高端客戶提供外貿(mào)網(wǎng)站咨詢策劃，外貿(mào)官網(wǎng)設(shè)計(jì)，外貿(mào)官網(wǎng)建設(shè)開發(fā)服務(wù)，以谷歌搜索引起算法為基礎(chǔ)，為各行業(yè)外貿(mào)公司提供高端企業(yè)外貿(mào)網(wǎng)站定制、策劃、設(shè)計(jì)、互動(dòng)與制作
查看詳情
企業(yè)網(wǎng)站建設(shè)
高端專業(yè)、令人印象深刻的用戶界面、易于訪問——企業(yè)網(wǎng)站必須反映一切，因?yàn)榕傻峡萍荚谶@里提供幫助，憑借精湛的技術(shù)、豐富的經(jīng)驗(yàn)、與客戶的持續(xù)溝通以及對每一個(gè)細(xì)節(jié)的關(guān)注，我們確保在快速的周期時(shí)間內(nèi)提供優(yōu)質(zhì)的服務(wù)。
查看詳情
半定制網(wǎng)站
杭州派迪科技模板網(wǎng)站建設(shè)專題_各行業(yè)方案專題欄目提供各行業(yè)產(chǎn)品適合的網(wǎng)站建設(shè)方案,幫助企業(yè)了解派迪科技建站效果等信息,您可以通過本站了解各行業(yè)網(wǎng)站建設(shè)方案,如需要獲取本行業(yè)定制網(wǎng)站建設(shè)方案,可以聯(lián)系在線客服或撥打電話咨詢
查看詳情