第046章湍流算法
關燈
小
中
大
第046章 湍流算法
沒錯，當寧為看著視頻中霍志恒的字幕，聽著他擲地有聲的聲音時，大腦裏突然出現了一個在解決N-S方程過程中衍生出的互聯網實用技術——湍流算法。
這種感覺又很奇特。
就好像視頻中視頻主的那些言語不停的啟發著他，然後一個完整算法結構便結合著之前他所汲取的知識，展現在他的腦中。
緊跟著便又是靈感迸發的感覺。
如果不把這靈感記錄下來，寧為感覺自己會立刻瘋掉。
於是他從床上跳了起來。
“咋了，寧娃娃，是不是被我的文采斐然嚇尿了？”
“呸，你們聊你們的，別理我，我有個想法要記錄下來！”寧為隨口應付了徐瑞軒一句，然後坐到了自己的電腦前，飛快的打開了電腦，然後點開瀏覽器。
首先他要確定的是，他腦海中突然出現的這個依托於N-S方程衍生出的湍流算法的確還沒被發明出來。
很快，寧為便確定了，的確沒有！
因為如果這個湍流算法已經問世，大家就不會依然對那些惡意網絡爬蟲無計可施，只能縫縫補補的處理。
沒錯，此時寧為腦海中蹦出的湍流算法就是專門針對處理惡意網絡爬蟲的一種智能算法。
互聯網時代的網絡上充斥著各種網絡爬蟲。
所謂網絡爬蟲其實就是一種按照一定規則，自動批量抓取網絡信息的程序跟腳本。最廣泛的應用大概就屬搜索引擎，通過網絡爬蟲技術，這些搜索引擎會以一定的頻率，通過這些網絡爬蟲將搜集到的信息錄入到數據庫中，以保證用戶從引擎入口檢索時，能更多更準確的從互聯網龐雜的信息中找到仔細想要的東西。
這種類型的網絡爬蟲一般稱為通用網絡爬蟲。
另一類則是聚焦爬蟲。
這是一種針對特定網站或者特定信息不停抓取的技術。
一般來說能夠遵守robots協議來使用這項技術都是沒問題的。
但事實上，網絡上遍布的許多網絡爬蟲，幹的都不是人事。
跟所有人息息相關網絡爬蟲案例就是黃牛搶票。
比如全球被各種網絡爬蟲光顧最多的就是12306。
每到節假日，尤其是五一、十一、春運這樣的出行高峰，熱門地區的火車票總會特別難搶，甚至是秒空。而且這個時候12306軟件都很難打開，基本也都是拜這種網絡爬蟲所賜。
根據統計，華夏12306點擊量最高峰曾達到59億次/小時，平均每秒就有160多萬次點擊。顯然不是正常用戶能刷出來的數字。
官方程序也通過各種升級驗證碼，來防止黃牛搶票，甚至有一段時間，那些堪稱變態級別的驗證碼甚至難到讓一個普通人無所適從。
即便現在推出人票合一的功能了，但無數搶票軟件依然利用加價購買搶票包的方式提供這種服務。
除此之外，各大航空公司也是非法網絡爬蟲的重災區，尤其是經常放出特價機票的那些航司。幾乎每次特價機票剛一放出就會被這種爬蟲嗅探，然後直接預定但不付款。
對於航司來說，一般這種特價票預定之後會有半小時的時間給買家付款，半小時內不付款就會再次進入票池，但爬蟲技術卻能在這些特價票進入到票池後0.01秒之內再次搶到手，直到黃牛黨找到願意加價的買家，用買家身份信息購票並付款。
可以想象不管是12306還是各大航司，都恨透了這種爬蟲。
畢竟黃牛的加價他們一分錢都賺不到，還增加了網絡負載。
尤其是各大航司，本來是要讓利給客戶，增加客戶粘性的，結果客戶沒享受到低價票，還會可能因為付了高價，沒享受相對應的服務而惱火。
除了這種網絡爬蟲之外，還有一些更為惡意的網絡爬蟲，它們默默的潛伏在網絡中不斷爬取著各種私人的用戶身份信息，各大連鎖酒店、各種APP的用戶系統等等，都是這些網絡爬蟲的目標。
可惜的是目前針對這些惡意網絡爬蟲並沒有太好防禦性技術手段，一般都是依靠各種硬軟件防火墻技術來進行隔絕。
更讓無數開發者為難的是，安全跟便捷性往往無法兼得。
這就好像12306曾經出臺的那些讓人崩潰的驗證碼，短暫制止了爬蟲肆虐的同時，也讓無數普通人暈頭轉向。
此時寧為腦海中的湍流算法，卻能在兼顧便利性的同時，解決掉惡意爬蟲肆虐的問題。
用可以理解的語言來表述這種算法的功能大概就是穩定態的數據流會在服務端數據接口如同像流水般緩緩正常流動。每一個連接請求都會直接影響這條處於平穩態的數據流。就好像平靜流動的河面因為逆流而上的小魚，而形成一個個湍流。
當服務端配置好湍流算法後，通過升級驗證系統，平穩態的數據流就能通過無數次的訪問，來智能判定各種連接請求是正常的還是其他非法請求，並以此判定出網絡爬蟲在做數據爬取，還是正常客戶的正常訪問。
做出區分之後，算法可以自動將這些爬蟲指向目標直接引向一個數據湍流，在這裏這些爬蟲只能爬取到各種混亂且龐雜的無效數據然後反饋給爬蟲作者。
這一過程如果精心布置還可能直接影響到接收信息的設備安全，讓這些惡意爬蟲無所遁形。
聽起來似乎很簡單，但這個湍流算法並不簡單，其中包含了許多底層神經網絡跟深度學習算法的內容，比如它幾乎同時用到了循環神經網絡、生成對抗網絡、深度收縮網絡，各種回歸等。
更有通過N-S方程演繹而來的神經網絡算法。
很快，寧為便將算法的幾個部分大體記錄在了電腦上。
然後調出了C語言環境。
到不是不想用python，畢竟相對於C來說python極為簡單，有許多的包可以直接調用，就好像一個從來沒學過做飯的人，如果用料理包的話只用微波爐也能做出極為美味的飯菜。
但python沒法滿足寧為的需求，更何況湍流算法很多部分python根本沒包。
而且大一學校開過C語言的課，寧為的成績也還不錯。
當然這個成績不錯，完全不是寧為現在表現出的這樣。
比如曾經學習C語言時，讓他分外頭疼的指針跟鏈表，現在卻如同無師自通了一般，用起來揮灑自如。
這個大概就是成長的煩惱吧！
本站無廣告，永久域名（danmei.twking.cc）
沒錯，當寧為看著視頻中霍志恒的字幕，聽著他擲地有聲的聲音時，大腦裏突然出現了一個在解決N-S方程過程中衍生出的互聯網實用技術——湍流算法。
這種感覺又很奇特。
就好像視頻中視頻主的那些言語不停的啟發著他，然後一個完整算法結構便結合著之前他所汲取的知識，展現在他的腦中。
緊跟著便又是靈感迸發的感覺。
如果不把這靈感記錄下來，寧為感覺自己會立刻瘋掉。
於是他從床上跳了起來。
“咋了，寧娃娃，是不是被我的文采斐然嚇尿了？”
“呸，你們聊你們的，別理我，我有個想法要記錄下來！”寧為隨口應付了徐瑞軒一句，然後坐到了自己的電腦前，飛快的打開了電腦，然後點開瀏覽器。
首先他要確定的是，他腦海中突然出現的這個依托於N-S方程衍生出的湍流算法的確還沒被發明出來。
很快，寧為便確定了，的確沒有！
因為如果這個湍流算法已經問世，大家就不會依然對那些惡意網絡爬蟲無計可施，只能縫縫補補的處理。
沒錯，此時寧為腦海中蹦出的湍流算法就是專門針對處理惡意網絡爬蟲的一種智能算法。
互聯網時代的網絡上充斥著各種網絡爬蟲。
所謂網絡爬蟲其實就是一種按照一定規則，自動批量抓取網絡信息的程序跟腳本。最廣泛的應用大概就屬搜索引擎，通過網絡爬蟲技術，這些搜索引擎會以一定的頻率，通過這些網絡爬蟲將搜集到的信息錄入到數據庫中，以保證用戶從引擎入口檢索時，能更多更準確的從互聯網龐雜的信息中找到仔細想要的東西。
這種類型的網絡爬蟲一般稱為通用網絡爬蟲。
另一類則是聚焦爬蟲。
這是一種針對特定網站或者特定信息不停抓取的技術。
一般來說能夠遵守robots協議來使用這項技術都是沒問題的。
但事實上，網絡上遍布的許多網絡爬蟲，幹的都不是人事。
跟所有人息息相關網絡爬蟲案例就是黃牛搶票。
比如全球被各種網絡爬蟲光顧最多的就是12306。
每到節假日，尤其是五一、十一、春運這樣的出行高峰，熱門地區的火車票總會特別難搶，甚至是秒空。而且這個時候12306軟件都很難打開，基本也都是拜這種網絡爬蟲所賜。
根據統計，華夏12306點擊量最高峰曾達到59億次/小時，平均每秒就有160多萬次點擊。顯然不是正常用戶能刷出來的數字。
官方程序也通過各種升級驗證碼，來防止黃牛搶票，甚至有一段時間，那些堪稱變態級別的驗證碼甚至難到讓一個普通人無所適從。
即便現在推出人票合一的功能了，但無數搶票軟件依然利用加價購買搶票包的方式提供這種服務。
除此之外，各大航空公司也是非法網絡爬蟲的重災區，尤其是經常放出特價機票的那些航司。幾乎每次特價機票剛一放出就會被這種爬蟲嗅探，然後直接預定但不付款。
對於航司來說，一般這種特價票預定之後會有半小時的時間給買家付款，半小時內不付款就會再次進入票池，但爬蟲技術卻能在這些特價票進入到票池後0.01秒之內再次搶到手，直到黃牛黨找到願意加價的買家，用買家身份信息購票並付款。
可以想象不管是12306還是各大航司，都恨透了這種爬蟲。
畢竟黃牛的加價他們一分錢都賺不到，還增加了網絡負載。
尤其是各大航司，本來是要讓利給客戶，增加客戶粘性的，結果客戶沒享受到低價票，還會可能因為付了高價，沒享受相對應的服務而惱火。
除了這種網絡爬蟲之外，還有一些更為惡意的網絡爬蟲，它們默默的潛伏在網絡中不斷爬取著各種私人的用戶身份信息，各大連鎖酒店、各種APP的用戶系統等等，都是這些網絡爬蟲的目標。
可惜的是目前針對這些惡意網絡爬蟲並沒有太好防禦性技術手段，一般都是依靠各種硬軟件防火墻技術來進行隔絕。
更讓無數開發者為難的是，安全跟便捷性往往無法兼得。
這就好像12306曾經出臺的那些讓人崩潰的驗證碼，短暫制止了爬蟲肆虐的同時，也讓無數普通人暈頭轉向。
此時寧為腦海中的湍流算法，卻能在兼顧便利性的同時，解決掉惡意爬蟲肆虐的問題。
用可以理解的語言來表述這種算法的功能大概就是穩定態的數據流會在服務端數據接口如同像流水般緩緩正常流動。每一個連接請求都會直接影響這條處於平穩態的數據流。就好像平靜流動的河面因為逆流而上的小魚，而形成一個個湍流。
當服務端配置好湍流算法後，通過升級驗證系統，平穩態的數據流就能通過無數次的訪問，來智能判定各種連接請求是正常的還是其他非法請求，並以此判定出網絡爬蟲在做數據爬取，還是正常客戶的正常訪問。
做出區分之後，算法可以自動將這些爬蟲指向目標直接引向一個數據湍流，在這裏這些爬蟲只能爬取到各種混亂且龐雜的無效數據然後反饋給爬蟲作者。
這一過程如果精心布置還可能直接影響到接收信息的設備安全，讓這些惡意爬蟲無所遁形。
聽起來似乎很簡單，但這個湍流算法並不簡單，其中包含了許多底層神經網絡跟深度學習算法的內容，比如它幾乎同時用到了循環神經網絡、生成對抗網絡、深度收縮網絡，各種回歸等。
更有通過N-S方程演繹而來的神經網絡算法。
很快，寧為便將算法的幾個部分大體記錄在了電腦上。
然後調出了C語言環境。
到不是不想用python，畢竟相對於C來說python極為簡單，有許多的包可以直接調用，就好像一個從來沒學過做飯的人，如果用料理包的話只用微波爐也能做出極為美味的飯菜。
但python沒法滿足寧為的需求，更何況湍流算法很多部分python根本沒包。
而且大一學校開過C語言的課，寧為的成績也還不錯。
當然這個成績不錯，完全不是寧為現在表現出的這樣。
比如曾經學習C語言時，讓他分外頭疼的指針跟鏈表，現在卻如同無師自通了一般，用起來揮灑自如。
這個大概就是成長的煩惱吧！
本站無廣告，永久域名（danmei.twking.cc）