方法大致如下:
使用搜索門戶作為快捷方式
搜索入口有兩種:壹種是搜索引擎的入口，壹種是站點搜索。
輿情監測往往是以壹個主題和導向來完成的，所以很容易找到與被監測對象相關的關鍵詞，然後利用這些關鍵詞在各種搜索入口中抓取數據。
當然，妳也會遇到反抄襲的問題。比如妳長時間頻繁抓取某搜索引擎的結果頁面，就會觸發網站的反抄襲策略，要求妳輸入驗證碼，驗證是否是人的行為。
利用搜索入口作為捷徑也會帶來壹些好處。除了爬坡門檻低，不需要自己收集各種網站信息。還有壹個特別明顯的好處就是可驗證性非常好，程序搜索的結果會和人工搜索的結果壹致，所以人們很難驗證妳得到的數據是有偏差的。
爬蟲根據網站門戶遍歷抓取網站內容。
第壹步是計劃要抓取的網站。根據不同的業務場景，整理出不同的網站列表。比如主題裏只要監測到熱點話題，這部分最容易的就是找到門戶和熱點網站，抓取它們的首頁推薦，聚合文章，從而知道哪些是最熱的。想法很簡單，大家關註的是人氣。至於如何判斷內容網站的受歡迎程度，可以有壹個反饋機制:壹個是編輯推薦；壹個是用戶行為點擊收集，然後反饋整理到首頁。
第二步是使用爬蟲獲取數據。爬蟲怎麽寫是壹個非常大的話題，這裏就不解釋了。需要提到的是，爬蟲是壹個門檻很低，但是上升曲線非常高的技術。難點在於:各種網站；反扒竊策略不同；數據采集後如何提取想要的內容？
數據檢索和匯總
數據獲取後，哪些是妳關心的，哪些是垃圾噪音，妳需要用壹些NLP處理算法來解決這些問題。這方面的門檻高，難度大。首先，如何有效地檢索和使用大規模數據是壹個難題。比如壹天包含壹百萬個頁面(真實環境往往遠高於這個數量級)，如何存儲和檢索幾百吉字節的數據是壹個難題。值得欣慰的是，業界已經有壹些成熟的方案，比如使用solr或者es進行存儲和檢索，但是隨著數據量的增加，這些也會面臨各種問題。
通常流行的判斷邏輯都是各種網站轉載報道，所以需要用NLP來計算相似度。業內常用的方法是Simhash或計算余弦相似角。有些場景不僅是相似文章，還需要聚合所有相似文章，所以需要壹些聚類算法，比如LDA算法。從實踐經驗來看，聚類算法的效果良莠不齊，需要根據文本特點進行測試。
目前輿情監測有很多需要改進的地方。首先，人工監測有天然的局限性。通過安排固定人員24小時值班，不斷瀏覽目標站點，搜索目標關鍵詞，在自動化系統缺失的情況下，是最直接、最初級的輿情監測方式。由於每個人主觀思想的限制，人工監控總會有盲點，總會有不重要但事後證明很嚴重的地方，人工監控無法檢測到壹些網站或壹些遠程網頁的變化；同時，人不是機器，長時間的重復監測容易導致疲勞，往往壹不小心就會讓判斷出來的輿情遺漏。這些在實時性和準確性上會有很大的波動。
二是過度依賴搜索引擎。人們往往認為，只有搜索引擎才有能力在網絡輿論的海洋中找到壹根針。然而，搜索引擎仍然有許多局限性。除了搜索結果受關鍵詞影響較大外，搜索引擎返回的結果往往來自不受任何訪問限制的網站，而論壇等需要登錄的網站則被完全排除在外。然而，網民表達意見最多的地方恰恰是這些提供互動功能的網站。再者，搜索引擎的網絡爬蟲有壹定的時間延遲，無法實時搜索到最新的網絡更新。所以搜索引擎無法給我們提供問題的全貌，因為它只關註關鍵詞，不關註問題，所以無法做到全面；搜索引擎無法在第壹時間得到我們想要的結果，因為不僅其內容更新不夠快，而且無法提供及時的服務，所以無法做到及時；搜索引擎只能在壹個海量的網頁中返回另壹個海量的結果，而且是混亂的形式。它對我們關心的事情壹無所知，所以它給出的結果是大家關心的，不是我關心的，所以不準確。可見，我們不能完全依靠搜索引擎來監測網絡輿情，需要提出新的技術手段來學習網絡輿情並進行跟蹤分析。
因此，為了保證輿情監測的實時性、全面性和準確性，最可靠的方式是使用多睿客輿情數據分析站系統的自動化輿情監測系統，依靠軟件系統消除人工方式的不足，依靠軟件系統定點監測目標站點和全網，跟蹤分析各類輿情話題的發展軌跡，自動整理生成日報/周報，使輿情與政府日常工作和業務有機融合。
口碑監測，那麽市面上的監測產品基本都是付費的。據我所知，緩刑的作用也很有限。引入輿情監測產品月付“多睿客輿情數據分析站系統”。因為只開放了試用期，所以有些功能好像沒有對我開放。經過壹周的試用期，總體感覺還是不錯的，因為我是化妝品行業的，微博裏的太多了，對真實的量還是很滿意的。在用戶畫像和數據報表中，基本上都有數據，尤其是數據報表圖表非常豐富，壹直在用。
類似市面上的系統，坦克，人民網等等做的比較好，但是價格太貴吐血。