C#解析HTML利器-Html Agility Pack

2018-02-14 22:19:58来源:cnblogs.com作者:又见阿郎人点击

分享
第七城市

今天刚开始做毕设....好吧,的确有点晚。我的毕设设计需要爬取豆瓣的电影推荐,于是就需要解析爬取下来的html,之前用Python玩过解析,但目前我使用的是C#,我觉得C#不比python差,有微软大大在,这个不需要担心,主要还是生态问题。查了下资料,发现Html Agility Pack是比较好的,当然还有其他的,我就不说了,主要使用它做的。

    官网地址(可以自己去下载dll):

    http://html-agility-pack.net/select-nodes

    参考:Html Agility Pack基础类介绍及运用

    代码设计:

static void complete(object o, AsyncCompletedEventArgs e)  {  // 开始解析html  var doc = new HtmlDocument();  doc.Load( "E:/程序文件/C#程序代码/Validate/ConsoleApplication1/movie.txt", Encoding.UTF8);  List<string> movie = new List<string>();   //   HtmlNodeCollection nodeCollection = doc.DocumentNode.SelectNodes("//ul/li[ class=/"title/"]");  foreach (HtmlNode n in nodeCollection)  {  Console.WriteLine(n.InnerHtml.Trim());  movie.Add(n.InnerText.Trim());  }    //获取豆瓣最受欢迎影评  HtmlNodeCollection nodeCollection1 = doc.DocumentNode.SelectNodes("//div[ class=/"review-bd/"]/h3");  foreach (HtmlNode n in nodeCollection1)  {  Console.WriteLine(n.InnerHtml.Trim());  movie.Add(n.InnerText.Trim());  }    foreach(var m in movie)  {  Console.WriteLine(m);  }   File.Delete( "E:/程序文件/C#程序代码/Validate/ConsoleApplication1/movie.txt");  }   static void Main(string[] args)  {  Console.BufferHeight = 10000;  Console.BufferWidth = 10000;  string moviePath =  "E:/程序文件/C#程序代码/Validate/ConsoleApplication1/movie.txt";  WebClient wc = new WebClient();  wc.UseDefaultCredentials = true;  wc.DownloadFileAsync(new Uri("https://movie.douban.com/"), moviePath);  wc.DownloadFileCompleted += new AsyncCompletedEventHandler(complete);   Console.Read();  }

对于WebClient文档,请看https://msdn.microsoft.com/zh-cn/library/system.net.webclient(v=vs.110).aspx

    不得不说,微软官网的系列文档真是良心!以前也是听人说过,微软的解决方案以及文档很全,但是一直查资料都是直接百度,现在换了一种,直接上微软官网查....真是良心!而且例子是比较经典的!

第七城市

最新文章

123

最新摄影

闪念基因

微信扫一扫

第七城市微信公众平台