龙空技术网

[爬虫技术]如何抓取域名完整WHOIS信息(域名注册信息)

易本地工作室 2870

前言:

今天大家对“域名注册信息whois查询”大约比较关切,看官们都需要了解一些“域名注册信息whois查询”的相关文章。那么小编在网络上网罗了一些对于“域名注册信息whois查询””的相关内容,希望你们能喜欢,咱们一起来了解一下吧!

域名注册信息(WHOIS),即域名所有人信息,登记着域名归属人信息。既然是信息,就有他的价值所在。域名注册信息对很有些人来说非常重要,比如玩域名的米农们,还有一些公司的销售们,他们通过获取域名的注册信息来联系到域名的所有人,可以和他们洽谈收购域名事宜?亦或者问问你注册了域名要不要找我们做个网站?哈~反正由于骚扰量太大,所以现在很多人注册域名都不留真实的联系方式了。因为域名注册信息这块,注册商是不做信息有效性审核的,随便你填,只要格式正确就可以了。

但我不关心他的信息真实性,既然有人要这信息,我们就要想办法爬啊!网上有很多查询WHOIS信息的软件,但都不太适合我们的软件调用和数据分析。所以我们最好还是自己直接抓取比较方便。

首先我们要了解域名注册信息的存储方式,我个人的理解是,全求有各大域名WHOIS根服务器(有点像DNS根服务器)例如com的WHOIS根服务器就是:whois.verisign-grs.com 这个服务器上存储这域名的基本信息,包括创建时间,注册时间,到期时间等等,比如我们查询下今日头条的域名toutiao.com的域名信息,具体信息如下图

每个后缀的域名的根WHOIS服务器是固定的,但这里的信息太少,不是我们想要的。那哪里才能查到我们想要的具体信息呢,上图中,大家注意到没,其中有条信息叫Whois Server,指向了域名注册商的WHOIS服务器:whois.ename.com(易名中国),这个服务器存储着域名更详细的信息,其中就包括了我们想要的域名注册人,联系方式,邮箱等数据。

到这里,我们的任务完成了一半了!知道了信息的获取途径,下面我们就用程序的方法去获取吧!

百度下WHOIS协议,我们知道了WHOIS协议通信是用的服务器43端口。这样我们利用C#(亦或其他程序)中的SOCKET类去和服务器进行通信,协议方式就是连上43端口后,发送域名的ASCII编码,以\r\n(回车换行符)结束。成功的话服务器就会返回对应域名的信息,C#的通信代码如下:

/// <summary>

/// 查询域名的 WhoIs 信息

/// </summary>

/// <param name="domain">要查询的域名</param>

/// <param name="server">WhoIs 服务器地址</param>

/// <param name="port">WhoIs 服务器端口</param>

/// <returns>

/// 执行成功: 返回详细的WhoIs信息

/// 执行失败:返回相就的异常或是错误信息

/// </returns>

public static string TcpWhoIs(string domain, string server, int port)

{

//domain = FunctionServices.getDomain(domain);

// 连接域名 Whois 查询服务器

TcpClient tcp = new TcpClient();

tcp.SendTimeout = 10;

//return string

string returnstr = "String Error";

try

{

tcp.Connect(server, port);

}

catch (SocketException)

{

returnstr = "查询错误:连接 Whois 服务器[" + server + "]失败";

return returnstr;

}

// 向域名 Whois 查询服务器发送查询的域名

try

{

//构造发送的字符串

domain += "\r\n";

Byte[] DomainBytes = System.Text.Encoding.ASCII.GetBytes(domain.ToCharArray());

// 将域名发送到域名 Whois 查询服务器

Stream WhoisStream = tcp.GetStream();

WhoisStream.Write(DomainBytes, 0, domain.Length);

//返回流

StreamReader WhoisStreamReader = new StreamReader(WhoisStream, System.Text.Encoding.UTF8);

StringBuilder WhoisInfo = new StringBuilder();

string WhoisLine = null;

while (null != (WhoisLine = WhoisStreamReader.ReadLine()))

{

WhoisInfo.Append(WhoisLine + "\r\n");

}

returnstr = WhoisInfo.ToString();

}

catch (Exception)

{

returnstr = "查询错误:网络无响应,或者是您的域名输入有误";

}

finally

{

tcp.Close();

}

return returnstr;

}

我们就用toutiao.com举例,通过这个代码,我们可以先连接到com域名的根WHOIS服务器:whois.verisign-grs.com 来获取基本信息,然后对信息分析,提取想要的信息,如到期时间等。同时我们要提取关键的WHOIS SERVER的信息,获取到结果:whois.ename.com,同样的方式,我们再连一次这个WHOIS服务器,发送域名,得到域名具体的注册信息。至此,我们就获取到了一个完整的域名注册信息了。

获取域名注册信息需要注意的以下几点:

每个根服务器返回的信息格式有的时候并不一样,这个就要靠我们人工新分析了。但同个服务器返回的信息格式是一样的。所以针对不同的服务器返回,我们要区别对待。

域名未注册时,查询的信息返回是未找到,每个根服务器返回的也不一样。有的是“does not exist”,有的是“Not found”,也有的是“No match for”,这个也挺让人难受的。对于这样的问题,我们只有针对不同的服务器,去做不同的判断。主要做一些主流域名.com,.net,.cn的判断基本就差不多了。

大多数域名服务器的请求频率是有限制的。所以这里并不推荐多线程大批量获取域名信息,为了稳定,还是单线程设置个延时,慢慢的抓吧。

这里提供一下几个主流域名的WHOIS根服务器供大家测试,测试方式是用Telnet 软件去连接WHOIS服务器的43端口,连接上之后就可以输入域名,然后回车,就可以得到域名注册信息了。

域名后缀Whois服务器.comwhois.verisign-grs.net.netwhois.verisign-grs.net.cnwhois.cnnic.net.cn".orgwhois.pir.org.topwhois.nic.top.ccwhois.nic.cc.govwhois.internic.net也许大家会问我,为什么不去站长直接这类网站获取WOHIS信息呢?他们不是提供WEB查询接口查询么?要知道,起始他们也是最终到WHOIS服务器去抓取的信息,他们只是缓存下来给大家查而已。我不想过于依赖别人,所以我们还是直接去WHOIS服务器爬去实时的域名注册信息吧。

标签: #域名注册信息whois查询