如何使用网站分析软件？面对庞大的网站日志，有哪些高效的分析方法与查看技巧？

网站记录庞大如何进行解析？记录庞大如何进行检查？

怎样进行网站记录分析？

一、何为网站记录？

1.网站记录是一类以log为后缀的文件，记录着各类原始信息，例如web服务器接收到的处理请求和运行时错误。

2.通过网站记录，可以明确知道用户在哪个IP、何时、什么操作系统、什么浏览器、什么解析设备下访问了网站的哪个页面，访问是否成功。

3.搜索引擎也属于网站中的一类用户。我们今天的分享课程主要是针对服务器上类似搜索引擎的用户留下的记录进行分析。

为了便于阅读搜索引擎记录，我们需要了解不同搜索引擎爬虫的标识。以下是四个搜索引擎的标志：百度爬虫：Baiduspider搜狗：搜狗新闻爬虫360：360爬虫谷歌：Googlebot

二、如何理解网站记录

(以下为记录内容)www.cafehome.com

58.180.251.134--[2015年3月25日13时24分33秒0800]GET/m53256.html

HTTP/1.120012264Mozilla/5.0

(WindowsNT6.1)appleWebKit/537.36(KHTML，像壁虎一样)

chrome/35.0.1916.153Safari/537.36SE2。XMetaSr1.0

以下字段的解释：

通常，当日志文件较大时，需要结合shell和python来提取和分析数据。因此，读取网站记录中的字段有利于日常分析。这里就不再赘述了。感兴趣的读者可以继续深入了解。

大型网站通常可以使用上述方法来进行记录分析。

普通的个人网站，或者企业网站，可以通过光年记录分析工具，与百度站长平台配合使用。

三、为何要进行网站记录分析？

我们先来了解一下SEO流量获取流程：抓取->索引->排名->点击->流量

因此，获得SEO流量的前提是有价值的页面被搜索引擎抓取。

因此，对于SEO运营来说，分析搜索引擎的网站记录是非常必要的：分析是否有抓取：解决一定的索引问题。发现异常：及时避免。例如有大量的异常页面，404等。抓取控制：让更多的优质内容被抓取，过滤无效。

Web分析的目标：让更多有价值的页面被抓取，你就有机会获得索引，从而有机会获得SEO流量。

四、如何进行网站记录分析

定期监控搜索引擎抓取量的变化，历史数据的横向和纵向对比可以发现异常情况。使用第三方站长平台，如百度站长平台，了解搜索引擎抓取频率的变化。借助光年记录分析工具，定期做数据记录，了解重要栏目和页面抓取量的变化。

举个例子：

老站点（建站1年，有人维护的网站）：SEO流量波动异常。

有两种情况：

了解外界：了解外界的前提是你平时有一定的网络基础。如果没有，也没关系。泡在2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如像百度搜索引擎，有站长平台，也会相应建立站长QQ群。在人脉的基础上，可以直接了解外界——有没有类似的波动？这个前提要和你短期的SEO操作一起考虑，避免误判。无人脉，泡泡群，泡泡站长平台。通常如果搜索引擎算法升级，群内或者站长平台都会有相关的小道消息。如果是搜索引擎自身算法升级导致的流量波动，就必须根据新的算法做出相应的站内优化。比如百度冰桶3.0版本提出，将严厉打击百度移动搜索中打断用户完整搜索路径的调用行为。如果站点有以上情况，就需要有针对性的优化：无论是通过对接的APPLINK调用，还是网页本身调用的应用，还是普通的网页，都应该是可返回可关闭的。用户验证搜索结果的准确性，不需要下载应用程序或获得许可。

分析内部：

在分析内部之前，再抛一下这个公式：SEO流量=抓取量收录率(准确的说应该是索引率)首页率点击率。

。当抓取频率异常时，抓取量必然会减少。因此，排除外部因素，有必要对网站记录进行分析。如果你的站点是中文站点，并且是百度站长平台的VIP用户。那么，可以先使用第三方站长平台(比如百度)的“抓取频率”工具，了解搜索引擎的近期抓取频率、抓取时间、异常页面等。通常在这个工具的帮助下，我们可以对搜索引擎最近的抓取情况有一个初步的了解，也可以借助这个工具找到一些相应的解决方法。

这里，首先解释一下这个概念，以便于理解：

1.抓取频率：抓取频率是搜索引擎在单位时间内(天级)抓取网站服务器的总次数。如果搜索引擎对某个站点的抓取频率过高，很可能造成服务器不稳定，蜘蛛会根据网站内容更新频率、服务器压力等因素自动调整抓取频率。

2.抓取时间：是指搜索引擎每次抓取所花费的时间。影响抓取频率的可能原因有：

(1)如果抓取频率的上限被错误地调整和降低，将直接影响抓取量。抢量减少，指标量就少，流量也相应减少。

(2)运营层面：存在大量重复页面(案例一:自身网站存在大量重复内容。情况二:自己网站的内容大量收集互联网上已有的内容)。从搜索引擎的目标出发——搜索引擎想要抓取更多更好的页面，但是你的网站产生了大量的在线内容。为什么要在你的网站上浪费资源？另外，网站内容更新时间不长。建议通过定时、定期生产优质内容来解决这个问题。抓取时间越长，网站抓取越少。通常情况下，有可能服务器速度慢会导致抓取时间变长。还有一种可能是和网站本身的结构有关。太深的等级制度导致。

总结一下：

老网站如何进行网站记录分析(针对中文网站)：外部排除；

了解搜索引擎的最新算法是否有变化，同行是否有类似变化。

内在分析：

(1)使用工具：百度站长平台(非VIP账号，见下面介绍)

(2)分析方法：主要使用抓取频率分析工具进行分析，网站抓取频率、抓取时间、页面异常情况等数据变化。并与相关部门进行对接解决。

分析方法：主要运用抓取频率分析工具进行探究，关注网站抓取频率、抓取时间、页面异常状况等数据变动，并与相关部门进行沟通处理。

五、运用光年日志分析工具

非百度VIP：

步骤：

1.下载网站日志（若为企业网站，可直接联系运维部门的同事协助下载；若为个人站长，可直接在购买的虚拟主机后台下载。文件格式为.log）

2.启动光年日志分析工具，上传网站日志。

3.检查分析结果。主要包括以下几方面：

(1)常规分析：各类爬虫的总抓取量、总停留时间、总访问次数。

(2)目录分析：分析各类爬虫抓取各个目录的情况。通过此，我们可以了解搜索引擎对重要栏目的抓取，以及抓取了哪些无效页面。

(3)页面分析：通过页面分析，了解哪些页面被频繁重复抓取，据此进行优化和调整。例如，一些网站的注册页面和登录页面，经常会发现被抓取了很多次。当这种情况发生时，我们通常会屏蔽登录/注册页面。

(4)状态码分为两种：爬虫状态码和用户状态码。反映主用户/爬虫访问页面时的页面状态。通过页面状态码，我们可以了解页面状态，并做出相应调整，例如当网站中存在大量404页面时。这需要进一步调查。例如，一些团购页面，团购到期后页面直接变成404，但死链列表未提交到百度站长平台，这样很容易导致抓取无效。

SQL Server数据库日志文件过大，如何清理？

数据库收缩一般情况下，SQL数据库的收缩并不能在很大程度上减小数据库大小，其主要作用是收缩日志大小，应定期进行此操作以免数据库日志过大。

1、设置数据库模式为简单模式：打开SQL企业管理器，在控制台根目录中依次点击Microsoft SQL Server-->SQL Server组-->双击打开你的服务器-->双击打开数据库目录-->选择你的数据库名称（如论坛数据库Forum）-->然后点击右键选择属性-->选择选项-->在故障还原的模式中选择“简单”，然后按确定保存。

2、在当前数据库上点击右键，查看所有任务中的收缩数据库，一般里面的默认设置不用调整，直接点击确定。

3、收缩数据库完成后，建议将您的数据库属性重新设置为标准模式，操作方法同第一点，因为日志在一些异常情况下往往是恢复数据库的重要依据。

互联网分析数据的条件？

第一阶段：数据收集

假设在线业务大多数都在你公司官网上进行，那么大部分线上营销、搜索营销和用户行为活动的相关数据，都可以通过：

网页日志文件收集—你必须精通网页日志文件收集数据的原理，并且知道哪些数据是可收集的。网站日志文件可以“记录”所有用户在网站上加载的文件，因此你可以轻易地发现网页的哪些“部分”没有响应用户的请求。网站日志分析参考：网站日志分析。

网站分析—全球大部分网站都使用分析工具。网站分析工具一般具有图形界面，可以快速显示用户的数据趋势。所有数据可以以表格、文本文件甚至是PDF文件的形式下载到本地。

利用网站分析工具收集用户数据前，需要安装基础设置来追踪数据。通常要插入一些JavaScript的追踪脚本或者在网站所有HTML页面插入一些1*1像素的脚本。如果你需要收集的用户数据超出默认设置所收集的用户数据，需在常规追踪脚本外安装高级追踪脚本。

电子商务网站的分析可以从哪些方面

电子商务网站的分析可以针对以下几方面：

一、电子商务网站的业务需求：?

1.市场推广方式是否有效，以及能否进一步提效；?

2.访问网站的用户是否是目标用户，哪种渠道获取的用户更有价值（与第一个需求有交集也有不同）；?

3.用户对网站的感觉是好还是不好，除了商品本身之外的哪些因素影响用户的感觉；

4.除了撒谎外，什么样的商业手段能够帮助说服客户购买；

5.从什么地方能够进一步节约成本；

6.新的市场机会在哪里，哪些未上架的商品能够带来新的收入增长。

这些根本性的业务需求每天都会被网站管理层以各种各样的方式提出，如果网站分析不能围绕这些问题进行，那么任何分析的努力都不过是隔靴搔痒，价值低迷。

二、电子商务网站的结构：

1.网站URL的结构和格式；?

不要小看了电子商务网站页面的URL结构和格式，URL的设置方式将直接影响到未来网站分析的成败。此外，一旦URL的设置方式确定了，再进行改动的可能性极低，或者具有很大难度。这是一个牵一发而动全身的问题，未来将涉及到SEO，涉及到数据的重新组织，涉及到品类管理等等，极为复杂，因此我们发现在实际案例中，一旦先期的页面URL格式不合理，带给后期分析的灾难几乎都是完全不可逆的，因为极少有网站再敢去调整URL结构和格式了。

2.流量来源的标记

电子商务网站几乎都是要靠购买流量生存的，除非你是淘宝商城（其实淘宝照样要买流量）。因此，为了搞清楚购买流量的数量和质量，我们必须要能够在进行网站分析的时候识别这些流量。

为流量来源增加标记其实是一个非常容易实现的领域，而且用link tag的方法几乎就能够解决所有的问题。但可惜的是，各种情况造成link tag的实施总不是100%令人满意。

不过，不能做到100%，只要能做到90%实际上已经能够帮助到后面的分析，但如果你完全不去做这个工作？——那就只能盲人摸象了。

3.端到端的ROI监测实施

如果我们想要解决上面的第一个业务需求——市场推广方式是否有效，以及能否进一步提效，其实从分析的方法论角度看并不那么困难，但是我们需要网站分析工具能够实现端到端的ROI监测。

若欲破解上述首项业务诉求——即市场推广策略之有效性及其潜在提升空间，实则从方法论分析视角审视，并非难题重重。然而，我们亟需网站分析工具具备全程ROI监测的能力。

何谓全程ROI监测？

此乃电子商务网站分析领域至关重要的分析功能。若缺失此功能，该工具对电子商务网站的适用性将大幅削弱。所谓全程，一端指向流量来源，即所购买的流量；另一端指向产出，即这些流量所引发的销售额。全程ROI即指流量端投入与最终销售额收入的对比。若无全程ROI监测，便无法真正知晓各类市场推广策略之有效性，亦无法判定哪种策略更为高效。

此类功能并非网站分析工具默认配置所能直接提供，需进行技术性设置，属于监测实施范畴。我们的最佳实践（Best Practice）是，若前端（即流量来源投入端）监测无法实施，则至少确保前端流量来源标记实施及后端（即流量引发的销售额）收入监测的实施。若此环节不到位，那么后期欲了解该领域之优劣，将难上加难。

1. 每个页面是否都正确放置了监测代码？

   你或许会认为这个问题微不足道，答案自然是全部已放置。然而，实际情况并非如此，大型网站漏网之鱼的可能性更大。

若页面缺失代码，则只能回溯至服务器日志解决问题，这并非高效之策。

三、电子商务网站在线营销效果：

1. SEO效果评估？

我们传统做法仅以搜索引擎结果页面（SERP）排名判定SEO成败。此方法直接、易操作，但片面且趋势不明显，难以提供充分洞察。我们更关注以下指标：有机搜索流量（Organic Search Traffic），自不必言。全部自然流量（Total Organic Traffic），需稍作解释。若SEO效果显著，则除搜索引擎流量增加外，其他相关网站潜在流量亦会随之激发，如来自SNS网站分享、推荐类网站推荐、博客和社区网站以及直接流量（Direct Traffic）等。热门关键词。查看哪些自然关键词更具流量？哪些关键词带来的访问者对商品更感兴趣（注意：此问题与前一个问题不同）？哪些关键词能带来更高收入？这些关键词均极具商业价值，值得通过网站分析挖掘，而仅凭前端AdWords或凤巢系统无法实现。SEO流量访问深度。我们可能遇到过SEO后排名上升、流量增加，但流量含水量亦加大——跳出率上升、访问页面深度降低、网站/页面停留时间缩短等情况。因此，在SEO效果评估上，必须在关注数量的同时关注质量。SEO全程ROI。若在SEO方面额外投入，则应计算该策略的投入产出比。最后，SERP关键词排名。

1. SEM和硬广效果评估

   SEM效果评估与SEO类似，但更强调全程ROI，因为SEM广告投放效果可通过link tag标记进行细分。许多工具都能实现这一点，例如Google Analytics与AdWords无缝衔接，Omniture的Search Center也能提供类似功能。

硬广评估与SEM类似，关注细分类型乃至个体的全程ROI，以帮助优化具体投放选择。

1. EDM营销效果评估？

   EDM是一个特殊领域，也是我所喜爱的一种营销方式。与SEM等营销方式一样，它可被持续优化，且因其信息量大，更容易提高转化率。此外，EDM优化分析与网站页面优化分析有相似之处。除EDM本身关注的指标，如送达率（Delivery Rate）、开启率（Open Rate）、点击率（Click Rate）等外，与前面的营销方式一样，EDM营销的全程ROI分析仍被视为最重要的关键绩效指标（KPI）。此外，细分EDM流量也能带来许多优化推广的洞察。另一方面，EDM比SEM和硬广具有更多可优化空间，且与网页一样，是研究用户行为和兴趣的绝佳“观测平台”。

若可能，我们强烈建议在EDM中加入网站分析工具的监测代码，以便将EDM视为页面进行分析和优化；另外，link tag是必须要加入的，以便在EDM内置监测代码失效时，仍能为我们提供完整的clickstream数据。

Kurt告诉我们，这些clickstream数据包括：

1. 邮件元素点击比较，例如导航部分与正文的点击比较；
2. 促销横幅之间点击比较；
3. Call to action按钮在首屏与非首屏的比较等，其实与分析网页互动相似。

此外，EDM营销分析中还有一个可不断优化的领域，即EDM数据库。你可以不断修正和补充，使客户数据库更具相关性。

1. 所有营销方式综合分析？

   若link tag标记和全程ROI实施均得到良好执行，那么比较不同营销方式带来的效果并非难事。单位成本流量比较，这能让你了解在带来流量方面谁更强大；单位成本ROI比较，这能让你了解谁更能帮你赚钱（显然流量多少与赚钱多少并不能完全划等号），这有可能让你找到新的预算分配方法，并在不降低营销效果甚至提升营销效果的前提下降低成本。在我们刚接手一个电商网站时，通常不知道如何着手，是优化站内页面，还是大量做站外广告引流？其实我们最该做的就是网站数据分析，通过网站分析工具抓取用户数据，可以帮助我们看到网站的优缺点以及用户对网站的哪一部分更感兴趣。找到这些后，对网站后期优化将大有裨益。找到数据就等于找到了……

收集用户信息，有助于我们洞察网站的优劣之处以及用户对网站哪些部分更感兴趣。一旦发现这些，对网站后续的优化将大有裨益，获取数据等同于把握用户需求。

以99click商助科技旗下的SiteFlow为例，这是一款第三方数据分析工具，以下将详细介绍其主要关注的模块和指标。

一、流量监测

主要针对网站整体流量进行监测。具体细分维度包括：时间段、地域、来源、客户端信息等。

1、来源分析

可按推荐、搜索引擎、关键词等渠道区分不同来源的流量信息，甚至可实现同一渠道付费流量和非付费流量的分流。

2、地域分析

可按省份、城市以地图和报表形式呈现受众的具体地理位置，便于分析客户分布情况。

3、时间段分析

可按24小时或日序列两种模式监测整站流量的变化趋势，以及不同日期的变化趋势。

4、客户端信息

从浏览器、操作系统以及屏幕分辨率等方面了解受众群体的客户端属性。

二、站内运营

主要对重点网页项目进行监测，分析每个网页项目的流量、人数、二跳等指标。还可通过其他维度分析特定定制页面的情况。具体可从以下几方面进行阐述分析：网页项目分析、站内搜索分析、站内广告分析、页面流向分析、着陆离开分析、场景转换分析、页面流量分析。

1、网页项目分析

如网站首页、导航页或产品页，若为产品页，可通过定制对不同id的产品进行细化分析。可用于调整页面内容的排列位置、摆放顺序等。

2、站内搜索分析

对站内搜索页面上的关键字使用情况进行分析，主要展示数据为：关键字、关键字带来的浏览量、使用关键字的用户数、用户百分比、点击量、点击率。主要作用是便于网站了解用户的主动喜好。

3、站内广告分析

展示点击站内广告后的转化情况及该站内广告的点击情况。

4、页面流向分析

以您定制的起始页面为起点，记录用户10步内的页面浏览情况，默认展示使用最频繁的浏览路径。

5、着陆离开分析

记录用户从哪些页面进入网站，从哪些页面最终离开网站，了解网站的主要入口、出口情况。

6、场景转换分析

用户可根据网站自身结构，定制场景，查看用户是否按定制场景在网站中行走。若不按此路径行走，可根据场景中的流程实时改进。

7、页面流量分析

呈现网站流量较大的URL的流量数据，了解不同页面的流量情况，根据数据查看网站是否有数据异常或需要重点关注的页面。

三、转化分析

主要对网站的转化效果进行分析。转化目标可从多个角度监测数据：外部来源、关键词、着陆页面、地域分布、时间段统计、广告转化。该功能的主要目的是清晰呈现网站的转化结构，便于网站优化推广渠道、方式，从而最大化提高网站的转化率。

1、外部来源：不同渠道对转化带来的影响。

2、关键词：不同搜索引擎关键词对转化带来的影响。

3、着陆页面：不同着陆页面对转化的影响。

4、地域分布：转化的人群来自哪些省份。

5、时间段分布：统计转化来自哪些时段或时点。

6、广告转化：不同广告媒体、广告位带来的转化数量。

四、广告管理

主要实现站外广告投放的营销监测。投放形式有：品牌广告、竞价SEM、直邮EDM、渠道广告。还可通过定制报表实现自定义选择活动到邮件的功能。通过该功能，不仅可以掌握精准的投放数据，更有利于发现不同渠道的效果好坏（如流量质量、转化效果等），对投放渠道进行优化，提升推广的ROI。

五、会员分析

了解会员在重点页面、重点频道的流量贡献，了解会员在网站的行走路径，了解会员地域、年龄等属性分布，并详细分析不同会员在网站的关键行为，如产品浏览、入蓝、订购等指标，为网站的精准营销提供有力的数据支持。

六、业务分析

通过对每种产品的销量情况查找产品存在的缺陷，进而找出解决方案。对每个产品进行浏览/入蓝/订单分析，发现热门但点击率、入蓝率不高的产品，从而进行策略调整。也可细分不同品牌、品类、分店等维度进行分析。

1、树立良好的品牌形象

网上购物很难看到实物，一般就是从产品的文字和图片、客服的介绍以及用户评价来了解这款产品。知道用户是如何了解一款产品，那我们就要把这些东西做好，产品的文字说明要详细、真实，产品图片要精美，做好服务让用户给好评。做好这些给用户一个好印象之外，同时也是给自己网站树立一个以优质服务和产品的良好品牌形象，从而赢得消费者的信赖。

2、专业的网络客服

刚才上面说到消费者网上了解一款产品，其中包括客服的介绍，所以客服对一笔交易的成功与否也是非常重要的。网络客服不仅介绍这款产品，还要懂营销技巧、产品的专业知识、良好的心理素质等。我认为网络客服通过专业的岗前培训，完整专业技能测试才能上岗。

3、良好的售后服务

不管什么产品，一批生产出来之后，肯定有好有坏。流落到客户手里就会有问题的产品，这个时候用户肯定会找到网站。我们需要提供很好的售后服务，不能卖了就不管了，这样下次他再买产品就不会找你，更不可能给你介绍新客户。人心都是肉长的，只要你认真的做好售后服务，产品的一些缺点，往往就会被用户忽略。之前当当网和京东都有曝光过售后不好的问题，但是他们都能及时处理，这样或多或少会影响他们的品牌形象，电子商务网站的售后服务是非常重要的。

无论一款何种产品，一旦批量生产，必然良莠不齐。一旦流入消费者手中，难免会有出现问题的产品，这时消费者必然会寻求网站的帮助。我们必须提供优质的售后服务，不能只顾销售而忽视后续服务，否则消费者在下一次购买时就不会选择我们，更不会为我们介绍新客户。人心都是肉长的，只要我们认真做好售后服务，产品的某些不足往往就会被消费者忽视。此前，当当网和京东都曾因售后服务问题被曝光，但他们都及时处理了，这多少会对他们的品牌形象造成影响，电子商务网站的售后服务至关重要。

4、周到的物流服务

网购经验丰富的朋友都知道，有时产品损坏或收货时间过长，由于商家和物流运输公司是两个独立的个体，最终责任归属不明确，消费者难以找到责任方，同时也感到非常烦恼，无形中让消费者对网购产生畏惧，更不会信任我们的网站。这也是阿里巴巴和京东商城今年投入巨资建设自己的物流运输体系的原因。小型电子商务网站无法建立自己的物流体系，但可以与物流公司签订合同或协议，保障消费者权益，同时也提升自身形象。

电子商务领域未来的发展前景十分广阔，众多大型IT企业都非常看好，一些传统企业也纷纷加入。未来的竞争将更加激烈，我认为价格是吸引客户的一方面，而优质的产品和服务才是留住老客户和吸引更多新客户的法宝。