４２４６ ２０１１，Ｖｏ１．３２，Ｎｏ．１２计算机工程与设计ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ ａｎｄＤｅｓｉｇｎ 改进的基于内容的文件类型识别算法 曹 鼎， 罗军勇 （解放军信息工程大学信息工程学院，河南郑州４５０００２） 摘要：在现有基于内容的文件类型识别算法基础上，针对统计特征提取方面存在的问题，采用定长和变长窗口对文件二 进制内容进行划分，提取文件的统计特征，并提出将特征选择应用于文件类型识别，结合特征的广度和稳定度设计出一种 特征选择评估函数选择标志特征，从而建立文件类型模型，以此为标准识别文件类型。该算法不依靠特定文件类型的结构 和关键标识，适用范围更为广泛。实验结果表明，该算法能有效提高文件类型的识别查准率和查全率。 关键词：文件类型识别；元组频率分布；文件二进制内容；余弦相似度；文件类型模型；特征选择 中图法分类号：ＴＰ３９１．４ 文献标识码：Ａ 文章编号：１０００—７０２４（２叭１）１２—４２４６．０５ Ｉｍｐｒｏｖｅｄ ｏｆ ｃｏｎｔｅｎｔ—ｂａｓｅｄ ｉｆｌｅ ｔｙｐｅ ｉｄｅｎｔｉｉｆｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ＣＡＯ Ｄｉｎｇ，ＬＵＯ Ｊｕｎ—ｙｏｎｇ （Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，ＰＬＡ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｇｚｈｏｕ ４５０００２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆｔｈｅ ｃｏｎｔｅ￣一ｂａｓｅｄ ｉｆｌｅ ｔｙｐｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ，ｂｏｔｈ ｉｆｘｅｄ ａｎｄ ｖａｒｉａｂｌｅ ｓｉｚｅ ｗｉｎｄｏｗ ａｒｅ ａｄｏｐｔｅｄ ｔｏ ｅｘｔｒａｃｔ ｓｔａｔｉｓｔｉｃ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｏｆ ｉｆｌｅｓ’ｂｉｎａｒｙ ｃｏｎｔｅ￣，ｗｈｉｃｈ ｉｍｐｒｏｖｅｓ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｉｎ ｃｕｒｒｅｎｔ ａｌｇｏｒｉｔｍ．Ｆｅａｔｈｕｒｅ ｓｅｌｅｃｔｉｏｎ ｉｓ ｉｎｔｒｏｄｕｃｅｄ ｉｎｔｏ ｆｉｌｅ ｔｙｐｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ ａ ｎｏｖｅｌ ｅｖａｌｕａｔｉｏｎ ｆｕｎｃｔｉｏｎ ｃｏｍｂｉｎｇ ｆｅａｔｕｒｅ ｗｉｄｔｈ ａｎｄ ｓｔａｂｉｌｉｔｙ ｉｓ ｕｓｅｄ ｆｏｒ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ，ｗｈｉｃｈ ａｒｅ ｕｓｅｄ ｔｏ ｅｓｔａｂｌｉ￣ｍｏｄｅｌｓ ｆｏｒ ｄｉｆｆｅｒｅｎｔ ｆｉｌｅ ｔｙｐｅｓ ａｓ ｓｔａｎｄａｒｄ ｔｏ ｄｅｔｅｒｍｉｎｅ ａ ｔｅｓｔｅｄ ｆｉｌｅ ｔｙｐｅ．Ｏｕｒ ａｉｍ ｉｓ ｎｏｔ ｔｏ ｕｓｅ ｈｅ ｓｔｒｕｃｔｕｒｅ ａｎｄ ｋｅｙ ｔｗｏｒｄｓ ｏｆａｎｙ ｓｐｅｃｉｆｉｃ ｉｆｌｅ ｔｙｐｅｓ ａｓ ｔｈｉｓ ａｌｌｏｗｓ ｈｅ ｔａｐｐｒｏａｃｈ ｔｏ ｂｅ ａｐｐｌｉｅｄ ｔｏ ｇｅｎｅｒａｌ ｉｌｆｅ ｔｙｐｅｓ．Ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｐｐｒｏａｃｈ ｉｍｐｒｏｖｅｓ ｈｅ ｔｐｒｅｃｉｓｉｏｎ ａｎｄ ｒｅｃａｌｌ ｏｆ ｉｆｌｅ ｔｙｐｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ． Ｋｅｙ ｗｏｒｄｓ：ｆｉｌｅ ｙｐｅ ｉｔｄｅｎｔｉｉｃａｔｆｉｏｎ；ｇｒａｍ ｆｒｅｑｕｅｎｃｙ ｄｉｓｔｒｉｂｕｔｉｏｎ；ｆｉｌｅｓ’ｂｉｎａｒｙ ｃｏｎｔｅｎｔ；ｃｏｓｉｎｅ ｓｉｍｉｌａｒｉｔｙ；ｆｉｌｅ ｔｙｐｅ ｍｏｄｅｌｓ；ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ０引 言 文件是计算机组织和存储数据最常用的一种结构，广泛 机器学习等方面的理论应用于文件类型识别，取得了较好的 效果，但是针对描述文件的统计特征以及对特征的有效选取 等方面研究的较少。本文针对现有算法在文件类型统计特征 提取及特征选取等方面存在的问题，提出一种改进的基于内 容的文件类型识别算法，该算法分别采用定长和变长窗口划 分方法分析文件二进制内容，从而能够更贴切的反映文件类 型的统计特征，并结合特征的广度和稳定度设计出一种特征 选择评估函数，根据特征的评估值选择标志特征来建立文件 类型模型，将待识别文件与各模型用向量空间模型表示之后， 使用余弦相似度来识别文件类型，实验验证该算法能够显著 提高结构化文件类型的识别正确率。 应用于数据交换。一些恶意用户通过篡改文件类型特征以掩 盖文件实体的真实类型，达到诱骗用户访问、传播病毒、隐藏 违法信息等目的。快速准确的判断文件实体的真实类型，是 保护计算机信息安全的重要前提条件之一。 常用的文件类型识别方法是基于文件后缀名或文件头部 关键信息，由于这类信息易篡改，导致识别结果不可靠。 ＭｃＤａｎｉｅｌ和Ｈｅｙｄａｒｉ 首次提出基于内容的文件类型识别算法， 该算法提取字节值频率分布作为文件类型的“指纹”来识别文 件类型，这种算法不依靠特定的属性信息，不易受欺骗，但是 识别正确率不高。ｗｅｎ．ＪｅｎＬｉ 在此基础上提出基于ｎ．ｇｒａｍ模 型来分析文件二进制内容，并使用聚类算法用多个指纹代表 一１文件类型统计特征描述 １．１元组频率分布（ｇｒａｍ ｆｒｅｑｕｅｎｃｙ ｄｉｓｔｒｉｂｕｔｉｏｎ，ＧＦＤ） 在基于内容的文件类型识别算法中，大多使用字节值频 率分布或者考察相邻字节的变化情况来描述文件类型统计特 个文件类型，提高了识别正确率，但是对于相同文件类型中 统计值差异较大的文件，此方法的误报率仍然比较高。 还有很多文件类型识别算法［３－１３］这些算法将模式匹配、 征，然而单个字节值的变化范围很小（０—２５５），每个字节值几乎 收稿日期：２０１１－０１—２２１修订日期：２０１１－０２—２８。 作者简介：曹鼎（１９８４一），女，河南郑卅【人，硕士研究生，研究方向为文件类型识别技术、数据挖掘； 罗军勇（１９６４一），男，江西南昌人，教 授，硕士生导师，研究方向为数据挖掘、社会网络分析。Ｅ—ｍａｉｌ：ｃａｏｄｉｎｇ８４８３＠１６３．ｃｏｒｎ 曹鼎，罗军勇：改进的基于内容的文件类型识别算法 在所有文件类型中都会出现，不能贴切的描述出文件类型的 统计特征。为解决此问题，本文提出元组频率分布的概念，通 过考察连续若干个字节来对文件的统计特征进行描述。将文 件看作字节的集合，以大小为ｎ的窗口对字节流进行划分，形 成字节片段序列，每个字节片段称为元组，大小为ｎ。根据窗 口是否具有确定性可分为定长和变长两类元组。通过统计每 个元组的出现次数，形成一个元组频率分布ＧＦＤ。 ２０１１，Ｖｏ１．３２，Ｎｏ．１２ ４２４７ ２．１统计特征均值模型 均值模型是指将类内所有训练样本的ＧＦＤ按相同元组 计算得到的平均值作为此类型的统计特征模型。对每个元组， 当将一个新的ＧＦＤ加入模型时，按照下式来计算均值 ‰ ）＝ 哗 式中： Ｃ ——新加入的ＧＦＤ中元组 的值， 计算出的新模型中元组 的值。 型中元组 的值，ＰＦ＾７＿一已加入模型的文件个数，－ （３） ）——旧模 【 —— １．２定长元组 所谓定长元组是指对字节流进行固定窗口大小的滑动窗 口操作，每次向前滑动一个字节所划分形成的元组。通常情 均值计算简单高效，但是对极端值很敏感，因此不是度量 况下，０ｘＦＦ和ＯｘＯ０表示填充或结束标志，因此在计算定长元 组的ＧＦＤ时，可过滤掉以０ｘＦＦ和０ｘＯ０开头的元组。 采用定长元组简单易行，但是由于元组长度固定，很难捕 获到不同长度的字节序列，很可能会牺牲一些有意义的字节 序列。因此，本文提出采用变长元组来描述文件特征。 １．３变长元组 所谓变长元组是指相邻两个“窗口标记”之问的字节序列 所形成的元组，长度不固定。“窗口标记”实际上是分割字节 序列的断点，形成变长元组的关键就是要找到断点。本文通 过考察一个字节值后一个位置上的字节值的不确定性来寻找 断点，以下将字节值为Ｂ的后一个位置上的字节称为字节Ｂ 的后继。如果某个字节后继的不确定性很大，则其作为断点 的可能性较大。本文采用“熵”来度量这种不确定性。在一个 文件ｄ中，字节Ｂ后继的熵计算方法如下 月 （． ）＝一∑ｐ（ ）ｌｏｇｐ（ ） （１） １ 式中： ——文档ｄ中字节Ｂ后继的集合， ——集合的大小， ｘ？ｅＸ￣ ——示在文档ｄ中字节Ｂ的第ｋ个后继， ）——后继 的出现概率，其计算方法如下 ｐ（）ｃ ）＝Ｃｏｕｎｔ（ｘ（￣＂））／∑Ｃｏｕｒｔｔ（ｘ： ）（１≤七≤ｎ，ｘ ∈ ）（２） ＝１ 式中：Ｃｌ０ ）——在文档ｄ中字节Ｘｋ作为字节Ｂ的后继的出 现次数。 对ｃｒ类训练集中的ｎ个文件，按照式（１）计算每个字节后继 的熵，并按相同字节值计算平均值。设定一个经验闽值Ｔ１，将 平均熵值高于”的字节作为“窗口标记”。 为快速统计变长元组频率分布，对每个元组使用不冲突 的ＭＤ５哈希函数运算，用得到的哈希值作为索引建立哈希链 表，通过哈希值来找到相应的元组。考虑到运算效率，设定一 个最大元组长度九，过滤掉长度大于 的元组。 采用变长元组可以减少有意义的字节序列被拆开的可能 性，从而能够更好的反映文件的真实特征。 ２文件类型统计特征模型建立 文件类型统计特征模型是指能够反映某类型训练样本统 计特征中心趋势的模型。按照第３节介绍的计算步骤，每个 训练样本都可以表示为一个ＧＦＤ，那么一个类型的统计特征 模型实际上就是类内所有训练样本ＧＦＤ的中心。本文分别 采用均值和众数作为中心趋势的度量，相应的将模型分为均 值模型和众数模型两种。 数据中心的最好方法。 ２．２统计特征众数模型 众数是一个数据集中出现频率最高的值，众数模型就是 将类内所有训练样本的ＧＦＤ按相同元组计算得到的众数作 为此类型的统计特征模型。众数可能不止一个，当存在多个 众数时，求其平均值作为众数。 相对于均值来讲，众数可以不受少数极端值的影响，从而更 好的反映出数据集的中心趋势。实验表明，使用众数模型的识 别正确率高于均值模型。但是求众数会耗费更大的存储空间和 更高的计算复杂度，因此，可以根据实际需要来选择不同模型。 通过以上两种方式，可以建立Ｇ类的 维统计特征模型 ＾ ）： ， ，…岛）。 ３文件类型标志特征选择 标志特征的选择直接影响到文件类型识别的正确率。借 鉴文本分类中的特征选择方法及其相关改进“ ” ，本文综合元 组的广度和稳定度设计出特征选择评估函数，该函数用统计 特征模型中的元组作为初始特征空间，经过特征选择和评估 处理，选择出辨识力较强的特征子集，提高识别正确率。 与文本分类中的特征选择相似，标志特征需要具有很好的 类别区分能力；不同的是文本分类中，词在类内文档中出现频 率越高，越能代表此类文档所表示的内容，而文件类型识别中， 文件内容的不同会导致元组出现频率的变化，而真正能代表某 类型的元组出现频率不会随文件内容的变化而变化，在类内的 出现相对稳定。因此能够作为标志特征的元组应满足以下条件： （１）元组在类内文件中广泛存在，而在其他类文件中存在 较少； （２）元组在类内的每个文件中出现频率相对稳定； 同计算文件的ＧＦＤ一样，这里的频率指元组出现次数， 不进行归一化处理。依据以上两点，对一个属于Ｇ类的文件 ｄ，构造特征选择评估函数如下 ）＝诫 ×ｌ０ｇ‘碉１） （４） ＡＴＦ（ｇ￣）＝一ＩＴ Ｆｕ＠（ｇ，））－ ＋ＴＦ． （ｇ，）一［ 式中： 厂＿Ｇ类统计模型中的第ｉ个元组，Ｎ——Ｇ类训练样本 总数。ＤＦ（ｇ ）——Ｇ类训练样本中含有元组ｇ的文档数，表现元 组出现的广度，ＤＦ一，（ ——非 类训练样本中含有元组 的文 档数， 越大而ＤＦ＿，（ 越小，则说明该元组具有良好的类 别区分能力；ＡＴＦ（ｇ，）计算方法如式（５），其中矾（ 和ＴＦ． ）分 别表示元组 在文件ｄ中出现的频率和在Ｇ类统计模型中的 ４２４８ ２０１１，Ｖｏ１．３２，Ｎｏ．１２ 计算机工程与设计Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｄｅｓｉｇｎ 表１查准率和查全率含义表 实际属于此类 系统判断为属于此类 系统判断为不属于此类 Ａ Ｃ 实际不属于此类 Ｂ Ｄ 值，ＡＴＦ（ｇ，）表现元组出现的稳定度，△砜毋）越小，元组在该文 件类型中出现越稳定，评估值越大。 对 类统计模型中的所有元组用式（４）计算评估值，取值 最大 ，个元组作为Ｇ类的标志特征，形成标志特征空间 『）， 记为：彤）＝（ｆ－，如，…， …， ，其中 表示 中第ｋ个元组。．厂是经 验值，可以根据实际情况选择合适的值。 表２ ＢＦＡ算法结果 Ｄ０Ｃ ＪＰＧ ＰＤＦ ＺＩＰ ＡＶＧ ４待测文件类型识别 识别待测文件类型首先要将待识别文件和各类型的统计 Ｐ Ｒ Ｆ ４８／８７ ４８／５０ ０．７００７ １２／２４ ｌ２／５０ ０．３２４３ ｌ ７／３９ ｌ７／５０ ０．３８２０ ３ｏ Ｊ５ｏ ３０，５Ｏ ０．６０００ Ｏ．５２ｌ９ ０．５３５０ Ｏ．５ＯＩ８ 特征模型分别表示成向量形式，以 类为例，根据其标志特征 空间 ，待测文件 的向量形式记为： ＝＜ ，吐，…， ，…， ，其 中 为元组 在文件ｃ／，中的频率， ∈ 。 类的统计模型向量记 为嘶＝ ， ，…，如…， ＞，其中矗表示元组 在 类统计模型中的值。 本文采用余弦函数来计算待测文件与各类型之间的相似 度，如式（６）。取相似度最大的模型所代表的类型作为待测文 件的类型。 三 查准率和查全率反映了分类质量两个不同方面，两者必 须综合考虑，因此利用评估指标Ｆ测试值进行评估，Ｆ值越大， 分类性能越好。其数学公式表示如下：查准率：Ｐ＝ 率：Ｒ＝— ，Ｆ值：Ｆ：］２￣ ＰｘＲ。，查全 实验结果如表２－表５所示。 ｃｏｓ 丽，．ｍｊ ｄ × ５．４结果分析 ｋ＝ ｌ㈤ （１）本文算法与ＢＦＡ算法识别效果比对：两种算法都使用 同样的训练样本和测试样本，以Ｆ值为指标对效果进行比较 分析，如图１所示。可以看出，本文算法识别效果显著提高， 特别是使用变长元组时Ｆ值平均高出４４％。关键原因在于本 文算法对文件二进制统计特征进行选择，剔除了无关特征和 噪声，选择出的特征子集能够更好的反映文件类型的特征，从 而提高识别正确率。 ５ 算法测试 ５．１实验说明 实验中以文献［１］中的ＢＦＡ方法为参照，分别将本文算法 和ＢＦＡ算法、定长元组中的均值模型和众数模型、以及定长和 变长元组的对比实验。所有的算法均用Ｖｉｓｕａｌｃ＋＋６．０实现。 （２）采用众数模型与均值模型的本文算法识别效果比对： 定长元组实验中，分别采用均值模型和众数模型作为类型统 计特征模型，以Ｆ值为指标对两者识别效果进行比较分析，如 表３、表４及图２所示。可以看出众数模型的Ｆ值平均高出 １０％左右，识别效果较好。但是，众数的计算需要存储整个数 据集，而均值通过式（３）可以增量计算而不必存储所有的数据， 因而使用众数模型空间消耗较大。 （３）定长元组不同长度及标志特征数识别效果比对：本文 分别对１字节和２字节元组进行实验，从表３、表４及图１可以 看出，２字节元组的识别效果较好，原因在于多字节元组能够 体现字节之间的顺序信息，从而更贴切的表现出文件二进制 ５．２实验数据 本文对．ＤＯＣ、．ＪＰＧ、．ＰＤＦ和．ＺＩＰ等４种常用的文件类型进 行识别，每种类型训练样本２００个，测试样本５０个，文件大小 从３Ｋ到１９７Ｍ不等。训练样本共２．０２Ｇ，测试样本共８５５Ｍ。 所有样本文件均从不同的计算机上随机选取，并且均为可靠 的文件。 ５．３实验结果 实验中的参数设定如下：窗口标记闽值 设为０．９，元组最 大长度九设为１Ｏ，标志特征数量，为１００。本文采用查准率（口ｒｅ＿ ｃｉｓｉｏｎ）和查全率（ｒｅｃａｌ１）两个指标来进行评价。用二值列联表 来计算查准率和查全率的值，如表１所示。 的真实特征。至于更大的元组长度是否能够达到更好的识别 表３本文算法定长元组结果 元组长度为１字节，每种类型的左栏为均值度量，右栏为众数度量 Ｄ０Ｃ Ｐ Ｒ Ｆ ＪＰＧ ４５／４７ ４５／５０ ＰＤＦ ２１／３０ ２１／５Ｏ ０．５２５０ ＺＩＰ ２９／３９ ２９／５Ｏ ＡＶＧ ４２／８４ ４２／５Ｏ ４７／６１ ４７／５０ ０．８４６９ ｌ８／４５ ｌ ８／５Ｏ ０．３７８９ １５／１６ １５／５Ｏ ０４５４５ ．４６／７８ ４６／５Ｏ ０６７４４ ．０ ７２５３ Ｏ ６３ｏ０ ０６８５０ ．０．９２７８ ０．６５１７ Ｏ．７１８７ ０．６２６９ ０．５９９８ ０．６８２８ 表４本文算法定长元组结果 元组长度为２字节，每种类型的左栏为均值度量，右栏为众数度量 ＤＯＣ Ｐ Ｒ Ｆ ２７／２７ ２７／５Ｏ ０．７０１３ ３９／４０ ３９／５０ ０．８６６７ ４８／７０ ４８／５０ ０．８０００ ＪＰＧ ４７／５９ ４７／５Ｏ ０．８６２４ ４８／５７ ４８／５０ ０．８９７２ ＰＤＦ ４９／５０ ４８／５０ ０．９８００ ４３／４６ ４３／５０ ０．８９５８ ＺＩＰ ４０／５１ ４ｏ｝５ｏ ０．７９２１ ＡＶＧ ０．８６５７ ０．８３００ ０．８２３６ ０．８８４０ ０．８７５０ ０．８７５３ 曹鼎，罗军勇：改进的基于内容的文件类型识别算法 表５本文算法变长元组结果 均值度量 ２０１１，Ｖｏ１．３２，Ｎｏ．１２ ４２４９ ０ Ｏ ０ ０ Ｏ ０ ０ Ｏ Ｏ ０ ０ Ｏ ０ Ｏ Ｏ Ｏ ０ Ｏ ｌ ９ ８ ７ ６ ５ ４ ３ ２ １ Ｏ Ｏ ０ Ｏ Ｏ ０ ０ １ ９ ８ ７ ６ ５ ４ ＤＯＣ ＪＰＧ ＰＤＦ ＺＩＰ ＡＶＧ Ｐ ４９／５２ ４７／５２ ５Ｏ，５Ｏ ４３／４６ ０．９４５２ Ｒ ４９／５０ ４７／５０ ５０，５Ｏ ４３／５０ Ｏ．９４５Ｏ Ｆ ０．９６０８ ０．９２ｌ６ １ ０．８９５８ ０．９４４５ 文件类型 —・目卜－ＢＦＡ算法；—ｅ一定长识别算法（ｎ＝１，均值模型）； ＋定长识别算法（ｎ＝ｌ，众数模型）；＋定长识别算法（ｎ＝２，均值模型） 十＾。暑言０《口０焉ｕ粤ｍ∞ Ｕ 定长识别算法（ｎ＝２，众数模型）；十变长识别算法 粤山 ∞ 鼬加∞如柏如 图１本文算法与ＢＦＡ算法Ｆ值比对 加Ｏ ０ ０ Ｏ Ｏ Ｏ Ｏ Ｏ ０ Ｏ ９ ８ ７ ６ ５ ４ ３ ２ １ Ｏ ＤＯＣ Ｉ】ＰＧ ｍ ＰＤＦ ＺＩＰ 文件类型 ■●均值模型；０ 众数模型 （ａ）窗口大小为１ 效果，需要进一步的实验验证。为验证标志特征数的选择对 识别效果的影响，本文对不同特征数进行实验，图３中显示的 ２０ ５０ １００ ｌ ５０ ２００ ２５０ ３００ ３５０ ４００ ４５０ ５００ Ｎｕｍｂｅｒ ｏｆ Ｇｒａｍｓ 图３特征数与正确率的关系 ｊ ｊ １ ；ｊ ＤＯＣ ＪＰＧ ＰＤＦ ＺＩＰ 文件类型 ■一定长元组：口变长元组 图４变长元组与定长元组识别效果比对 是其中几组有代表性的实验结果。从图中可以看出，当特征 数为２５６时正确率达到最高。当然这个结果并不是适用于所 有的数据集，本文中使用的样本数量和范围均比较有限，需要 大量的实验以得到效果更好的特征数。 （４）变长元组与定长元组识别效果比对：以Ｆ值为指标，取 定长元组中效果最好的一组结果（２字节元组，众数模型）与变 长元组进行比对，结果如图４所示。可以看出变长元组识别 效果较好，平均Ｆ值达到０．９以上，说明变长元组确实能够更 加贴切的捕捉文件二进制内容的特征，文件类型的识别正确 率显著提高。 ６ 结束语 本文基于文件的二进制内容，提出一种改进的文件类型 识别算法。针对现有基于内容的文件类型识别算法中特征提 取不准确和没有进行特征选择等方面的问题，提出采用定长 元组和变长元组来分析文件的二进制内容，设计出一种结合 元组广度和稳定度的特征选择评估函数，对特征空间进行降 维及优化，将待识别文件和各类模型向量化，通过计算余弦相 似度来对文件按类型进行分类。该算法复杂度小，且显著提 高了查准率和查全率，但是仍然存在着一些不足。下一步将 改进判定待测文件类型归属的方法，达到更好的分类效果Ｏ 参考文献： ［Ｉ】ＭｃＤａｎｉｅｌ Ｍ，Ｈｅｙｄａｒｉ ＭＨ．Ｃｏｎｔｅｎｔ ｂａｓｅｄ ｉｆｌｅ ｔｙｐｅ ｄｅｔｅｃｔｉｏｎ ａｌ－ ｇｏｒｉｔｈｍｓ［Ｃ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３６ｔｈ Ａｎｎｕａｌ Ｈａｗａｉｉ Ｉｍｅｍａ— ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓ，２００３． ４２５０ ２０１１，Ｖｏ１．３２，Ｎｏ．１２ 计算机工程与设计Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｄｅｓｉｇｎ （上接第４２２６页） 本文只研究了文献中的中文引文，对其中的英文引文未 做处理，英文引文的研究以及中英文引文结合的情况是需要 进一步研究的问题。另外，本文方法验证了基于引文的论文 检索比基于概括性信息检索的有效性，两者的综合考虑也是 今后进一步需要研究的问题。 ［７】 张华平．中国科学院中文分词工具（ＩＣＴＣＬＡＳ）［ＥＢ／０Ｌ］＿ｈｔｔＤ：／／ ｉｃｔｃｌａｓ．ｏｒｅ，／，２０１０． ［８］ 邱均平，李江．链接分析与引文分析的比较［Ｊ］．中国图书馆学报， ２００８，３４（１）：６０—６４． 【９］ 王俊英．基于科技文献的中文文本分类算法研究［Ｄ］．秦皇岛： 燕山大学，２００７：３７—３８． ［１ ０］Ｇｅｏｒｇｅ Ｔｓａｔｓａｒｏｎｉｓ，Ｖｉｃｌ￣Ｐａｎａｇｉｏｔｏｐｏｕｌｏｕ．Ａ ｇｅｎｅｒａｌｉｚｅｄ ｖｅｅ— ｔｏｒ ｓｐａｃｅ ｍｏｄｅｌ ｆｏｒ ｔｅｘｔ ｒｅｔｒｉｅｖａｌ ｂａｓｅｄ ｏｎ ｓｅｍａｎｔｉｃ ｒｅｌａｔｅｄｎｅｓｓ 参考文献： 【１】 Ｃｈｒｉｓｔｏｐｈｅｒ Ｄ Ｍａｎｎｉｎｇ，Ｐｒａｂｈａｋａｒ Ｒａｇｈａｖａｎ，Ｈｉｎｒｉｃｈ Ｓｃｈｕｔｚｅ． Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｔｒｉｅｖａｌ［Ｍ］．Ｅｎｇｌａｎｄ：Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，２００８：２—４． 【ＣＪ．Ｇｒｅｅｃｅ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＥＡＣＬ Ｓｔｕｄｅｎｔ Ｒｅｓｅａｒｃｈ Ｗｏｒｋ— ｓｈｏｐ，２００９：７０—７８． ［２］ 丁国栋，白硕，王斌．文本检索的统计语言建模方法综述［Ｊ】＿计算 机研究与发展，２００６，４３（５）：７６９ ７７６． 【３】 Ｓａｍｉｒ Ａ Ｒａｈｍａｎ，Ｂａｓｍａ Ｈａｓｓａｎ，Ｒｅｅｍ Ｂａｈｇａｔ．Ａ ｎｅｗ ｅｍａｉｌ ｒｅ— 【１１】马晖男，吴江宁，潘东华．一种修正的向量空间模型在信息检索 中的应用ｆＪ］．哈尔滨工业大学学报，２００８，４０（４）：６６６．６６９． ［１２］Ａｐｒｉｌ Ｋｏｎｔｏｓｔａｔｈｉｓ。Ｗｉｌｌｉａｍ Ｍ Ｐｏｔｔｅｎｇｅｒ．Ａ ｆｒａｍｅｗｏｒｋ ｏｒ ｆｕｎｄｅｒ— ｔｒｉｅｖａｌ ｒａｎｋｉｎｇ ａｐｐｒｏａｃｈ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ＆Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，２０１０．２（５）：４４—６３． ｓｔａｎｄｉｎｇ ｌａｔｅｎｔ ｓｅｍａｎｔｉｃ ｉｎｄｅｘｉｎｇ（ＬＳＩ）ｐｅｒｆｏｒｍａｎｃｅ［Ｊ］．１ｎｆｏｒｍａ— ｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍａｎａｇｅｍｅｎｔ，２００６，４２（１）：３－６． ［１３］Ｓｏｐｈｏｃｌｅｓ Ｊ Ｏｒｆａｎｉｄｉｓ．ＳＶＤ，ＰＣＡ，ＫＬＴ，ＣＣＡ ａｎｄ ａｌｌ ｈａｔｔ［Ｍ］． Ｎｅｗ Ｙｏｒｋ：Ｒｕｔｇｅｒｓ Ｕｎｉｖｅｒｓｉｔｙ，２００７：３３２—５２５． ［４］ 朱庆生，邹景华．基于本体论的论文检索［Ｊ】．计算机科学，２００５，３２ （５）：１７２．１７６． ［５】Ｌｉ Ｘｉｎ—ｌｉ，Ｌｖ Ｙｕｅ－ｅ．Ａｌｇｏｒｉｔｈｍｓ ｂａｓｅｄ ｏｎ ｃｏｎｃｅｐｔ ｆｏｒ ｔｈｅｓｉｓ ｓｉｍｉ— ｌａｒｉｙ ｔｒｅｔｉｒｅｖａｌ［Ｊ］，Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，２００７， ４３（２１）：１７７—１７９． 【６】 于江德，樊孝忠，尹继豪．基于条件随机场的中文科研论文信 ［１４】赵亚慧．基于潜在语义分析的文本检索算法研究［Ｄ】．延吉：延 边大学，２００９：２５—２８． ［１５］Ｔａｎｇ Ｌｉａｎｇ，Ｄｕａｎ Ｊｉａｎ—ｇｕｏ，Ｘｕ Ｈｏｎｇ－ｂｏ，ｅｔ ａ１．Ｍｕｔｕａｌ ｉｎｆｏｒｍａ— ｔｉｏｎ ｍａｘｉｍｉｚａｔｉｏｎ ｂａｓｅｄ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｉｎ ｔｅｘｔ ｃｌａｓ— 息抽取［Ｊ】．华南理工大学学报（自然科学版），２００７，３５（９）：９０一 】Ｏ６． ｓｉｉｆｃａｔｉｏｎ［Ｊ］．Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，２００８，４４ （１３）：１３０．１３３．