• 数据去重:通过 C# 删除 Excel 中的重复行


    在日常数据处理中,Excel 表格中的重复行是一个常见问题。无论是数据清洗、报表生成还是数据分析,去除重复记录都是一项基础且关键的操作。本文将详细介绍如何使用 Free Spire.XLS for .NET(一款免费、无需安装 Microsoft Office 的 Excel 操作组件),通过 C# 代码以编程方式删除 Excel 工作表中的重复行。

    实现思路

    删除重复行的核心逻辑如下:

    1. 指定关键列:确定用于判断重复的列(例如第一列 A 列)。
    2. 分组识别:遍历数据区域,根据关键列的值对每一行进行分组。
    3. 标记重复行:在每个分组中,保留第一次出现的行(索引最小),将其余行的行号记录下来。
    4. 安全删除:按照行号从大到小的顺序删除这些重复行,避免因删除操作导致的索引错位。

    详细步骤解析

    1. 安装免费库

    在编写代码之前,通过 NuGet 安装所需的免费库:

    Install-Package FreeSpire.XLS
    

    或者在 Visual Studio 的“管理 NuGet 程序包”中搜索 FreeSpire.XLS 并安装。

    注意:免费版提供了大部分基础功能,足以应对中小规模数据的处理需求。

    2. 加载工作簿和工作表

    using Spire.Xls;
    using System.Linq;
    
    // 创建 Workbook 实例并加载文档
    Workbook workbook = new Workbook();
    workbook.LoadFromFile("Test.xlsx");
    
    // 获取第一个工作表
    Worksheet sheet = workbook.Worksheets[0];
    

    3. 确定数据范围

    为了仅对实际存在数据的行进行操作,我们使用工作表的 LastRow 属性获取最后有效行号,并构造一个从 A1 到 A 列最后一行的范围(例如 A1:A100)。实际使用时,可以根据需要调整起始行,例如跳过标题行。

    // 假设数据从第1行开始,以 A 列作为判重依据
    string rangeAddress = $"A1:A{sheet.LastRow}";
    var range = sheet.Range[rangeAddress];
    

    4. 找出需要删除的重复行号

    利用 LINQ 对范围内的每一行进行分组。DisplayedText 属性返回单元格在 Excel 界面上的显示文本(会考虑格式、公式计算结果等),相比直接使用 ValueText 更为可靠。

    var duplicatedRows = range.Rows
        .GroupBy(row => row.Columns[0].DisplayedText)   // 按第一列的显示文本分组
        .Where(group => group.Count() > 1)             // 只筛选存在重复的分组
        .SelectMany(group => group.Skip(1))            // 跳过每组的第一行(保留行),取其余重复行
        .Select(row => row.Columns[0].Row)             // 获取这些行的行号
        .ToList();
    
    • Range.Rows 返回范围内的所有行对象。
    • GroupBy 根据 A 列的显示文本对行进行分组。
    • Skip(1) 忽略每个分组中的第一行(即保留的那一行)。
    • 最终得到 List,其中包含所有待删除行的行号(升序排列)。

    5. 删除重复行

    关键点:如果直接按照升序的行号顺序删除,会导致后续行号发生偏移。正确的做法是从后往前删除,这样可以保证每次删除时行号仍然准确。

    // 将行号降序排列,然后逐个删除
    foreach (int rowNum in duplicatedRows.OrderByDescending(r => r))
    {
        sheet.DeleteRow(rowNum);
    }
    

    也可以使用索引修正法:sheet.DeleteRow(duplicatedRows[i] - i),两种方法效果相同,但从后往前删除的逻辑更为直观。

    6. 保存结果

    workbook.SaveToFile("RemoveDuplicateRows.xlsx", ExcelVersion.Version2016);
    

    默认保存为 .xlsx 格式,也可以指定为 .xls 或其他 Excel 版本。

    完整代码示例

    将以上步骤整合为一个完整的控制台应用程序(包含资源释放建议):

    using Spire.Xls;
    using System.Linq;
    
    namespace RemoveDuplicateRows
    {
        class Program
        {
            static void Main(string[] args)
            {
                // 使用 using 语句确保资源被正确释放
                using (Workbook workbook = new Workbook())
                {
                    // 加载文档
                    workbook.LoadFromFile("Test.xlsx");
    
                    // 获取第一个工作表
                    Worksheet sheet = workbook.Worksheets[0];
    
                    // 定义判重范围(A列,从第1行到最后有效行)
                    var range = sheet.Range[$"A1:A{sheet.LastRow}"];
    
                    // 获取需要删除的重复行号
                    var duplicatedRows = range.Rows
                        .GroupBy(x => x.Columns[0].DisplayedText)
                        .Where(x => x.Count() > 1)
                        .SelectMany(x => x.Skip(1))
                        .Select(x => x.Columns[0].Row)
                        .ToList();
    
                    // 从后向前删除重复行,避免索引错乱
                    foreach (int rowNum in duplicatedRows.OrderByDescending(r => r))
                    {
                        sheet.DeleteRow(rowNum);
                    }
    
                    // 保存结果
                    workbook.SaveToFile("RemoveDuplicateRows.xlsx");
                }
            }
        }
    }
    

    关键点与注意事项

    1. 判断重复的依据列

    上面的代码仅基于 A 列进行判重。如果需要根据多列组合(例如 A 列和 B 列同时相同才算重复),只需修改 GroupBy 的键:

    .GroupBy(row => new 
    { 
        Col1 = row.Columns[0].DisplayedText, 
        Col2 = row.Columns[1].DisplayedText 
    })
    

    2. 保留表头(标题行)

    如果第一行是标题行,不应参与重复判断和删除。只需将范围的起始行改为第 2 行:

    var range = sheet.Range[$"A2:A{sheet.LastRow}"];
    

    同时,LastRow 属性会自动包含最后一行数据,因此标题行不受影响。删除重复行后,表头行将保持不变。

    3. DisplayedTextValue 的区别

    属性 说明 推荐场景
    DisplayedText 返回单元格在 Excel 界面上显示的内容,考虑了数字格式、日期格式、公式等 业务上的重复判断(推荐)
    Value 返回原始值(公式计算结果,但可能忽略显示格式) 需要精确原始值的场景

    在简单文本情况下两者结果一致,但推荐使用 DisplayedText 以避免因格式差异导致的误判。

    4. 内存与资源释放

    Workbook 类实现了 IDisposable 接口,强烈建议使用 using 语句或手动调用 Dispose() 方法,以避免内存泄漏,尤其是在处理大型文件时。


    本文演示了使用 C# 删除 Excel 重复行的完整流程,包括加载文件、识别重复行、删除行以及保存结果。该方法灵活可定制,支持单列或多列判重,能够无缝集成到数据清洗的自动化流程中。

  • 相关阅读:
    软件工程毕业设计课题(27)基于JAVA毕业设计JAVA运动场地预约系统毕设作品项目
    【软件测试】软件测试分类
    RabbitMQ及各种模式
    使用QEMU+GDB调试操作系统代码
    vue中实现文件批量打包压缩下载(以及下载跨域问题分析)
    【分布式计算】java消息队列机制
    概率神经网络的主要思想,神经网络随机数预测
    思科设备路由综合配置
    Linux:network:driver:mlx5:mtu:rx_oversize_pkts_sw_drop
    HTML万字学习总结
  • 原文地址:https://www.cnblogs.com/jazz-z/p/20029050