• 深度比较常见库中序列化和反序列化性能的性能差异


    背景和目的

    本文介绍了几个常用的序列化和反序列化库,包括System.Text.Json、Newtonsoft.Json、 Protobuf-Net、MessagePack-Net,我们将对这些库进行性能测评

    库名称 介绍 Github地址
    System.Text.Json .NET Core 3.0及以上版本的内置JSON库,用于读写JSON文本。它提供了高性能和低分配的功能。 System.Text.Json
    Newtonsoft.Json 也被称为Json.NET,是.NET中最常用的JSON序列化库之一。它提供了灵活的方式来转换.NET对象为JSON字符串,以及将JSON字符串转换为.NET对象。 Newtonsoft.Json
    Protobuf-Net .NET版本的Google's Protocol Buffers序列化库。Protocol Buffers是一种语言中立、平台中立、可扩展的序列化结构数据的方法。 Protobuf-Net
    MessagePack-Net MessagePack是一个高效的二进制序列化格式,它允许你在JSON-like的格式中交换数据,但是更小、更快、更简单。 MessagePack-Net

    性能测试

    测评电脑配置

    组件 规格
    CPU 11th Gen Intel(R) Core(TM) i5-11320H
    内存 40 GB DDR4 3200MHz
    操作系统 Microsoft Windows 10 专业版
    电源选项 已设置为高性能
    软件 LINQPad 7.8.5 Beta
    运行时 .NET 7.0.10

    准备工作

    0、导入Nuget包

    1、Bogus(34.0.2)
    2、MessagePack(2.5.124)
    3、Newtonsoft.Json(13.0.3)
    4、protobuf-net(3.2.26)
    5、System.Reactive(6.0.0)

    1、性能测试函数

    IObservable<object> Measure(Action action, int times = 5)
    {
    	return Enumerable.Range(1, times).Select(i =>
    	{
    		var sw = Stopwatch.StartNew();
    
    		long memory1 = GC.GetTotalMemory(true);
    		long allocate1 = GC.GetTotalAllocatedBytes(true);
    		{
    			action();
    		}
    		long allocate2 = GC.GetTotalAllocatedBytes(true);
    		long memory2 = GC.GetTotalMemory(true);
    
    		sw.Stop();
    		return new
    		{
    			次数 = i,
    			分配内存 = (allocate2 - allocate1).ToString("N0"),
    			内存提高 = (memory2 - memory1).ToString("N0"),
    			耗时 = sw.ElapsedMilliseconds,
    		};
    	}).ToObservable();
    }
    

    这个测量函数的它的作用

    多次执行指定的动作,并测量每次执行该动作时的内存分配和执行时间。

    然后,对于每次操作,它创建并返回一个新的匿名对象,该对象包含以下属性:

    次数:操作的次数。
    分配内存:操作期间分配的内存量(操作结束后的已分配字节减去操作开始前的已分配字节)。
    内存提高:操作期间内存的增加量(操作结束后的总内存减去操作开始前的总内存)。
    耗时:操作的执行时间(以毫秒为单位)。

    2、生成随机数据的函数

    IEnumerable WriteData()
    {
    	var data = new Bogus.Faker()
    		.RuleFor(x => x.Id, x => x.IndexFaker + 1)
    		.RuleFor(x => x.Gender, x => x.Person.Gender)
    		.RuleFor(x => x.FirstName, (x, u) => x.Name.FirstName(u.Gender))
    		.RuleFor(x => x.LastName, (x, u) => x.Name.LastName(u.Gender))
    		.RuleFor(x => x.Email, (x, u) => x.Internet.Email(u.FirstName, u.LastName))
    		.RuleFor(x => x.BirthDate, x => x.Person.DateOfBirth)
    		.RuleFor(x => x.Company, x => x.Person.Company.Name)
    		.RuleFor(x => x.Phone, x => x.Person.Phone)
    		.RuleFor(x => x.Website, x => x.Person.Website)
    		.RuleFor(x => x.SSN, x => x.Person.Ssn())
    		.GenerateForever().Take(6_0000);
    	return data;
    }
    

    Bogus 是一个非常有用的 C# 库,它可以帮助你生成伪造的数据,或者说“假数据”。这在测试或开发阶段非常有用,你可以使用它来填充数据库,或者在没有实际用户数据的情况下测试应用程序。

    如果想详细了解使用请参考 这篇文章https://www.cnblogs.com/sdflysha/p/20190821-generate-lorem-data.html

    3、数据实体类

    [MessagePackObject, ProtoContract]
    public class User
    {
        [Key(0), ProtoMember(1)]
        public int Id { get; set; }
    
        [Key(1), ProtoMember(2)]
        public int Gender { get; set; }
    
        [Key(2), ProtoMember(3)]
        public string FirstName { get; set; }
    
        [Key(3), ProtoMember(4)]
        public string LastName { get; set; }
    
        [Key(4), ProtoMember(5)]
        public string Email { get; set; }
    
        [Key(5), ProtoMember(6)]
        public DateTime BirthDate { get; set; }
    
        [Key(6), ProtoMember(7)]
        public string Company { get; set; }
    
        [Key(7), ProtoMember(8)]
        public string Phone { get; set; }
    
        [Key(8), ProtoMember(9)]
        public string Website { get; set; }
    
        [Key(9), ProtoMember(10)]
        public string SSN { get; set; }
    }
    

    开始性能测试

    以下测试代码会加入写入文件,以模拟真实的使用场景,性能怎么样

    1、System.Text.Json 性能测试

    序列化测试代码

    void TextJsonWrite()
    {
    	var data = WriteData();
    
    	Measure(() =>
    		{
    			string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data1.json");
    			using var file = File.Create(path);
    			System.Text.Json.JsonSerializer.Serialize(file,data);
    		})
    	.Dump();
    }
    

    文件大小:14.3MB

    测试结果

    次数 分配内存 内存提高 耗时
    1 1,429,688,200 67,392 2494
    2 1,429,960,352 320 2610
    3 1,429,596,256 8 2615
    4 1,430,126,504 -64 2753
    5 1,429,549,184 -432 2918

    反序列化测试代码

    void TextJsonRead()
    {
    	Measure(() =>
    	{
    		string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data1.json");
    		byte[] bytes = File.ReadAllBytes(path);
    		System.Text.Json.JsonSerializer.Deserialize>(bytes);
    	}).Dump();
    }
    

    测试结果

    次数 分配内存 内存提高 耗时
    1 42,958,536 43,728 212
    2 43,093,448 48 185
    3 42,884,408 24 120
    4 42,883,312 24 129
    5 43,100,896 24 117

    2、Newtonsoft.Json 性能测试

    序列化测试代码

    void JsonNetWrite()
    {
    	var data = WriteData();
    
    	Measure(() =>
    	{
    		string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data2.json");
    		var jsonData = Newtonsoft.Json.JsonConvert.SerializeObject(data);
    		File.WriteAllText(path, jsonData);
    	})
    	.Dump();
    }
    

    文件大小:14.3MB

    测试结果

    次数 分配内存 内存提高 耗时
    1 1,494,035,696 42,608 2196
    2 1,494,176,144 320 2289
    3 1,494,684,672 -24 2899
    4 1,494,292,376 2,152 3393
    5 1,495,260,472 64 3499

    反序列化测试代码

    void JsonNetRead()
    {
    	Measure(() =>
    	{
    		string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data2.json");
    		var jsonData = File.ReadAllText(path);
    		var data = Newtonsoft.Json.JsonConvert.DeserializeObject>(jsonData);
    	})
    	.Dump();
    }
    

    测试结果

    次数 分配内存 内存提高 耗时
    1 92,556,920 63,216 275
    2 92,659,784 48 314
    3 92,407,736 24 245
    4 92,616,912 24 276
    5 92,416,128 24 305

    3、ProtobufNet 性能测试

    序列化测试代码

    void ProtobufNetWrite()
    {
    	var data = WriteDataTwo();
    	Measure(() =>
    	{
    		string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data3.bin");
    		using var file = File.Create(path);
    		Serializer.Serialize(file, data);
    	}).Dump();
    }
    

    文件大小:7.71MB

    测试结果

    次数 分配内存 内存提高 耗时
    1 712,168 163,512 170
    2 6,760 -192 111
    3 7,040 280 97
    4 6,760 24 66
    5 244,200 0 68

    反序列化测试代码

    void ProtobufNetRead()
    {
    	Measure(() =>
    	{
    		string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data3.bin");
    		using var file = File.OpenRead(path);
    		Serializer.Deserialize>(file);
    	}
    	).Dump();
    }
    

    测试结果

    次数 分配内存 内存提高 耗时
    1 29,485,888 1,084,240 113
    2 28,242,856 48 96
    3 28,340,672 24 85
    4 28,333,088 24 80
    5 28,242,856 24 76

    4、MessagePack-Net 性能测试

    序列化测试代码

    void MessagePackNetWrite()
    {
    	var data = WriteDataThreee();
    	Measure(() =>
    	{
    		string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "UserMessagePackData.bin");
    		using var file = File.Create(path);
    	   	MessagePackSerializer.Serialize(file, data);
    	}).Dump();
    }
    

    文件大小:7.21MB

    测试结果

    次数 分配内存 内存提高 耗时
    1 80,552 9,512 52
    2 7,432 24 46
    3 7,432 24 45
    4 120,400 -1,072 46
    5 7,432 24 48

    反序列化测试代码

    void MessagePackNetRead()
    {
    	Measure(() =>
    	{
    		string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "UserMessagePackData.bin");
    		byte[] bytes = File.ReadAllBytes(path);
    		MessagePackSerializer.Deserialize>(bytes);
    	}).Dump();
    }
    

    测试结果

    次数 分配内存 内存提高 耗时
    1 35,804,728 24 82
    2 35,804,728 24 65
    3 35,804,728 24 56
    4 35,804,728 32 66
    5 35,806,248 848 80

    结论

    序列化性能测试结果

    性能测试名称 分配内存平均数 (bytes) 耗时平均数 (ms) 文件大小 (MB) 分配内存百分比 (%) 耗时百分比 (%) 文件大小百分比 (%)
    Newtonsoft.Json 1,494,489,872 2,855 14.3 100 100 100
    System.Text.Json 1,429,784,099 2,678 14.3 95 93.8 100
    ProtobufNet 195,385 102 7.71 0.013 3.5 53.9
    MessagePack-Net 44,649 47 7.21 0.0029 1.6 50.4

    反序列化性能测试结果

    性能测试名称 分配内存平均数 (bytes) 耗时平均数 (ms) 分配内存百分比 (%) 耗时百分比 (%)
    Newtonsoft.Json 92,531,496 283 100 100
    System.Text.Json 42,807,420 152 46.2 54.7
    ProtobufNet 28,529,072 90 30.8 31.8
    MessagePack-Net 35,805,032 69 38.6 24.3

    注:

    1、 分配内存比例、耗时比例和文件大小比例都以 Newtonsoft.Json 的数值为基准,计算出的百分比表示在相比于 Newtonsoft.Json 的表现。
    2、 分配内存平均数、耗时平均数是通过将给定的五次测试结果取平均值得出的。
    3、 文件大小是由测试代码生成的文件大小,计算出的百分比表示在相比于 Newtonsoft.Json 的表现。

    基于上述表格,我们可以得出以下结论:

    1. 内存分配:在内存分配方面,ProtobufNet 和 MessagePack-Net 显著优于 System.Text.Json 和 Newtonsoft.Json。它们的内存分配仅为 Newtonsoft.Json 的 0.01% 和 0.003%,这表明它们在处理大数据时的内存效率非常高。

    2. 耗时:在耗时方面,ProtobufNet 和 MessagePack-Net 也表现出超过其他两个库的性能。ProtobufNet 的耗时为 Newtonsoft.Json 的 3.6%,而 MessagePack-Net 的耗时仅为 2.1%。这意味着它们在处理大量数据时的速度非常快。

    3. 文件大小:在生成的文件大小方面,ProtobufNet 和 MessagePack-Net 的文件大小明显小于 System.Text.Json 和 Newtonsoft.Json。ProtobufNet 和 MessagePack-Net 的文件大小分别为 Newtonsoft.Json 文件大小的 53.9% 和 50.4%。这说明它们的序列化效率更高,能够生成更小的文件。

    4. System.Text.Json vs Newtonsoft.Json:在比较这两个库时,System.Text.Json 在内存分配和耗时方面都稍微优于 Newtonsoft.Json,但差距不大。在文件大小方面,它们的表现相同。

    综上所述,如果考虑内存分配、处理速度和文件大小,ProtobufNet 和 MessagePack-Net 的性能明显优于 System.Text.Json 和 Newtonsoft.Json。

    5、总结

    基于上面的数据,个人一些看法,虽然我们平常用的是Newtonsoft.Json,但了解一些其他一些比较好的库的使用可以扩展视野,本次测试的库虽然加入了写入文件这方面的因素,但对性能影响不是很大,本以为ProtobufNet已经是性能最好的了,但上面的测试结果,显然 MessagePack-Net 性能最好,还有一个意外发现,针对NetCore 6.0,新出的库System.Text.Json性能比Newtonsoft.Json好5%

    作者 => 百宝门瞿佑明

    原文地址:https://blog.baibaomen.com/深度比较常见库中序列化和反序列化性能的性能差/

  • 相关阅读:
    剑指 Offer 05. 替换空格
    【C#/.NET】使用Automapper映射record类型
    巧用 VScode 网页版 IDE 搭建个人笔记知识库!
    53.【Java 集合】
    【想法】取代NI的 PCIe-8371
    Windows C++ VS2022 OpenVINO 物体检测 Demo
    HTML5 跨屏前端框架 Amaze UI
    如何让FileBeat支持http的output插件
    为什么实际开发中不推荐使用外键?
    【开源】JAVA+Vue.js实现医院门诊预约挂号系统
  • 原文地址:https://www.cnblogs.com/baibaomen-org/p/17710883.html