龙空技术网

分布式架构基础-序列化和反序列化

京城小人物 152

前言:

此刻看官们对“序列号与反序列化”大约比较重视,朋友们都需要知道一些“序列号与反序列化”的相关资讯。那么小编在网上搜集了一些对于“序列号与反序列化””的相关资讯,希望各位老铁们能喜欢,小伙伴们快快来了解一下吧!

JAVA领域的对象如何传输

首先思考一下,一个java对象在网络中怎么传输?

基于socket进行对象传输

举一个简单的例子

一个对象User

@Datapublic class User {    private String name;}

server端

public class SocketServer {    public static void main(String[] args) throws IOException {        ServerSocket serverSocket = null;        try {            serverSocket = new ServerSocket(8080);            Socket socket = serverSocket.accept();            ObjectInputStream objectInputStream = new ObjectInputStream(socket.getInputStream());            User user = (User) objectInputStream.readObject();            System.out.println(user);        } catch (Exception e) {            e.printStackTrace();        } finally {            if (serverSocket != null) {                serverSocket.close();            }        }    }}

client端

public class SocketClient {    public static void main(String[] args) {        Socket socket = null;        ObjectOutputStream out = null;        try {            socket = new Socket("127.0.0.1", 8080);            User user = new User();            out = new ObjectOutputStream(socket.getOutputStream());            out.writeObject(user);        } catch (Exception e) {            e.printStackTrace();        } finally {            try {                if (out != null) out.close();                if (socket != null) socket.close();            } catch (Exception e) {                e.printStackTrace();            }        }    }}

运行结果:

这段代码运行之后,能够实现java对象的传输吗

显然会报错:NotSerializableException

java.io.NotSerializableException: com.zxy.demo.seriza.User  at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1184)  at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:348)  at com.zxy.demo.seriza.SocketClient.main(SocketClient.java:15)

怎么解决这个问题

对 User 这个对象实现一个 Serializable 序列化接口,再次运行就可以看到对象能够正常传输了

@Datapublic class User implements Serializable {    private String name;}

序列化的意义

我们发现对 User 这个类增加一个 Serializable,就可以解决 Java 对象的网络传输问题。Java 平台允许我们在内存中创建可复用的 Java 对象,但一般情况下,只有当 JVM 处于运行时,这些对象才可能存在,即,这些对象的生命周期不会比 JVM 的生命周期更长。

但在现实应用中,就可能要求在 JVM 停止运行之后能够保存(持久化)指定的对象,并在将来重新读取被保存的对象。对象序列化就能够帮助我们实现该功能

简单来说

序列化是把对象的状态信息转化为可存储或传输的形式过程,也就是把对象转化为字节序列的过程称为对象的序列化

反序列化是序列化的逆向过程,把字节数组反序列化为对象,把字节序列恢复为对象的过程成为对象的反序列化

java原生序列化

前面的代码中演示了,如何通过 JDK 提供了 Java 对象的序列化方式实现对象序列化传输,主要通过输出流java.io.ObjectOutputStream和对象输入流java.io.ObjectInputStream来实现。

java.io.ObjectOutputStream:表示对象输出流 , 它的 writeObject(Object obj)方法可以对参数指定的 obj 对象进行序列化,把得到的字节序列写到一个目标输出流中。

java.io.ObjectInputStream:表示对象输入流 ,它的 readObject()方法源输入流中读取字节序列,再把它们反序列化成为一个对象,并将其返回

需要注意的是,被序列化的对象需要实现 java.io.Serializable 接口

serialVersionUID 的作用

在项目中,我们通常会给一个类实现Serializable接口,生成一个serialVersionUID

字面意思上是序列化的版本号,凡是实现 Serializable 接口的类都有一个表示序列化版本标识符的静态变量

这个变量是做什么的?

Java 的序列化机制是通过判断类的 serialVersionUID 来验证版本一致性的。在进行反序列化时,JVM 会把传来的字节流中的 serialVersionUID 与本地相应实体类的 serialVersionUID 进行比较,如果相同就认为是一致的,可以进行反序列化,否则就会出现序列化版本不一致的异常,即是 InvalidCastException。

如果没有为指定的 class 配置 serialVersionUID,那么 java 编译器会自动给这个 class 进行一个摘要算法,类似于指纹算法,保证在这么多类中,编号唯一,只要这个文件有任何改动,得到的 UID 就会截然不同。

因此,只要我们自己指定了 serialVersionUID,就可以在序列化后,去添加一个字段,或者方法,而不会影响到后期的还原,还原后的对象照样可以使用,而且还多了方法或者属性可以用。

serialVersionUID 有两种显示的生成方式:

一是默认的 1L,比如:private static final long serialVersionUID = 1L;

二是根据类名、接口名、成员方法及属性等来生成一个 64 位的哈希字段,当实现 java.io.Serializable 接口的类没有显式地定义一个 serialVersionUID 变量时候,Java 序列化机制会根据编译的 Class 自动生成一个 serialVersionUID 作序列化版本比较用,这种情况下,如果 Class 文件(类名,方法明等)没有发生变化(增加空格,换行,增加注释等等),就算再编译多次,serialVersionUID 也不会变化的。

Transient关键字

Transient 关键字的作用是控制变量的序列化,在变量声明前加上该关键字,可以阻止该变量被序列化到文件中,在被反序列化后,transient 变量的值被设为初始值,如 int 型的是0,对象型的是 null。

一些简单总结:

Java 序列化只是针对对象的状态进行保存,至于对象中的方法,序列化不关心当一个父类实现了序列化,那么子类会自动实现序列化,不需要显示实现序列化接口当一个对象的实例变量引用了其他对象,序列化这个对象的时候会自动把引用的对象也进行序列化(实现深度克隆)当某个字段被申明为 transient 后,默认的序列化机制会忽略这个字段

序列化发展

随着分布式架构、微服务架构的普及。服务与服务之间的通信成了最基本的需求。这个时候,我们不仅需要考虑通信的性能,也需要考虑到语言多元化问题所以,对于序列化来说,如何去提升序列化性能以及解决跨语言问题,就成了一个重点考虑的问题。

Java 本身提供的序列化机制有什么问题

1. 序列化的数据比较大,传输效率低

2. 其他语言无法识别和对接以至于在后来的很长一段时间,基于 XML 格式编码的对象序列化机制成为了主流,一方面解决了多语言兼容问题,另一方面比二进制的序列化方式更容易理解。以至于基于 XML的SOAP协议及对应的 WebService 框架在很长一段时间内成为各个主流开发语言的必备的技术。

再到后来,基于 JSON 的简单文本格式编码的 HTTP REST 接口又基本上取代了复杂的 WebService 接口,成为分布式架构中远程通信的首要选择。但是 JSON 序列化存储占用的空间大、性能低等问题,同时移动客户端应用需要更高效的传输数据来提升用户体验。在这种情况下与语言无关并且高效的二进制编码协议就成为了大家追求的热点技术之一。

首先诞生的一个开源的二进制序列化框架-MessagePack。它比 google 的 Protocol Buffers 出现得还要早。

XMl序列化框架

XML 序列化的好处在于可读性好,方便阅读和调试。但是序列化以后的字节码文件比较大,而且效率不高,适用于对性能不高,而且 QPS 较低的企业级内部系统之间的数据交换的场景,同时 XML 又具有语言无关性,所以还可以用于异构系统之间的数据交换和协议。比如我们熟知的 Webservice,就是采用 XML 格式对数据进行序列化的。XML 序列化/反序列化的实现方式有很多,熟知的方式有 XStream 和 Java 自带的 XML 序列化和反序列化两种

JSON序列化框架

JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,相对于 XML 来说,JSON的字节流更小,而且可读性也非常好。现在 JSON 数据格式在企业运用是最普遍的JSON 序列化常用的开源工具有很多

Jackson阿里开源的 FastJsonGoogle 的 GSON

这几种 json 序列化工具中,Jackson 与 fastjson 要比 GSON 的性能要好,但是 Jackson、GSON 的稳定性要比 Fastjson 好。而 fastjson 的优势在于提供的 api 非常容易使用

Hessian 序列化框架

Hessian 是一个支持跨语言传输的二进制序列化协议,相对于 Java 默认的序列化机制来说,Hessian 具有更好的性能和易用性,而且支持多种不同的语言实际上 Dubbo 采用的就是 Hessian 序列化来实现,只不过 Dubbo 对 Hessian 进行了重构,性能更高

Avro 序列化

Avro 是一个数据序列化系统,设计用于支持大批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro 提供的机制使动态语言可以方便地处理 Avro 数据。

kyro 序列化框架

Kryo 是一种非常成熟的序列化实现,已经在 Hive、Storm)中使用得比较广泛,不过它不能跨语言. 目前 dubbo 已经在 2.6 版本支持 kyro 的序列化机制。它的性能要优于之前的hessian2

Protobuf 序列化框架

Protobuf 是 Google 的一种数据交换格式,它独立于语言、独立于平台。Google 提供了多种语言来实现,比如 Java、C、Go、Python,每一种实现都包含了相应语言的编译器和库文件,Protobuf 是一个纯粹的表示层协议,可以和各种传输层协议一起使用。

Protobuf 使用比较广泛,主要是空间开销小和性能比较好,非常适合用于公司内部对性能要求高的 RPC 调用。 另外由于解析性能比较高,序列化以后数据量相对较少,所以也可以应用在对象的持久化场景中但是要使用 Protobuf 会相对来说麻烦些,因为他有自己的语法,有自己的编译器,如果需要用到的话必须要去投入成本在这个技术的学习中。

protobuf 有个缺点就是要传输的每一个类的结构都要生成对应的 proto 文件,如果某个类发生修改,还得重新生成该类对应的 proto 文件

标签: #序列号与反序列化