二进制存储方式,进制转换计算器

首页 > 经验 > 作者:YD1662022-11-06 19:24:48

实战:基于MongoDB文件服务器

本节,我们将介绍如何基于MongoDB技术来存储二进制文件,从而实现一个文件服务器MongoDB File Server。

文件服务器的需求

本文件服务器致力于小型文件的存储,比如博客中的图片、普通文档等。由于MongoDB支持多种数据格式的存储,对于二进制的存储自然也是不在话下,所以可以很方便地用于存储文件。由于MongoDB的BSON文档对于数据量大小的限制(每个文档不超过16MB),所以本文件服务器主要针对的是小型文件的存储。对于大型文件的存储(比如超过16MB),MongoDB官方已经提供了成熟的产品GridFS,读者朋友可以自行了解。

文件服务器应能够提供与平台无关的REST API供外部系统调用。

文件服务器整体的API设计如下。

·GET/files/{pageIndex}/{pageSize}:分页查询已经上传了的文件。

·GET/files/{id}:下载某个文件。

·GET/view/{id}:在线预览某个文件。比如,显示图片。

·POST/upload:上传文件。

·DELETE/{id}:删除文件。

我们创建一个新项目,称之为mongodb-file-server。

所需技术

本例子采用的开发技术如下。

·MongoDB 3.4.6。·Spring Boot 2.0.0.M2。

·Spring Data Mongodb 2.0.0.M4。

·Thymeleaf 3.0.6.RELEASE。

·Thymeleaf Layout Dialect 2.2.2。

·Embedded MongoDB 2.0.0。

其中,Spring Boot用于快速构建一个可独立运行的Java项目;

Thymeleaf作为前端页面模板,方便展示数据;Embedded MongoDB则是一款由Organization Flapdoodle OSS出品的内嵌MongoDB,可以在不启动MongoDB服务器的前提下,方便进行相关的MongoDB接口测试。

本文所演示的项目,是采用Gradle进行组织以及构建的,如果对Gradle不熟悉,也可以自行将项目转为Maven项目。

build.gradle文件完整配置内容如下。

buildscript { // buildscript 代码块中脚本优先执行 // ext 用于定义动态属性 ext { springBootVersion = '2.0.0.M2' } // 使用了 Maven 的中央仓库(也可以指定其他仓库) repositories { //mavenCentral() maven { url "https://repo.spring.io/snapshot" } maven { url "https://repo.spring.io/milestone" } maven { url "http://maven.aliyun.com/nexus/content/groups/public/" } } // 依赖关系 dependencies { // classpath 声明说明了在执行其余的脚本时,ClassLoader 可以使用这些依赖项 classpath("org.springframework.boot:spring-boot-gradle-plugin:${springBoot Version}") } } // 使用插件 apply plugin: 'java' apply plugin: 'eclipse' apply plugin: 'org.springframework.boot' apply plugin: 'io.spring.dependency-management' // 指定了生成的编译文件的版本,默认是打成了 jar 包 version = '1.0.0' // 指定编译 .java 文件的 JDK 版本 sourceCompatibility = 1.8 // 使用了 Maven 的中央仓库(也可以指定其他仓库) repositories {//mavenCentral() maven { url "https://repo.spring.io/snapshot" } maven { url "https://repo.spring.io/milestone" } maven { url "http://maven.aliyun.com/nexus/content/groups/public/" } } // 依赖关系 dependencies { // 该依赖用于编译阶段 compile('org.springframework.boot:spring-boot-starter-web') // 添加 Thymeleaf 的依赖 compile('org.springframework.boot:spring-boot-starter-thymeleaf') // 添加 Spring Data Mongodb 的依赖 compile('org.springframework.boot:spring-boot-starter-data-mongodb') // 添加 Embedded MongoDB 的依赖用于测试 compile('de.flapdoodle.embed:de.flapdoodle.embed.mongo') // 该依赖用于测试阶段 testCompile('org.springframework.boot:spring-boot-starter-test') }

该build.gradle文件中的各配置项的注释已经非常详尽了,这里就不再赘述其配置项的含义了。

文件服务器的实现

在mongodb-file-server项目基础上,我们将实现文件服务器的功能。

1.领域对象

首先,我们要对文件服务器进行建模。相关的领域模型如下。

文档类是类似与JPA中的实体的概念。不同的是JPA是采用@Entity注解,而文档类是采用@Document注解。

在com.waylau.spring.boot.fileserver.domain包下,我们创建了一个File类。

import org.bson.types.Binary; import org.springframework.data.annotation.Id; import org.springframework.data.mongodb.core.mapping.Document; ... @Document public class File { @Id // 主键private String id; private String name; // 文件名称 private String contentType; // 文件类型 private long size; private Date uploadDate; private String md5; private Binary content; // 文件内容 private String path; // 文件路径 // 省略 getter/setter 方法 protected File() { } public File(String name, String contentType, long size,Binary content) { this.name = name; this.contentType = contentType; this.size = size; this.uploadDate = new Date(); this.content = content; } @Override public boolean equals(Object object) { if (this == object) { return true; } if (object == null || getClass() != object.getClass()) { return false; } File fileInfo = (File) object; return java.util.Objects.equals(size, fileInfo.size) && java.util.Objects.equals(name, fileInfo.name) && java.util.Objects.equals(contentType, fileInfo.contentType) && java.util.Objects.equals(uploadDate, fileInfo.uploadDate) && java.util.Objects.equals(md5, fileInfo.md5) && java.util.Objects.equals(id, fileInfo.id); } @Override public int hashCode() { return java.util.Objects.hash(name, contentType, size, uploadDate, md5, id); } @Override public String toString() { return "File{" "name='" name '\'' ", contentType='" contentType '\'' ", size=" size ", uploadDate=" uploadDate ", md5='" md5 '\'' ", id='" id '\'' '}'; } }

需要注意以下两点。

·文档类,主要采用的是Spring Data MongoDB中的注解,用于标识这是NoSQL中的文档概念。

·文件的内容,我们是用org.bson.types.Binary类型来进行存储。

2.存储库FileRepository

存储库用于提供与数据库“打交道”的常用的数据访问接口。其中FileRepository接口继承自org.springframework.data.mongodb.repository.MongoRepository即可,无须自行实现该接口的功能,Spring Data MongoDB会自动实现接口中的方法。

import org.springframework.data.mongodb.repository.MongoRepository; import com.waylau.spring.boot.fileserver.domain.File; public interface FileRepository extends MongoRepository<File, String> { }

3.服务接口及实现类

FileService接口定义了对于文件的CURD操作,其中查询文件接口是采用的分页处理,以有效提升查询性能。

public interface FileService { /** * 保存文件 * @param File * @return */ File saveFile(File file); /** * 删除文件 * @param File * @return */ void removeFile(String id); /** * 根据id获取文件 * @param File * @return */ File getFileById(String id); /** * 分页查询,按上传时间降序* @param pageIndex * @param pageSize * @return */ List<File> listFilesByPage(int pageIndex, int pageSize); } FileServiceImpl实现了FileService中所有的接口。 @Service public class FileServiceImpl implements FileService { @Autowired public FileRepository fileRepository; @Override public File saveFile(File file) { return fileRepository.save(file); } @Override public void removeFile(String id) { fileRepository.deleteById(id); } @Override public Optional<File> getFileById(String id) { return fileRepository.findById(id); } @Override public List<File> listFilesByPage(int pageIndex, int pageSize) { Page<File> page = null; List<File> list = null; Sort sort = new Sort(Direction.DESC,"uploadDate"); Pageable pageable = PageRequest.of(pageIndex, pageSize, sort); page = fileRepository.findAll(pageable); list = page.getContent(); return list; } }

4.控制层、API资源层

FileController控制器作为API的提供者,接收用户的请求及响应。

API的定义符合RESTful的风格。

@CrossOrigin(origins = "*", maxAge = 3600) // 允许所有域名访问 @Controller public class FileController { @Autowired private FileService fileService; @Value("${server.address}") private String serverAddress; @Value("${server.port}") private String serverPort; @RequestMapping(value = "/") public String index(Model model) { // 展示最新20条数据model.addAttribute("files", fileService.listFilesByPage(0, 20)); return "index"; } /** * 分页查询文件 * * @param pageIndex * @param pageSize * @return */ @GetMapping("files/{pageIndex}/{pageSize}") @ResponseBody public List<File> listFilesByPage(@PathVariable int pageIndex, @PathVariable int pageSize) { return fileService.listFilesByPage(pageIndex, pageSize); } /** * 获取文件片信息 * * @param id * @return */ @GetMapping("files/{id}") @ResponseBody public ResponseEntity<Object> serveFile(@PathVariable String id) { Optional<File> file = fileService.getFileById(id); if (file.isPresent()) { return ResponseEntity.ok() .header(HttpHeaders.CONTENT_DISPOSITION, "attachment; fileName=\"" file.get().getName() "\"") .header(HttpHeaders.CONTENT_TYPE, "application/octet-stream") .header(HttpHeaders.CONTENT_LENGTH, file.get().getSize() "") .header("Connection", "close") .body(file.get().getContent().getData()); } else { return ResponseEntity.status(HttpStatus.NOT_FOUND).body("File was not found"); } } /** * 在线显示文件 * * @param id * @return */ @GetMapping("/view/{id}") @ResponseBody public ResponseEntity<Object> serveFileOnline(@PathVariable String id) { Optional<File> file = fileService.getFileById(id); if (file.isPresent()) { return ResponseEntity.ok() .header(HttpHeaders.CONTENT_DISPOSITION, "fileName=\"" file.get().getName() "\"") .header(HttpHeaders.CONTENT_TYPE, file.get().getContentType()) .header(HttpHeaders.CONTENT_LENGTH, file.get().getSize() "") .header("Connection", "close") .body(file.get().getContent().getData());} else { return ResponseEntity.status(HttpStatus.NOT_FOUND).body("File was not found"); } } /** * 上传 * * @param file * @param redirectAttributes * @return */ @PostMapping("/") public String handleFileUpload(@RequestParam("file") MultipartFile file, RedirectAttributes redirectAttributes) { try { File f = new File(file.getOriginalFilename(), file.getContentType(), file.getSize(), new Binary(file.getBytes())); f.setMd5(MD5Util.getMD5(file.getInputStream())); fileService.saveFile(f); } catch (IOException | NoSuchAlgorithmException ex) { ex.printStackTrace(); redirectAttributes.addFlashAttribute("message", "Your " file.getOriginalFilename() " is wrong!"); return "redirect:/"; } redirectAttributes.addFlashAttribute("message", "You successfully uploaded " file.getOriginalFilename() "!"); return "redirect:/"; } /** * 上传接口 * * @param file * @return */ @PostMapping("/upload") @ResponseBody public ResponseEntity<String> handleFileUpload(@RequestParam("file") MultipartFile file) { File returnFile = null; try { File f = new File(file.getOriginalFilename(), file.getContentType(), file. getSize(), new Binary(file.getBytes())); f.setMd5(MD5Util.getMD5(file.getInputStream())); returnFile = fileService.saveFile(f); String path = "//" serverAddress ":" serverPort "/view/" returnFile.getId(); return ResponseEntity.status(HttpStatus.OK).body(path); } catch (IOException | NoSuchAlgorithmException ex) { ex.printStackTrace(); return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR).body(ex. getMessage()); } } /*** 删除文件 * * @param id * @return */ @DeleteMapping("/{id}") @ResponseBody public ResponseEntity<String> deleteFile(@PathVariable String id) { try { fileService.removeFile(id); return ResponseEntity.status(HttpStatus.OK).body("DELETE Success!"); } catch (Exception e) { return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR) .body(e.getMessage()); } } }

其中@CrossOrigin(origins="*",maxAge=3600)注解标识了API可以被跨域请求。

运行

有多种方式可以运行Gradle的Java项目。使用Spring Boot GradlePlugin插件运行是较为简便的一种方式,只需要执行:

$ gradlew bootRun

项目成功运行后,通过浏览器访问http://localhost:8081即可。如图14-4所示,首页提供了上传的演示界面,上传后,就能看到上传文件的详细信息。

二进制存储方式,进制转换计算器(1)

图14-4 上传界面

其他配置项

我们打开application.properties配置文件,可以看到以下配置。

server.address=localhost server.port=8081 # Thymeleaf spring.thymeleaf.encoding=UTF-8 spring.thymeleaf.cache=false spring.thymeleaf.mode=HTML5 # limit upload file size spring.http.multipart.max-file-size=1024KB spring.http.multipart.max-request-size=1024KB # independent MongoDB server #spring.data.mongodb.uri=mongodb://localhost:27017/test

这些配置的含义如下。

·server.address和server.port用来指定文件服务器启动的位置和端口号。

·spring.http.multipart.max-file-size和spring.http.multipart.max-request-size用来限制上传文件的大小,这里设置最大是1MB。

·当spring.data.mongodb.uri没有被指定的时候,默认会采用内嵌MongoDB服务器。如果要使用独立部署的MongoDB服务器,那么设置这个配置,并指定MongoDB服务器的地址。同时,将内嵌MongoDB的依赖注释掉,操作如下。

dependencies { //... // 注释掉内嵌的 MongoDB // compile('de.flapdoodle.embed:de.flapdoodle.embed.mongo') //... }本文给大家讲解的内容是分布式系统开发实战: 分布式存储,实战:基于MongoDB文件服务器

  1. 下篇文章给大家讲解的是分布式系统开发实战: 分布式监控,分布式监控常用技术;
  2. 觉得文章不错的朋友可以转发此文关注小编;
  3. 感谢大家的支持!

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.