搜索结果
查询Tags标签： 架构，共有 1698条记录-
JDK中自带的JVM分析工具
一、业务背景对于分布式架构中的文件服务来说，由于涉及大量的IO流操作，很容易引发JVM的相关异常，尤其是内存溢出的问题；在最近的一次版本迭代中，真实的业务处理场景和上述几乎一致，由于在文件服务中添加批量处理的动作，直接唤醒了隐藏许久的BUG，就是最常见的内存溢…
2022/12/6 23:23:55 人评论 次浏览 -
了解Pytorch|Get Started with PyTorch
Basics就像Tensorflow一样，我们也将继续在PyTorch中玩转Tensors。从数据（列表）中创建张量data = [[1, 2],[3, 4]]tensors = torch.tensor(data)tensorstensor([[1, 2],[3, 4]])从NumPy创建np_array = np.arange(10)tensor_np = torch.from_numpy(np_array)tensor_npten…
2022/12/4 1:23:57 人评论 次浏览 -
Kubernetes后台数据库etcd：安装部署etcd集群，数据备份与恢复
一.系统环境服务器版本docker软件版本CPU架构CentOS Linux release 7.4.1708 (Core)Docker version 20.10.12x86_64二.前言etcd 是兼顾一致性与高可用性的键值对数据库，可以作为保存 Kubernetes 所有集群数据的后台数据库。保持 etcd 集群的稳定对 Kubernetes 集群的稳定…
2022/12/3 2:23:55 人评论 次浏览 -
字节微服务HTTP框架Hertz使用与源码分析
一、前言Hertz[həːts] 是一个 Golang 微服务 HTTP 框架，在设计之初参考了其他开源框架 fasthttp、gin、echo 的优势， 并结合字节跳动内部的需求，使其具有高易用性、高性能、高扩展性等特点，目前在字节跳动内部已广泛使用。 如今越来越多的微服务选择使用 Golang，如…
2022/12/2 5:25:11 人评论 次浏览 -
【深入浅出 Yarn 架构与实现】2-1 Yarn 基础库概述
一、主要使用的库Protocol Buffers：是 Google 开源的序列化库，具有平台无关、高性能、兼容性好等优点。YARN 将其用到了 RPC 通信中，默认情况 下，YARN RPC 中所有参数采用 Protocol Buffers 进行序列化 / 反序列化。Apache Avro：是 Hadoop 生态系统中的 RPC 框架，具…
2022/11/27 1:23:54 人评论 次浏览 -
你需要知道的4个数据库扩展解决方案
你已经用一个直观的、用户友好的用户界面启动了你的应用程序。但是，如果你的应用程序遇到负载问题，这将使你的终端客户在使用它时感到沮丧。很有可能问题不在应用程序内部，而是在数据库。根据一项调查，38%的数据库专业人员报告说数据库停机是让他们夜不能寐的重要问题…
2022/11/22 2:24:52 人评论 次浏览 -
EasyExcel对大数据量表格操作导入导出
前言最近有个项目里面中有大量的Excel文档导入导出需求，数据量最多的文档有上百万条数据，之前的导入导出都是用apache的POI，于是这次也决定使用POI，结果导入一个四十多万的文档就GG了，内存溢出... 于是找到EasyExcel的文档，学习了一番，解决了大数据量导入导出的痛…
2022/11/19 2:23:54 人评论 次浏览 -
使用 Go HTTP 框架 Hertz 进行 JWT 认证
Demo 介绍使用命令行工具 hz 生成代码使用 JWT 扩展完成登陆认证和授权访问使用 Gorm 访问 MySQL 数据库Demo 下载git clone https://github.com/cloudwego/hertz-examples.gitcd bizdemo/hertz_jwtDemo 结构hertz_jwt├── Makefile # 使用 hz 命令行工具生成 hertz 脚手…
2022/11/17 23:24:57 人评论 次浏览 -
大数据算法——布隆过滤器
理在我之前的理解当中，如果想要判断某个元素在不在集合当中，经典的结构应该是平衡树和hash table。但是无论是哪一种方法，都逃不开一点，都需要存储原值。比如在爬虫场景当中，我们需要记录下之前爬过的网站。我们要将之前的网址全部都存储在容器里，然后在遇到新网站的…
2022/11/15 2:23:59 人评论 次浏览 -
大型网站架构系列：分布式消息队列（一）
一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，Me…
2022/11/14 23:23:57 人评论 次浏览 -
计算机系统底层架构思路
学会架构的意义 现在已经有大量的软件开发框架可供我们选用，为什么还要花时间精力去学习架构？ 这里我说明两点：其一，任何框架只能是适用大部分场景，要记住框架是适应一系列软件开发的，而不是专为你开发的软件所用。造汽车的技术框架就不再适合造船艇，更不适合造飞机…
2022/11/14 4:23:58 人评论 次浏览 -
Django更换数据库和迁移数据方案
基本步骤Django 默认使用 SQLite 数据库方便开发，同时其 ORM 支持多种数据库，只要安装对应的驱动就行。切换数据库一般是将开发环境的 SQLite 切换到 MySQL (MariaDB) 或 PostgreSql ，本文只测试了从 SQLite 到 MySQL / PostgreSQL，同理，其他切换路径也是可以的。数据…
2022/11/14 2:23:53 人评论 次浏览 -
【深入浅出 Yarn 架构与实现】2-2 Yarn 基础库 - 底层通信库 RPC
RPC（Remote Procedure Call） 是 Hadoop 服务通信的关键库，支撑上层分布式环境下复杂的进程间（Inter-Process Communication, IPC）通信逻辑，是分布式系统的基础。允许运行于一台计算机上的程序像调用本地方法一样，调用另一台计算机的子程序。由于 RPC 服务整体知识较…
2022/11/13 23:53:53 人评论 次浏览 -
Redis Cluster 数据分片
介绍 Redis ClusterRedis 集群是 Redis 提供的分布式数据库方案， 集群通过分片（sharding） 来进行数据共享， 并提供复制和故障转移功能。节点一个 Redis 集群通常由多个节点（node） 组成， 在刚开始的时候，每个节点都是相互独立的，它们都处于一个只包含自己的集群当…
2022/11/13 2:23:54 人评论 次浏览 -
用于停止云 SQL 数据库的云计划程序
我们在 mkdev 拥有的应用程序之一是 Claimora 我们用它来跟踪时间。当我们想要部署Claimora时，我们有两个环境，暂存和生产，在每个环境中，我们都有一个Postgres数据库启动并运行。当我们不在环境中工作时，我们希望省钱，为此，我们将在工作时间结束时停止数据库。让我…
2022/11/12 2:23:56 人评论 次浏览
