搜索结果
查询Tags标签： serving，共有 9条记录-
关于推荐算法中的曝光偏差问题
参考这篇文章： https://mp.weixin.qq.com/s/0WytNSBhqWeEWx1avXysiA 《搜索、推荐、广告中的曝光偏差问题》最近在做的推荐版本里面也会针对曝光偏差进行优化。机器学习本质上是在学习数据的分布, 其有效性的假设是模型 training 和 serving 时的数据是独立同分布(Indepe…
2022/2/28 1:23:49 人评论 次浏览 -
尝试 clickhouse operator
Production 级别的 clickhouse 不是随便就能搞出来的，需要对其有更深入的理解。这篇主题只是针对如何在 k8s 里快速搭建一还行的 clickhouse。主要是为了实现整个系统不对外有额外的依赖，所有的依赖服务都包含在 k8s 集群中。和 将 MySQL 通过 presslabs/mysql-operator…
2022/2/24 6:24:56 人评论 次浏览 -
工程落地赛-TIPC 与 Serving 支持示例
总体简介 本项目主要根据 github 项目 对如何接入 TIPC、如何支持 serving 进行介绍，关于更多原项目的信息可以查看 README.md 进行了解。另外，也可以参考官方的 TIPC 和 Serving 的示例来将自己的模型接入 TIPC 和进行 Serving 支持。 TIPC 基础链条 ♣ 简介 其实，我们…
2022/2/11 23:43:05 人评论 次浏览 -
FATE serving-admin zookeeper docker-compose安装
基础 KuberFate_v1.6.1docker-compose方式部署训练服务及推理服务位于同一台服务器,docker容器内网互通;共部署四台; 编写zookeeper启动文件,配置文件 #zk的docker-compose.yml文件内容version: 3 networks:fate-network:external: truename: fate-network services:zoo1:…
2021/11/27 23:41:21 人评论 次浏览 -
FATE serving-admin zookeeper docker-compose安装
基础 KuberFate_v1.6.1docker-compose方式部署训练服务及推理服务位于同一台服务器,docker容器内网互通;共部署四台; 编写zookeeper启动文件,配置文件 #zk的docker-compose.yml文件内容version: 3 networks:fate-network:external: truename: fate-network services:zoo1:…
2021/11/27 23:41:21 人评论 次浏览 -
爱奇艺 TensorFlow Serving 内存泄漏优化实践
文章目录 一、背景介绍二、模型特征 Raw Serving Tensor输入三、服务突增高并发请求四、总结五、参考文献TensorFlow Serving由于其便捷稳定的特点在CTR(Click-through Rate，点击率)预估业务场景被广泛的使用，但是其运行时会出现内存不断增长的问题，也不断有相关issue被…
2021/10/23 7:13:17 人评论 次浏览 -
爱奇艺 TensorFlow Serving 内存泄漏优化实践
文章目录 一、背景介绍二、模型特征 Raw Serving Tensor输入三、服务突增高并发请求四、总结五、参考文献TensorFlow Serving由于其便捷稳定的特点在CTR(Click-through Rate，点击率)预估业务场景被广泛的使用，但是其运行时会出现内存不断增长的问题，也不断有相关issue被…
2021/10/23 7:13:17 人评论 次浏览 -
Windows下安装Docker并使用TF Serving的pb模型
安装下载并安装docker桌面：链接 默认勾选即可，安装完成后会强制要求重启 重启后可能会报一些错误，不用管直接全关掉，然后右击托盘区的小鲸鱼图标，选择Switch to Windows Containers 此时docker即可正常启动了 在Settings里的Docker Engine里，将experimental项置为tr…
2021/7/1 7:25:31 人评论 次浏览 -
tensorflow model serving 显存按需增加方法
tensorflow_model_serving部署时默认会占满整个GPU的显存, 这会很费显存,让model serving按需使用显存的方案如下: 解决方案详见: https://github.com/tensorflow/serving/issues/836#issue-311505466 指定platform_config_file, 文件内容: platform_configs {key: "…
2021/4/8 18:29:30 人评论 次浏览
