搜索结果
查询Tags标签： TVM，共有 33条记录-
TVM 源码阅读PASS — VectorizeLoop
本文地址：https://www.cnblogs.com/wanger-sjtu/p/17501119.html VectorizeLoop这个PASS就是对标记为ForKind::kVectorized的For循环做向量化处理，并对For循环中的语句涉及到的变量，替换为Ramp，以便于在Codegen的过程中生成相关的向量化运算的指令。 VectorizeLoop这个…
2023/6/24 18:52:55 人评论 次浏览 -
TVM－MLC LLM 调优方案
本文地址：https://www.cnblogs.com/wanger-sjtu/p/17497249.html LLM 等GPT大模型大火以后,TVM社区推出了自己的部署方案，支持Llama，Vicuna，Dolly等模型在iOS、Android、GPU、浏览器等平台上部署运行。 https://github.com/mlc-ai/mlc-llm 本文在之前作者介绍的基础上…
2023/6/22 1:22:09 人评论 次浏览 -
TVM 安卓环境搭建部署
安装jdk 从java中https://www.oracle.com/java/technologies/downloads/#java17 中下载jdk 17 wget https://dlcdn.apache.org/maven/maven-3/3.8.6/binaries/apache-maven-3.8.6-bin.tar.gz并在/user/local下创建java目录，并将jdk解压到该目录中： mkdir /usr/local/jav…
2022/8/27 6:23:23 人评论 次浏览 -
TVM: 深度学习编译器介绍
深度学习编译器介绍 每一种硬件对应一门特定的编程语言，再通过特定的编译器去进行编译产生机器码，那随着硬件和语言的增多，编译器的维护难度会有很大困难。现代编译器已经解决了这个问题。 为了解决这个问题，科学家为编译器抽象出来了编译前端/编译中端/编译后端等概念…
2022/8/2 6:23:56 人评论 次浏览 -
python的多层包调用
在阅读tvm 前端代码时发现了诸如from ... import nd as _nd/from .. import analysis之类的代码，因长时间未接触python，感到格外好奇 参考：PEP 328 – Imports: Multi-Line and Absolute/Relative 官方文档中介绍了绝对导入(Absolute Imports) 与 相对导入( Relative I…
2022/7/27 14:22:53 人评论 次浏览 -
docker中源码安装tvm
TVM安装 docker安装 可自行到https://tvm.apache.org/docs/install/docker.html 官网下载安装 源码安装 环境： 系统： ubuntu22.04系统， docker版本： 20.10.17 cuda: 11.6 因此在安装时选用了nvidia/cuda:11.6.1-devel-ubuntu20.04这个镜像文件 镜像 环境下载：…
2022/7/15 14:20:22 人评论 次浏览 -
TVM 模型量化
TVM 模型量化 [RFC] Search-based Automated QuantizationI proposed a new quantization framework, which brings hardware and learning method in the loop. Brought the idea from some existing quantization frameworks, I choose to adopt the annotation-calibra…
2022/5/30 23:20:18 人评论 次浏览 -
TVM cmake示例展示
TVM cmake示例展示 本文展示tvm/cmake中config.cmake，tvm/cmake/module/LLVM.cmake，tvm/cmake/module/CUDA.cmake，tvm/cmake/module/OpenCL.cmake 看TVM工程 tvm/cmaketvm/cmake/module tvm/cmake/module/LLVM.cmaketvm/cmake/module/CUDA.cmake tvm/cmake/module/Open…
2021/11/21 6:40:18 人评论 次浏览 -
TVM cmake示例展示
TVM cmake示例展示 本文展示tvm/cmake中config.cmake，tvm/cmake/module/LLVM.cmake，tvm/cmake/module/CUDA.cmake，tvm/cmake/module/OpenCL.cmake 看TVM工程 tvm/cmaketvm/cmake/module tvm/cmake/module/LLVM.cmaketvm/cmake/module/CUDA.cmake tvm/cmake/module/Open…
2021/11/21 6:40:18 人评论 次浏览 -
TVM实现hardware backend
TVM实现hardware backend官方的矩阵相加的示例如下：2个矩阵相加的实现for (int i = 0; i < n; ++i) { C[i] = A[i] + B[i];}怎么优化？ 可以并行相加，如下for (int bx = 0; bx < ceil(n / 64); ++bx) { for (int tx = 0; tx < 64; ++tx) { int i = bx * 6…
2021/11/13 6:39:49 人评论 次浏览 -
TVM实现hardware backend
TVM实现hardware backend官方的矩阵相加的示例如下：2个矩阵相加的实现for (int i = 0; i < n; ++i) { C[i] = A[i] + B[i];}怎么优化？ 可以并行相加，如下for (int bx = 0; bx < ceil(n / 64); ++bx) { for (int tx = 0; tx < 64; ++tx) { int i = bx * 6…
2021/11/13 6:39:49 人评论 次浏览 -
TVM优化c++部署实践
TVM优化c++部署实践 使用TVM导入神经网络模型： 模型支持pytorch , tensorflow , onnx, caffe 等。平时pytorch用的多，这里给一种pytorch的导入方式。 github代码仓：https://github.com/leoluopy/autotvm_tutorial def relay_import_from_torch(model, direct_to_mod_p…
2021/11/10 9:10:01 人评论 次浏览 -
TVM优化c++部署实践
TVM优化c++部署实践 使用TVM导入神经网络模型： 模型支持pytorch , tensorflow , onnx, caffe 等。平时pytorch用的多，这里给一种pytorch的导入方式。 github代码仓：https://github.com/leoluopy/autotvm_tutorial def relay_import_from_torch(model, direct_to_mod_p…
2021/11/10 9:10:01 人评论 次浏览 -
TVM中Python/C++接口调用关系
TVM中Python/C++接口调用关系 TVM已经是一个很庞大的系统，包含了很多的功能模块，python和c++的互相调用这个功能模块，没有使用第三方的开源库（boost.python、pybind11等），自主实现了一套复杂但精致高效强大的机制。这部分内容很多，本文分成三部分，分析实现原理： …
2021/11/6 9:10:16 人评论 次浏览 -
TVM中Python/C++接口调用关系
TVM中Python/C++接口调用关系 TVM已经是一个很庞大的系统，包含了很多的功能模块，python和c++的互相调用这个功能模块，没有使用第三方的开源库（boost.python、pybind11等），自主实现了一套复杂但精致高效强大的机制。这部分内容很多，本文分成三部分，分析实现原理： …
2021/11/6 9:10:16 人评论 次浏览
