我的网站大全
写在前面
If any English-speaking friends see my GitHub repository, some of the resources here might be helpful to you too! You can use translation software to read it.
Here, I have curated a collection of websites and small tools that I find to be of good taste, covering but not limited to the following areas:
- Mathematics learning
- Basic computer science learning (operating systems, etc.)
- Basic computer operations (Windows system, Linux system, Docker)
- Basic deep learning study materials and practical resources
- Deep learning system study materials
- Basic language learning (Python, C++)
- Interesting open-source projects and tools (can replace common workflows)
Updated periodically, enjoy your time here
With a sidebar directory (viewable on desktop):
https://www.aispacewalk.cn/docs/other/awesomeweb
GitHub open-source repository: https://github.com/sanbuphy/my-awesome-cs
收录了品味好的网站与工具，涵盖不限于以下领域：
- 数学学习
- 计算机基础学习（操作系统等）
- 计算机操作基础（windows系统、linux系统、docker）
- 深度学习基础学习资料及实践资料
- 深度学习系统学习资料
- 语言基础学习（python、c++）
- 有趣的开源项目和工具（可替换常见工作流）
不定期更新
带目录边栏（电脑上可看）：[https://www.aispacewalk.cn/docs/other/awesomeweb](https://www.aispacewalk.cn/docs/other/awesomeweb)
github开源仓库地址： [https://github.com/sanbuphy/my-awesome-cs](https://github.com/sanbuphy/my-awesome-cs)
Feel free to discuss with me in the github issue!
基础素质（参考NJU-PAhttps://nju-projectn.github.io/ics-pa-gitbook/ics2024/ ）
提问的艺术
https://github.com/ryanhanwu/How-To-Ask-Questions-The-Smart-Way/blob/main/README-zh_CN.md
不像弱智一样提问
https://github.com/tangx/Stop-Ask-Questions-The-Stupid-Ways/blob/master/README.md
不要再偷懒了——南大蒋炎岩
部分内容出自以下参考网站，也欢迎关注他们
PPRP：
https://www.cnblogs.com/pprp/p/8880493.html
如需转载请注释原出处即可，谢谢
数学
机器学习相关数学基础
李航统计学习基础第一章补数学基础 只需要第一张 补基础，其他有问题再找
Deep Learning An MIT Press book参考第一章即可，中文版在这或者直接下载附件中dlbook_cn_v0.5-beta。
概率论与数理统计
陈希孺 概率论与数理统计基础 参考课程视频地址
【概率 统计课程学习总结】1. 台大概率与台湾交通大学统计课 - 奶油煎蛋红烧肉的文章 - 知乎 https://zhuanlan.zhihu.com/p/86071634
台湾大学 - 頑想學概率：機率一 (Probability (1))
台湾大学 - 頑想學概率：機率二 (Probability (2))
台湾交通大学 - 高等統計學 Advanced Statistics
线性代数
Linear Algebra for Everyone 图解
https://github.com/kenjihiranabe/The-Art-of-Linear-Algebra
矩阵求导入门 或者你也可以参考我整理的文章：
https://sanbuphy.github.io/p/矩阵求导简易入门手册/
线代启示录（一位掌握了 线代灵魂的老师）
immersive linear algebra 线性代数可视化
http://immersivemath.com/ila/index.html
新MIT 线性代数 18.065 by Gilbert Strang
https://www.bilibili.com/video/BV1a7411M7wH?p=1&vd_source=a6509cab8ccb8b81d6a70af693cc008f
CS大类
CS自学指南【必看】
【北美名校CS课程集锦】2.加州大学伯克利分校CS课程全集 - 文兄的文章 - 知乎 https://zhuanlan.zhihu.com/p/102083014
Quick Reference开发人员速查表（各种语言、脚本、常用工具的命令速查）
基本操作
GDB、VIM、GIT、Terminal艺术
- The Missing Semester of Your CS Education 中文版（强烈推荐）
- 南大PA教程最下面的一些简单入门和材料
https://nju-projectn.github.io/ics-pa-gitbook/ics2021/index.html
- 命令行的艺术（总结了各种命令行下相关好物）
- 如何学习写shell脚本（封装）可参考的项目：
https://github.com/sanbuphy/vimplus/blob/master/install.sh
- shell和程序开头的字符画LOGO生成工具
https://tools.kalvinbg.cn/txt/ascii
系统相关及系统信息相关
获取CPU的性能信息和常见信息，涵盖x86/arm等多硬件
https://github.com/pytorch/cpuinfo
如何开机自动挂载新硬盘（非ubuntu安装硬盘）
https://blog.csdn.net/qq_27370437/article/details/117806294
如何维护和切换gcc与g++代码（两种方案）
最简单的，通过设置不同优先级并切换即可：
# https://www.cnblogs.com/haiyonghao/p/14440283.html
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.8 40
# 设置gcc-5的优先级
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 50
# 修改系统中的默认gcc版本
sudo update-alternatives --config gcc
#如果想要根据优先级切换gcc版本，可以输入这个后在输入前面设定的数字
sudo update-alternatives --config gcc
https://blog.csdn.net/FX677588/article/details/78681325
https://cloud.tencent.com/developer/article/1430839
如何及时获取可视化的CPU频率和使用率信息：(Linux 查看CPU当前运行频率和温度)
sudo pip install s-tui
sudo s-tui
多线程并发解压缩文件
https://zhuanlan.zhihu.com/p/389817246
pigz -k your_file_name # 压缩文件
tar -cvf - dir1 dir2 dir3 | pigz > output.tar.gz # 压缩文件夹
unpigz -d your_file_name.gz
git相关，git指南
- 通过聊天的感觉入门并熟练git
https://wkevin.github.io/GitChat/gitchat.html#round-1-起步
- git常见操作整理
https://www.ruanyifeng.com/blog/2015/12/git-cheat-sheet.html
- 简单的git ssh秘钥教程
https://blog.csdn.net/helloasimo/article/details/123778112
- 添加了SSH密钥，git推送/拉取时要求验证
https://blog.csdn.net/qq_37435462/article/details/122240506
- 简单的pr教程
https://mmcv.readthedocs.io/zh_CN/latest/community/pr.html
- github linux下的desktop版
https://github.com/shiftkey/desktop/releases
- git的rebase的使用说明（可用于合并多次commit,修改commit等情况）
https://www.jianshu.com/p/4a8f4af4e803
- git中文乱码问题解决
git config --global i18n.commitencoding utf-8
git config --global i18n.logoutputencoding utf-8
export LESSCHARSET=utf-8
- git 删除历史记录大文件，减轻负担 https://blog.csdn.net/baobaoxiannv/article/details/105586187
- git如何结束一大堆的safe directory问题（少部分还可以自己一个个忽略，如果全都是就只能这样先把所有safe git 警告关闭
git config --global --add safe.directory '*' - git-ssh: connect to host github.com port 22: Connection timed out
-
先看看ssh -T -p 443 [email protected]能不能访问，可以的话就进行修改转发：
编辑 ~/.ssh/config 文件，如果没有config文件的话就直接 vim ~/.ssh/config加入以下内容 （windows在C:\Users\你的用户名\.ssh 中）
-
Host github.com
HostName ssh.github.com #或者是Hostname
Port 443
再次测试 `ssh -T [email protected]`即可
- vscode免密登陆远程服务器，git免密
-
确保已经有本地公钥私钥，如果没有就
ssh-keygen生成 -
默认拷贝本地公钥到目标服务器（如果有端口也-p加上端口）如果是windows可以在gitbash中操作即可或者用wsl的鉴权地址指定，随后
ssh-copy-id user@remote-host即可，如果你是windows强烈建议手动指定下：C:\\Users\\你的用户名\\.ssh\\id_rsa.publinux下也可：ssh-copy-id -i ~/.ssh/id_rsa.pub user@remote-host，这步结束后 ，可以直接在终端ssh测试下能否直接连上，理论上可以直接。
-
vscode中加入配置即可：（修改下列配置成为你自己的配置），如果还需要密码就是IdentityFile 了
-
Host 名字
HostName ssh的名字
Port 端口
User username
IdentityFile "C:\Users\你的用户名\.ssh\id_rsa"
IdentityFile "~/.ssh/id_rsa"
- git 放宽安全策略（safe directory）
git config --global --add safe.directory '*' - server certificate verification failed. CAfile: none CRLfile: none 相关错误：
git config --global http.sslverify false - mirror加速： https://mirror.ghproxy.com/
- github mirror大全https://blog.csdn.net/liveon_/article/details/127933041
- 调整一些规则（主要是代理规则），可以使用比如
git config --global --edit\
git config --global url."https://hub.fastgit.xyz/".insteadOf "https://github.com/"
git config protocol.https.allow always
- github 镜像加速，快速更换所有文件
find . -type f -exec sed -i 's|https://github.com/|https://更换成镜像加速地址/|g' {} + - wsl 提示 NTA 网络问题无法 proxy：
# 在 Windows 的 %UserProfile%\.wslconfig 文件中添加以下内容：
# Settings apply across all Linux distros running on WSL 2
[wsl2]
networkingMode=mirrored # 开启镜像网络
dnsTunneling=true # 开启 DNS Tunneling
firewall=true # 开启 Windows 防火墙
autoProxy=true # 开启自动同步代理
[experimental]
hostAddressLoopback=true
ubuntu常见疑难解答
-
快速下载ubuntu镜像: 找到官网下载链接后使用wget下载
-
简单安装双系统
1、安装windows（因为windows的boot优先级比较高）
2、安装ubuntu，他能检测到和windows并存的状态，选择那个安装即可
-
简单更换ubuntu镜像源
- Settings→About→Software Updates→Download from
- 选择其他服务器，然后找到中国，选择进行测试以便找到最快的站点。
-
sudo apt-get update: 0% [正在等待报头]问题的解决（参考https://article.itxueyuan.com/XP2rn）
- 先断网然后找到Settings→About→Software Updates关闭所有下载
- sudo apt-get clean
- 接下来将/etc/apt/source.list文件内容清空并保存
- 恢复网络，将第一步中取消掉的四个选项重新点选然后在最佳国内服务器更新即可。
-
给第三方软件appimage加上快捷方式：https://www.cnblogs.com/HGNET/p/16396589.html
-
ubuntu实体机快照：
-
ubuntu循环依赖问题：
在安装某些东西的时候，你很可能会遇到循环依赖问题，这里慎重降级！！！！除非是必需品。操作不当很容易直接把服务/内核挂了，此时最好的办法是开个docker。（尤其是看到lib XXX的时候要小心）
-
ncdu工具分析磁盘空间占用情况（超好用，如果是wsl，运行ncdu --exclude /mnt// wsl下排除/mnt （当然，你也可以用 sudo du -d 1 -h | less 进一步分析） -
如何打造Ubuntu Togo 利用虚拟机
-
改变ubuntu swap大小
-
ubuntu陷入休眠怎么办如何关闭ubuntu自动休眠：
首先检查系统日志是不是陷入休眠了，或者直接看
systemctl status sleep.target如果loaded说明启动了挂起规则，此时只需要如此操作后重新查看状态至masked即可：
sudo systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target -
快速挂载一个新的盘：
# 方法一（推荐）先分区然后创建文件系统
fdisk /dev/sdb
# 依次输入:n->p->1->回车->回车->w
fdisk -l # 查看到刚才分出来的新分区
mkfs.ext4 /dev/sdb1
# 方法二（不推荐） 直接格式化创建文件系统
# 执行：lsblk 然后 sudo mkfs.ext4 /dev/sdb
sudo mkdir /mnt/mydisk
sudo mount /dev/sdb1 /mnt/mydisk
# 永久挂载：
#打开配置文件
vi /etc/fstab
#在配置文件最后输入
/dev/vdb1 /目标目录 ext4 defaults 0 0
- 已有文件系统在扩容硬盘，如何继续扩容
# 没有分区，直接构建文件系统的情况
# 检查文件系统是否有错误，并准备扩展
sudo e2fsck -f /dev/sdb
# 使用 resize2fs 工具扩展文件系统：
sudo resize2fs /dev/sdb
# 已有分区，扩展该分区的文件系统
sudo apt-get install cloud-guest-utils
sudo growpart /dev/vdb 1
sudo resize2fs /dev/vdb1
sudo mount /dev/vdb1 /挂载点
- wget下载如何不需要 -O 强制重命名文件，加入参数
--content-disposition，wget可下载多文件，直接顺序空格间距接下去url 即可，或者 -i xxx.txt - /lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.30' not found 类似问题：
# 更新系统 gcc 比较麻烦可以用 conda 里面的，直接修改环境变量就可以让他被优先查找
conda install -c conda-forge gcc_linux-64=12.1.0 gxx_linux-64=12.1.0
export PATH=$CONDA_PREFIX/bin:$PATH
export LD_LIBRARY_PATH=$CONDA_PREFIX/lib:$LD_LIBRARY_PATH
# 永久保存 （不建议）
echo 'export PATH=$CONDA_PREFIX/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CONDA_PREFIX/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc
WSL2常见疑难解答
【注！ 推荐使用挂载/mnt的系统磁盘进行操作，否则很容易让wsl的虚拟磁盘占用很大，删除后无法释放。若你想要释放则需要参考下面的指定教程】
- WSL入坑指南（很全的资料，包括开发环境的配置）
- windows上安装ubuntu(WSL2)：
1、在microsoft下载ubuntu 2、根据下列方式导出并导入镜像，防止占用C盘空间（默认安装在C盘）http://t.zoukankan.com/davidchild-p-15606786.html （用这个方法还可以及时快照保存~
- WSL2常用命令（开启关闭甚至注销等等
https://learn.microsoft.com/zh-cn/windows/wsl/basic-commands
- 安装WSL2专用systemctl【目前（2023/02/02）只能用于20.04,请勿在22.04中使用！】（慎重使用，可能会导致pycharm连接出现问题，请先快照后再进行尝试！
https://github.com/DamionGans/ubuntu-wsl2-systemd-script
- WSL中如何使用proxy：（服务器版本的通用方法）
- 第一步 下载：https://github.com/v2fly/fhs-install-v2ray 运行 install-release.sh，然后你可能会在里面发现在下载哪个zip要很久，可以直接wget下来解压即可
- 第二步 启动：直接 run 即可，然后设置一个本地json。 你可以后台运行，也可以在一个终端中运行起来，然后新开一个终端去export ALLproxy之类的就好，参考docker的做法，或者使用proxychains4也可以。）在终端中运行
/usr/local/bin/v2ray run -config /usr/local/etc/v2ray/config.json即可启动！ - 第三步 使用：就当作一个已经监听了某个端口的proxy使用即可
- 注释：当然，为了方便你可以自行改造，使用 /etc/init.d/ 目录中的服务命令或 service 命令替代systemctl。
- 注意！WSL2经常会与主机时间不同步，这可能会造成很多问题（包括proxy用不了），你最好设置一个启动脚本或自己执行
sudo hwclock -s强制对WSL2时间进行同步，可使用sudo hwclock查看WSL的当前时间， - 以防出现奇怪问题你可以经常对WSL做快照：https://blog.csdn.net/weixin_43425561/article/details/115765148
- 改变/增加WSL2的内存、swap空间大小
在C盘的用户主目录下（比如我的是C:\Users\sanbu）创建.wslconfig文件夹，在里面输入
[wsl2]
memory=8GB
swap=16GB
# 为 WSL 2 虚拟机分配的处理器核心数量
# processors=<number>
在配置设置完之后，在powershell执行wsl --shutdown命令进行关闭，随后再打开 即可（注意，如果你使用了docker-desktop，实际上也是基于wsl2构建的，所以也会影响到的对应环境的资源
- 暴露wsl的服务（桥接）：https://www.cnblogs.com/huanliu/p/17161388.html （记得开始要在powershell 中使用
Set-VMSwitch WSL -NetAdapterName 以太网）此时桥接后可能还不能上网，需要加入8.8.8.8 nameserver
简单启动流程：
Set-VMSwitch WSL -NetAdapterName 以太网
然后运行下列ps1文件
echo "正在解除wsl桥接..."
Set-VMSwitch WSL -SwitchType Internal
echo "正在重启wsl"
wsl --shutdown
wsl --cd ~ -e ls
echo "`ndone"
pause
然后wsl中：
new_ip=新的映射ip
brd=新的映射ip.255
gateway=网关
nameserver=网关
net_dev=eth0
sudo ip addr del $(ip addr show $net_dev | grep 'inet\b' | awk '{print $2}' | head -n 1) dev $net_dev
sudo ip addr add $new_ip/24 broadcast $brd dev $net_dev
sudo ip route add 0.0.0.0/0 via $gateway dev $net_dev
sudo sed -i "\$c nameserver $nameserver" /etc/resolv.conf
- wsl的硬盘空间怎么办？——挂载其他硬盘，如：
sudo mount -t drvfs D: /mnt/d - WSL怎么释放空间，wsl硬盘压缩虚拟硬盘压缩：https://zhuanlan.zhihu.com/p/521747491
- 在Program Files\DOCKERimages\DockerDesktopWSL\data 之类的地方搜索
- 或者是 C:\Users\hp\AppData\Local\Packages\之类的地方搜索能找到ext4.vhdx文件
- WSL 有时候发现没法使用nvidia-smi怎么办？其实有时候是因为没有权限，如果你发现sudo nvidia-smi可以但是非sudo不行那可能是因为root 切 用户的时候权限错了。。。sudo su 用户 就可以解决问题，并不是显卡挂了
- 一个巨坑，WSL 和 Docker Desktop 的 bug 问题，如果你装了这两个可能会在启动wsl或者vscode链接wsl的时候遇到如下类似的问题：
Processing fstab with mount -a failed.
<3>WSL (8) ERROR: CreateProcessEntryCommon:370: getpwuid(0) failed 2
<3>WSL (8) ERROR: CreateProcessEntryCommon:374: getpwuid(0) failed 2
<3>WSL (8) ERROR: CreateProcessEntryCommon:577: execvpe /bin/sh failed 2
<3>WSL (8) ERROR: CreateProcessEntryCommon:586: Create process not expected to return
因为这时候你使用`wsl -l`会发现默认的发行版是 docker-desktop，所以我们需要把他切换成ubuntu即可：使用 `wsl -s Ubuntu` 设置成发行版即可（在 wsl -l 里找你的ubuntu版本）
- 注意不同的操作系统编辑创建文件后行尾符可能不同，使用的时候请显式在IDE指定是LF（如果需要在linux运行）否则会出现 command not found 的 报错。LF（Line Feed）使用于 Unix 和类 Unix 系统，表示为
\n，是单个字符（ASCII 10）；CRLF（Carriage Return + Line Feed）使用于 Windows 系统，表示为\r\n，包含两个字符：回车（ASCII 13）和换行（ASCII 10）。 - windows 和wsl 的路径互相转换
# 1. 将 Windows 路径转换为 WSL 路径
wsl wslpath "F:/download"
# 2. 将当前的CMD目录转换为 WSL 路径
wsl wslpath "%cd%"
# 在WSL中运行这些命令：
# 1. 将 WSL 路径转换为 Windows 路径
wsl wslpath -w "/mnt/f/download"
# 2. 将当前的WSL目录转换为 Windows 路径
wsl wslpath -w `pwd`
windows常见工具箱
- 有关windows家的镜像源以及VS等的纯净安装文件，以及各种网络工程师能用到的软件程序安装包
- 图吧工具箱（给自己电脑做硬件分析等等
- DISM++ 最好用的windows控制面板工具箱（直接看release部分下载
https://github.com/Chuyu-Team/Dism-Multi-language
- Ubuntu - bash脚本与 Windows - bat 脚本互相转换工具（Bash to Bat Converter
https://daniel-sc.github.io/bash-shell-to-bat-converter/
- windows-linux命令行对照表
https://www.geeksforgeeks.org/linux-vs-windows-commands/
- windows下类似apt这种包管理软件——scoop
https://blog.csdn.net/weixin_45191386/article/details/130662281
- windows kill 指定端口程序
netstat -ano | findstr :<port_number>
taskkill /PID <pid> /F
-
硬盘分区和文件强制删除工具（比大多数的粉碎工具都好用）
-
用于在其他系统去除windows的
\r标识，避免macos和linux运行报错：
sed -i '' $'s/\r$//' filename
-
美化 power shell全教程 https://www.kwchang0831.dev/dev-env/pwsh/oh-my-posh
我的推荐主题：
oh-my-posh init pwsh | Invoke-Expression
oh-my-posh init pwsh --config "$env:POSH_THEMES_PATH\montys.omp.json" | Invoke-Expression
Import-Module posh-git
正则表达式相关
- 正则表达式入门与练习
https://github.com/ziishaned/learn-regex/blob/master/translations/README-cn.md
- 正则表达式可视化浏览
- 长正则表达式结构可视化
- 常用正则表达式汇总（车牌号手机号姓名IP等等）
http://obkoro1.com/web_accumulate/codeBlack/正则表达式收集.html
docker相关
【重点提示】对于ubuntu，如果你使用第一种命令行的方式安装了docker engine，切记不要安装docker desktop。或者直接就安装docker desktop。否则会找不到原来的镜像和container！这两并不兼 容，详情请看官方说明。如果你不小心装了两个，想要恢复原来的docker，直接apt卸载docker desktop即可。
Docker Desktop on Linux runs a Virtual Machine (VM) so creates and uses a custom docker context desktop-linux on startup.
This means images and containers deployed on the Linux Docker Engine (before installation) are not available in Docker Desktop for Linux
- docker的一切：
https://yeasy.gitbook.io/docker_practice/
- docker官方安装教程
https://docs.docker.com/desktop/install/ubuntu/
安装结束后记的：sudo chmod a+rw /var/run/docker.sock（不过可能在一些用户权限限制比较多的电脑这样可能端口映射后对端口请求可能还是会出现一些问题，你可以通过设定为777权限解决。）
- 使docker能够避免输入sudo（通过 docker info检查是否要sudo才可输出）
https://www.yisu.com/zixun/139260.html
- windows下安装docker desktop到其他硬盘（主要是mklink /j "C:\Program Files\Docker" "D:\Program Files\Docker"）以防空间占用过多
参考：https://blog.csdn.net/liangcsdn111/article/details/110236655
- 在WSL2下使用docker
【你只需要安装docker desktop然后参考这个教程，点点就能用了】：
https://dockerdocs.cn/docker-for-windows/wsl/
可以很方便使用！无需按照命令行安装即可使用docker！
- 安装docker后启动时遇到：Failed to connect to bus: Host is down（我在WSL2遇到，非必要不使用，最好还是先安装一下systemctl确保能用）
# 运行下列操作即 可，然后 sudo systemctl daemon-reload
# https://gist.github.com/alyleite/ca8b10581dbecd722d9dcc35b50d9b2b
sudo apt-get update && sudo apt-get install -yqq daemonize dbus-user-session fontconfig
sudo daemonize /usr/bin/unshare --fork --pid --mount-proc /lib/systemd/systemd --system-unit=basic.target
exec sudo nsenter -t $(pidof systemd) -a su - $LOGNAME
snap version
- NVIDIA docker的使用（用文中方式启动docker的插件，然后用docker run gpu启动，或者参考下面的教程安装和启动。）（有时候update出问题是nvidia网络抽风了。。别急
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
- docker换源（拉镜像极大加速）
https://blog.51cto.com/u_13281972/2997681
- 修改Docker默认镜像和容器的存储位置
https://www.cnblogs.com/chentiao/p/16963647.html
- docker pull images — use proxy
https://www.lfhacks.com/tech/pull-docker-images-behind-proxy/
- docker — use proxy（在容器内）（记得主机listen 172或者0.0.0.0
方法一：
-it 以及加上了host命令进入docker后（比如：）
nvidia-docker run --name paddle-test -v $PWD:/paddle --network=host -it [registry.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev](http://registry.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev) /bin/bash
此时在内部可以看到两个网卡，我们可以监听172ip的某个端口，然后使用
export ALL_PROXY="http://172.17.0.1:8888/"
export ALL_PROXY=socks5://172.17.0.1:1088 即可使用proxy。（有时候还不够用，可以加上https的）（不需要host network 只需要bind 172 即可使用）
export http_proxy="http://172.17.0.1:8888/"
export HTTP_PROXY="http://172.17.0.1:8888/"
export https_proxy="http://172.17.0.1:8888/"
export HTTPS_PROXY="http://172.17.0.1:8888/"
docker build proxy：
- make sure your proxy bind 172.17.0.1 and port (e.g. 8888)
- add that in dockerfile
ENV http_proxy "http://172.17.0.1:8888/"
ENV HTTP_PROXY "http://172.17.0.1:8888/"
ENV https_proxy "http://172.17.0.1:8888/"
ENV HTTPS_PROXY "http://172.17.0.1:8888/"
- run it
**方法三：**运行终端版的v2ray之类的软件，后台运行后直接使用proxychains4的http代理即可（很多不能走socker）
注释：如果而在终端遇到curl之类的奇怪的http问题，请env|grep查看有无奇怪的环境变量或者关闭proxy的系统proxy功能。因为无需开启也可以操作。
- docker磁盘占用查看与缓存清理
https://blog.csdn.net/m0_67390963/article/details/126327604
- 利用docker调试代码，以apollo为例：
https://zhuanlan.zhihu.com/p/468146522
- 导出自己的镜像和导入：
https://yeasy.gitbook.io/docker_practice/container/import_export
- 提交自己的镜像到dockehub：(你也可以参考上面提到的docker的一切，里面什么都有。
可参考 https://blog.csdn.net/butterfly5211314/article/details/83068807
- windows下docker挂载本地文件夹（利用powershell或者cmd之类的）
-v /d/PycharmProjects:/test （注意一下这个形式） -v挂载本地文件夹到docker容器中，在容器中修改/test文件夹中的内容也就是修改D:\PycharmProjects文件夹中的内容
- docker读写：
docker save example-image > example-image.tar写：docker load < example-image.tar
前端相关
nodejs下载安装与初始化方法
https://nodejs.org/en/download
https://blog.csdn.net/xuchaoxin1375/article/details/121709299
用自然语言对话生成前端页面
node npm切换版本
nvm use xxx
其他
云服务器相关：
（AWS）boto3使用教程用法
https://blog.csdn.net/weixin_46105038/article/details/118220439
不知道变量怎么命名就可以看看：
https://unbug.github.io/codelf/
电脑装机，组装一台电脑：
去bilibili随便搜前二的 多看几遍
我自己的配置：
凯侠1T ：375
铭瑄3060 12g 2349 （记得卡扣先打开再插显卡
金白达三星16G*2 389
爱国者机箱 114 （机箱大比较好处理线
海韵金牌全模组650W 599
散热器利民ax120rse 69.9
13490F + B660M WIFID4重炮手 华硕 2429
gradio的proxy冲突了怎么办？
——设置不同的监听地址，比如gradio可以直接监听ip或者172的容器地址，不需要127.0.0.1
QT报错如何，类似 qt.qpa.plugin: Could not load the Qt platform plugin "xcb" in "" even though it was found. https://neucrack.com/p/407
export QT_QPA_PLATFORM="xcb"
export QT_QPA_PLATFORM=offscreen
export QT_DEBUG_PLUGINS=1
其他有趣的文章
有关linux的基础讲解，有配图和自己的理解，推荐一读。
https://segmentfault.com/u/public0821
一个对cpu和网络了解都非常深入的工程师
其中最好的一类文章（有关cpu的讲解）https://plantegg.github.io/2021/06/01/CPU的制造和概念/
一个关于各种生成网络和编码器小论文通读的博主，有些写的还可以（比较基础入门）
https://medium.com/@falconives
java相关技术栈资料大全博主（还有一些三大件相关的资料，还挺多
http://learn.lianglianglee.com/
Linux性能分析工具大全（Linux/BSD性能专家Brendan Gregg）
https://www.brendangregg.com/linuxperf.html
面向程序员的各类调用库清单（主要是C/C++ PYTHON)
https://github.com/programthink/opensource
GitHub中文排行榜
https://github.com/GrowingGit/GitHub-Chinese-Top-Charts
GitHub 上有趣、入门级的开源项目
https://github.com/521xueweihan/HelloGitHub
美化自己的github界面
https://zhuanlan.zhihu.com/p/454597068
github.com/rzashakeri/beautify-github-profile
https://bowenyoung.cn/posts/githubBeautify
社区制作的一键生成界面：https://rahuldkjain.github.io/gh-profile-readme-generator/
公众号 / 真没什么逻辑的作者（为什么这么设计系列文章）涉及网络、数据库、操作系统等
https://draveness.me/whys-the-design/
Roadmap to becoming a developer
https://github.com/kamranahmedse/developer-roadmap
小林 x 图解计算机基础（国内最好的八股文整理之一）（图解网络和操作系统）
linux inside 讲解了一下linux内部运行机制，比如Program startup process in userspace
https://0xax.gitbooks.io/linux-insides/content/Misc/linux-misc-4.html
苏剑林 的空间（从数学再到NLP再到天文都有涉猎
技术博文《Chromium 渲染流水线——字节码到像素的一生 》 http://t.cn/A60JwWOw 本文回顾了现代浏览器架构和Chromium进程模型的基础知识，以及Chromium 中渲染流水线的整个过程。所谓渲染流水线，就是从接受网络的字节码开始，一步步处理这些字节码把它们转变成屏幕上像素的过程
深入了解现代 web 浏览器系列文章
计算机的核心 CPU 和 GPU、在进程和线程上执行程序
操作系统与体系结构
南京大学计算机基础（袁春风）CSAPP的青春版，但比csapp好懂得多（强烈不建议一开始就读csapp
赶时间可以直接看配套书。
https://www.icourse163.org/course/nju-1001625001#/info
前置：南京大学计算机基础实验（做了能让你真的变强）https://nju-projectn.github.io/ics-pa-gitbook/ics2021/index.html
2022 南京大学拔尖计划《操作系统：设计与实现》
(蒋炎岩 我永远的超级无敌酷炫宝藏男神，还有什么好说的呢？没有他我就永远不懂计算机的美丽
当然包云岗老师也是我的男神哈哈哈哈哈哈)
课程主页：http://jyywiki.cn/OS/2022/ (slides、示例代码)
视频地址： https://www.bilibili.com/video/BV1Cm4y1d7Ur/
操作系统（哈工大李治军老师）课件可在下方链接获取。
- 慕课网: http://www.feemic.cn/mooc/icourse163/1002692015#。
- 百度云链接：https://pan.baidu.com/s/1h2aEk6A_DGpXkZvRtNmeUw 提取码：qoll
- 配套实验课：https://www.shiyanlou.com/courses/115
MIT 6.S081: Operating System Engineering
https://csdiy.wiki/操作系统/MIT6.S081/
浙江大学周亚金老师的操作系统课课件（写的很好，有操作和现代的一些规范备注，我很喜欢）
在Schedule中可以获取到全部课件
南京大学软件分析课程：
https://tai-e.pascal-lab.net/pa1.html#_1-作业导览
https://space.bilibili.com/2919428/channel/series
教科书《计算机体系结构基础》（胡伟武等，第三版）的开源版本
https://github.com/foxsen/archbase
【MIT公开课】6.172 软件性能工程
https://www.bilibili.com/video/BV1wA411h7N7/
Online 8086 EMULATOR
https://yjdoc2.github.io/8086-emulator-web/
其他有趣文章:
如何实现一个elf的loader：https://blog.csdn.net/GoolyOh/article/details/119801160
从一个ELF程序的加载窥探操作系统内核:
https://blog.csdn.net/goolyoh/category_11298420.html
如何实现最小的hello world?
https://cjting.me/2020/12/10/tiny-x64-helloworld/
Linux 内核揭密（一系列关于 Linux 内核和其内在机理的帖子。）
https://xinqiu.gitbooks.io/linux-inside-zh/content/
计算机网络学习
课程类待补充
其他文章：
tcp高级疑难汇总案例分析：plantegg.github.io/2021/02/14/TCP疑难问题案例汇总/
这个博主写了网络编程相关的一系列文章：https://juejin.cn/user/862486453028888/posts
其中我最喜欢：Nginx一网打尽：动静分离、压缩、缓存、黑白名单、跨域、高可用、性能优化：
https://juejin.cn/post/7112826654291918855
有前端Nginx服务器在线配置，及大改善修改nginx的配置体验
https://www.digitalocean.com/community/tools/nginx?global.app.lang=zhCN
项目来源：https://github.com/digitalocean/nginxconfig.io
数据结构与算法
hello 算法，图文并茂的简单入门
程序员如何准备面试中的算法
https://wizardforcel.gitbooks.io/the-art-of-programming-by-july/content/00.01.html
labuladong 的算法小抄
https://github.com/labuladong/fucking-algorithm
ACWING的课
https://www.acwing.com/activity/
GitHub's largest open-source algorithm library
数据结构与算法可视化
设计模式
一个图文并茂的设计模式学习网站
refactoringguru.cn/design-patterns
高性能计算
华东师范大学高等数值分析（高性能计算，并行计算）(Parallel and High Performance Computing)
https://math.ecnu.edu.cn/~jypan/Teaching/ParaComp/
高性能计算与编译器
常用MPI、cublas等高性能基础库调用api快速入门
https://docs.hpc.sjtu.edu.cn/app/compilers_and_languages/intel_mpi.html
mlir
LLVM IR入门指南
https://github.com/Evian-Zhang/llvm-ir-tutorial
动手写mlir by strint
http://strint.github.io/220220-mlir/220220-mlir.html
Toy Tutorial : the implementation of a basic toy language on top of MLIR.
https://mlir.llvm.org/docs/Tutorials/Toy/
Kaileidoscope: LLVM Tutorial Chinese version(中文版)
https://kaleidoscope-llvm-tutorial-zh-cn.readthedocs.io/zh_CN/latest/
webgpu
WebGPU Fundamentals
https://webgpufundamentals.org/
wgpu 中文版跨平台开发（Web + App）教程：
https://jinleili.github.io/learn-wgpu-zh/
CUDA编程
CUDA Crash Cours BY CoffeeBeforeArch
https://www.youtube.com/watch?v=2NgpYFdsduY&list=PLxNPSjHT5qvtYRVdNN1yDcdSl39uHV_sU&index=1
官方入门文档
https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html
适合入门的小型Python编译器项目（包含cuda相关内容）
https://zhuanlan.zhihu.com/p/603352525
cuda学习教程
https://space.bilibili.com/37270391/channel/seriesdetail?sid=1454805
CUDA-Programming-Guide-in-Chinese
https://github.com/HeKun-NVIDIA/CUDA-Programming-Guide-in-Chinese
CUDA C++ Programming Guide
https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html
CUDA Freshman
of them are from the book "Professional CUDA C Programming"https://github.com/Tony-Tan/CUDA_Freshman
CS344 Introduction to Parallel Programming class code
https://github.com/udacity/cs344
https://www.youtube.com/watch?v=F620ommtjqk&list=PLAwxTw4SYaPnFKojVQrmyOGFCqHTxfdv2
谭升的博客，CUDA编程
https://face2ai.com/program-blog/
很好的各种各样CUDA的优化文章合计强烈推荐
https://github.com/YconquestY/Needle/blob/main/backend.md
CUDA samples CUDA官方案例
https://github.com/NVIDIA/CUDALibrarySamples
CUDA 课本相关
Programming-Massively-Parallel-Processors 相关习题作业
https://github.com/Syencil/Programming_Massively_Parallel_Processors
MPI通信
如何同时实现高性能并行+分布式计算？| Taichi x MPI4Py - 太极图形的文章 - 知乎 https://zhuanlan.zhihu.com/p/581896682
深度学习大类
NVIDIA环境配置常见问题
- 显卡驱动安装快速方法：
（你也可以在这里下：https://www.nvidia.com/download/index.aspx?lang=en-us）
ubuntu-drivers devices
sudo apt install 输入显示的推荐版本
（如果安装失败了或者重装或者遇到冲突依赖，请先把原来的依赖删除：sudo apt-get remove --purge nvidia*
如果你使用docker，驱动重新安装后请根据 https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html 重新启动docker
- CUDA与cuDNN的安装：（直接官网文档）【警告⚠，如果你需要安装tensorrt，请用deb形式安装cuda安装包，官方建议如果CUDA采用的是deb方式，tensorrt也要采用deb方式，】
注意：a100和3090ti不支持cuda11以下，请装113以上的版本。
教程可参考官网：Archive of Previous CUDA Releases
https://developer.nvidia.com/cuda-downloads
https://developer.nvidia.com/rdp/cudnn-archive
cudnn的官方安装教程（通过tar文件自己cp或者根据教程安装deb）
https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html
cudnn的卸载可参考：https://zhuanlan.zhihu.com/p/83971195
cuda之类的卸载参考：https://blog.csdn.net/m0_37605642/article/details/119637836
(注意，这里默认是最新版本的，你需要在右下角进入档案选择对应版本安装,或在下面的网页中找到archive）
TensorRT的安装（参考Debian Installation）【警告⚠，如果你需要安装tensorrt，请用deb形式安装cuda安装包，官方建议如果CUDA采用的是deb方式，tensorrt也要采用deb方式】
【不要安装最新的cuda工具包，很可能不支持，一般只支持上一个版本（看清楚对应cuda对应）】
https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-debian
- 安装cuda结束后记得把这两个命令加入到~/.bashrc 然后source。
如果你想要修改版本，可以修改cuda的软链接（选择其他版本的cuda），或者在bashrc中的cuda后面加上版本，如cuda-11.2
（具体的安装和卸载也可以参考https://flywine.blog.csdn.net/article/details/81879514）
export PATH="/usr/local/cuda/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"
解决nvcc版本不一致问题（可能的方法，更换runtime映射
https://qiyuan-z.github.io/2022/01/06/解决nvidia-smi和nvcc显示信息与所安装CUDA版本不一致问题/
解决cudnn找不到 问题（软连接到系统库）
https://blog.csdn.net/qq451882471/article/details/106967942
CUDA GPG Repository Key
https://forums.developer.nvidia.com/t/notice-cuda-linux-repository-key-rotation/212772
Tensorrt X docker环境搭建（现在（20221228）tensorrt-ubuntu已经支持deb安装，如果tar就选linux的）
https://blog.csdn.net/hxj0323/article/details/115859174
update后nvidia报GPG相关问题（我在18.04的docker遇到）：
echo 'deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64 /' > /etc/apt/sources.list.d/cuda.list
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com $(加入报错的密钥)
apt update
- 解决类似
error code is libcuda.so: cannot open shared object file: No such file or directory的问题：https://stackoverflow.com/questions/54249577/importerror-libcuda-so-1-cannot-open-shared-object-file
# 此处我们搜索的是libcuda.so
sudo find /usr/ -name 'libcuda.so' #有时候搜索的是libcuda.so.*
# 这一步是为了找到所在文件夹，我在WSL中搜到了几个文件夹下，我任意加入一个文件夹到LD_PATH：
# 假如前一步发现libcuda的位置为：/usr/lib/wsl/lib/libcuda.so
# 告诉系统要在这里找，你也可以把这句话加入到~/.bashrc然后source ~/.bashrc
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/targets/x86_64-linux/lib
NVIDIA显卡运行时状态监控不错的python库（实时监控）
https://github.com/XuehaiPan/nvitop
windows下安装CUDA工具链相关如果出现VS拓展安装失败的问题，可以先卸载本地安装的所有VS相关软件，然后重新安装官方的最新版本的VS就可以。
NVIDIA显卡计算能力？(如sm75）查询：https://developer.nvidia.com/zh-cn/cuda-gpus
理论基础（时间少直接看李沐/李宏毅）
周志华
南瓜书主页
https://datawhalechina.github.io/pumpkin-book/#/
周志华《机器学习》手推笔记 by Sophia-11
https://github.com/Sophia-11/Machine-Learning-Notes
周志华《机器学习》笔记（主要是文本） by yv.l1.pnn
https://zhuanlan.zhihu.com/p/134089340
深度学习网课
Anthropic 核心成员写的现代深度学习教材，包括CNN、transformer可解释性、强化学习，拥有大量有趣实验，非常推荐。
https://arena3-chapter1-transformer-interp.streamlit.app/
基础方向的经典 code https://github.com/sgrvinod
案例式入门深度学习，每个算法都与有最小data和code https://course.fast.ai/
EECS 498-007 / 598-005
https://web.eecs.umich.edu/~justincj/teaching/eecs498/FA2020/
https://web.eecs.umich.edu/~justincj/teaching/eecs498/FA2020/schedule.html
- 李宏毅老师的课程主页：
https://speech.ee.ntu.edu.tw/~hylee/index.php 这是李老师的个人主页，可以找到每年ML的课程主页，然后获取作业代码和Kaggle链接
- 李宏毅《机器学习》：
https://www.bilibili.com/video/BV1Ht411g7Ef
- 李宏毅机器学习笔记：
https://gitee.com/datawhalechina/leeml-notes
- 李宏毅《机器学习/深度学习》2021课程：
https://www.bilibili.com/video/BV1JA411c7VT?p=34
- 李宏毅2022课程：
https://www.bilibili.com/video/BV1JK4y1D7Wb/
李沐动手学深度学习（适合速成，打基础建议李宏毅）
李沐深度学习精读
https://github.com/mli/paper-reading
伯克利 CS 182 深度学习：深度神经网络设计、可视化与理解
Home: https://cs182sp21.github.io/
https://www.bilibili.com/video/BV1PK4y1U751
University of Waterloo CS 886: Recent Advances on Foundation Models
https://cs.uwaterloo.ca/~wenhuche/teaching/cs886/
CV相关，有关各种国外AIlab的课 某科学的计算机视觉学习路线
某科学的计算机视觉学习路线 - Zircon的文章 - 知乎 https://zhuanlan.zhihu.com/p/418853202
paper with code 做法
深度学习动手项目
小土堆 pytorch学习
https://space.bilibili.com/203989554
霹雳吧啦Wz 图像分类篇章 以及目标检测
https://space.bilibili.com/18161609/channel/collectiondetail?sid=48290
手写YOLO系列和fast rcnn系列：
https://www.bilibili.com/video/BV1JR4y1g77H
https://space.bilibili.com/472467171
学会自己训练一个esrgan等超分辨率模型
https://www.youtube.com/watch?v=iH7-eYlf7eg
超分辨率训练框架
https://github.com/muslll/neosr
手写各种论文、复现各种论文项目
手写复现各种 vit 网络
https://github.com/lucidrains/vit-pytorch
开源库/项目
OpenMMLab
paddle
https://github.com/PaddlePaddle
Deep Learning Paper Implementations
https://github.com/labmlai/annotated_deep_learning_paper_implementations
Awesome Machine Learning
https://github.com/josephmisiti/awesome-machine-learning
Awesome Deep Learning
https://github.com/ChristosChristofidis/awesome-deep-learning
【杂谈】GitHub上的机器学习/深度学习综述项目合集 - 言有三的文章 - 知乎 https://zhuanlan.zhihu.com/p/60245227
华校专，曾任阿里巴巴资深算法工程师 多年以来学习总结的笔记（机器学习和深度学习）
有关实践方法论的总结：https://www.huaxiaozhuan.com/深度学习/chapters/18_practical.html
王树森（小红书算法工程师、基础模型团队负责人）老师的推荐系统、强化学习相关课程
https://github.com/wangshusen/RecommenderSystem
https://github.com/wangshusen/DRL
数据集类网站
https://universe.roboflow.com/
NLPDataSet（ 刘聪NLP收集的各种nlp数据集，接近50个。。。）
https://github.com/liucongg/NLPDataSet
NLP Chinese Data Augmentation 一键中文数据增强工具
https://github.com/425776024/nlpcda
url_img to dataset
Easily turn large sets of image urls to an image dataset. Can download, resize and package 100M urls in 20h on one machine.
https://github.com/rom1504/img2dataset
3D感知相关
从零开始搭一套激光SLAM出来, 通过代码的角度一点一点地深入学习激光SLAM.
https://github.com/xiangli0608/Creating-2D-laser-slam-from-scratch
AIGC
不错的aigc设计资讯网
https://www.uisdc.com/category/ai
在线AI Prompt生成工具和Prompt库
该工具把 AIGC 提示词可视化，并提供在线编辑功能，动态编辑十分方便
在线体验：http://t.cn/A6N46h6p GitHub：github.com/Moonvy/OpenPromptStudio、
comfyui工作流分享网站
https://openart.ai/workflows/home?workflowSort=featured
其他
快速下载torch安装包（wget下载然后直接pip install）
https://download.pytorch.org/whl/torch/
快速备忘torch gpu安装：https://pytorch.org/get-started/previous-versions/
pip install torch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1
pip install torch==2.0.0 torchvision==0.15.1 torchaudio==2.0.1
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
xformers与pytorch版本对应
2.3.0 pip install xformers==0.0.26.post1
2.2.2 pip install xformers==0.0.25.post1
2.2.0 pip install xformers==0.0.24
2.1.2 pip install xformers==0.0.23.post1
2.1.0 pip install xformers==0.0.22.post7
孪生神经网络的相关实现：
https://blog.csdn.net/weixin_44791964/article/details/107406072
https://blog.csdn.net/lx_ros/article/details/124439120
深度学习500问
https://github.com/shliang0603/Awesome-DeepLearning-500FAQ
Gradio常见疑难解答：
如何开启多个gradio对外只有一端口？：两种方法，1、https://github.com/gradio-app/gradio/issues/2979 2、写两个新的fastapi然后把两个gradio的src mount到对应地方
深度学习的学习路线图，包含各大厂的学习资料
https://github.com/isLinXu/awesome-road-map
这个网站给出了不同模型的排名及其开源代码
pytorch底层源码解析（一个很不错的博主）
https://www.cnblogs.com/rossiXYZ/category/1626268.html?page=5
深度学习系统
ML system 入坑指南
https://zhuanlan.zhihu.com/p/608318764
微软出品 人工智能系统
https://github.com/microsoft/AI-System
《机器学习系统：设计和实现》（个人觉得很好 https://openmlsys.github.io/#
MLIR 文章视频汇总（MLIR目的是做一个通用、可复用的编译器框架
https://zhuanlan.zhihu.com/p/141256429
cmu 15-884: Machine Learning Systems
https://catalyst.cs.cmu.edu/15-884-mlsys-sp21/
CMU 10-414/714 Deep Learning Systems Algorithms and Implementation
神课，必修
https://csdiy.wiki/机器学习系统/CMU10-414/
cmu Deep Learning Systems
CSE599W system for ML
CSE 599W - Systems for ML - 辛酸阅读记录 - 清欢守护者的文章 - 知乎 https://zhuanlan.zhihu.com/p/104649426
MIT 6.5940: TinyML and Efficient Deep Learning
https://efficientml.ai/schedule/
包括模型压缩、剪枝、量化、神经架构搜索、分布式训练 、数据/模型并行化、梯度压缩等技术，以及针对大型语言模型、扩散模型的特定应用加速技术。
Programming Heterogeneous Computing Systems with GPUs and other Accelerators (227-0085-51L)
https://safari.ethz.ch/projects_and_seminars/doku.php?id=heterogeneous_systems
MiniTorch
MiniTorch is a diy teaching library for machine learning engineers who wish to learn about the internal concepts underlying deep learning systems. It is a pure Python re-implementation of the Torch API designed to be simple, easy-to-read, tested, and incremental. The final library can run Torch code.
libtorch 非官方教程
https://github.com/DataXujing/libtorch_tutorials/tree/main
深度学习部署
GiantPandaCV
国内最好的部署相关公众平台之一，涉及部署的内容比较多且硬核，五星推荐。
http://giantpandacv.com/resources/
http://giantpandacv.com/project/部署优化/
ncnn推理框架开发版测试
https://zhuanlan.zhihu.com/p/458139435
Build & Share Delightful Machine Learning Apps
Optimum :
Optimum is an extension of 🤗 Transformers that provides a set of performance optimization tools to train and run models on targeted hardware with maximum efficiency.
https://huggingface.co/docs/optimum/index
nvidia NGC docker tensorrt
https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tensorrt/tags
22.10 cuda118; 22.02版本 cuda 116 ; 21.08版本 cuda114
A tool convert TensorRT engine/plan to a fake onnx
https://github.com/triple-Mu/TensorRT2ONNX
Composer is a PyTorch library that enables you to train neural networks faster, at lower cost, and to higher accuracy.
https://github.com/mosaicml/composer
tensorrt samples学习文档
https://docs.nvidia.com/deeplearning/tensorrt/sample-support-guide/index.html#python_samples_section
mit 6.S965 course TinyML and Efficient Deep Learning Computing
推理&加速量化框架
ncnn
https://github.com/Tencent/ncnn
ncnn源码阅读学习
https://blog.csdn.net/sinat_31425585/category_9312419.html
openvino
https://space.bilibili.com/38566875
bbuf老师的onnx学习笔记
TVM官方中文手册
TVM入门笔记整理
https://github.com/JackonYang/hands-on-tvm
tensorrt 插件自生成（腾讯TPAT）
https://github.com/Tencent/TPAT
大缺弦的在线onnx转换器
很好的量化工具——PPQ
https://github.com/openppl-public/ppq
ONNX性能测试工具
https://github.com/ThanatosShinji/onnx-tool
A web-based tool for visualizing and analyzing convolutional neural network architectures (or technically, any directed acyclic graph)
https://dgschwend.github.io/netscope/quickstart.html
前端推理框架相关（还有抱抱脸的js也可以看
https://morioh.com/p/3e34a2723ab4
阿里的边缘端推理压缩量化框架
https://github.com/alibaba/TinyNeuralNetwork
Run 🤗 Transformers in your browser!
https://github.com/xenova/transformers.js
an end-to-end DynamIc Shape Compiler project for machine learning workloads
https://github.com/alibaba/BladeDISC
Tensor library for machine learning
https://github.com/ggerganov/ggml
实例参考
各种开发版的基础功能调通
https://blog.csdn.net/sxj731533730
待测试
paddle_to_openvino算子开发
https://aistudio.baidu.com/aistudio/projectdetail/5241605?channelType=0&channel=0
高性能推理，TensorRT C++/Python库，tensorrt学习参考
https://github.com/shouxieai/tensorRT_Pro
A lite C++ toolkit of awesome AI models with ONNXRuntime, NCNN, MNN and TNN. YOLOv5, YOLOX, YOLOP, YOLOv6, YOLOR, MODNet, YOLOX, YOLOv7, YOLOv8. MNN, NCNN, TNN, ONNXRuntime.
https://github.com/DefTruth/lite.ai.toolkit/blob/main/README.zh.md
onxxruntime源码带读
https://zhuanlan.zhihu.com/p/530925674
美团视觉GPU推理服务部署架构优化实践（美团关于GPU的推理部署有很多不错的文章
https://zhuanlan.zhihu.com/p/605094862
NCNN底层源码带读
https://zhuanlan.zhihu.com/p/588809520
text2vec, text to vector. 文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型，开箱即用。
https://github.com/shibing624/text2vec
ChatFlow - Personalize your ChatGPT workflows and build the road to automation
https://github.com/prompt-engineering/chat-flow
达摩院的模型库
https://www.modelscope.cn/models
trt-samples-for-hackathon-cn(面向 NVIDIA TensorRT 初学者和开发者,提供了 TensorRT 相关学习资料和参考资料、丰富的代码范例)
https://github.com/NVIDIA/trt-samples-for-hackathon-cn
how-to-optim-algorithm-in-cuda
https://github.com/BBuf/how-to-optim-algorithm-in-cuda
A repository for storing models that have been inter-converted between various frameworks. Supported frameworks are TensorFlow, PyTorch, ONNX, OpenVINO, TFJS, TFTRT, TensorFlowLite (Float32/16/INT8), EdgeTPU, CoreML
https://github.com/PINTO0309/PINTO_model_zoo
手写类课程
手写量化、剪枝、蒸馏
https://github.com/mepeichun/Efficient-Neural-Network-Bilibili
AIGC
webui的安装相关教程合集
https://cloud.tencent.com/developer/news/1033320
python
anaconda基础
- 国内的anaconda镜像下载
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
- (windows)anaconda与Jupyter notebook安装教程 (注意，powershell使用anaconda要记得init)
https://zhuanlan.zhihu.com/p/37093476
- (linux)anaconda安装教程
- 下载deb格式的anaconda安装包
- 安装后在终端使用source ~/.bashrc即可在终端看到(base)标识（不要在管理员模式下运行）
- anaconda 换源(记得更换源的时候删去default 以及备份原来的）
https://blog.csdn.net/qq_33590958/article/details/103291206
- pip -i镜像源合集（个人喜欢用百度的）
https://www.cnblogs.com/sunnydou/p/5801760.html
- 非conda pip直接换源（conf）
https://www.runoob.com/w3cnote/pip-cn-mirror.html
- requirements.txt的生成教程
https://www.cnblogs.com/lvjinfeng/articles/16333180.html
- conda与pip虚拟环境导出与转移（方便移植）
https://blog.csdn.net/weixin_42272869/article/details/122471357
- conda常见命令和疑难问题解答：
有时候你可能会遇到类似Solving environment: failed with initial frozen solve. Retrying with flexible solve.的问题，先耐心等等！让他遍历重试完各个库（我在conda安装cling的时候遇到）
如果还是有问题再按照网上的方法进行更 新conda或者重新安装conda。（或者不要在base下安装）
删除虚拟环境：conda remove -n ENV_NAME —all
conda更新：conda update anaconda
conda所有库更新：conda update --all
- 导出自己安装的那些包（freeze是全部！）：使用pipreqs库
- powershell下看不到（base）之类的虚拟库信息，显示出脚本安全问题无法启用，可在powershell管理员模式下输入
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned即可解决问题。 - 使用pip命令时，报错：_sysconfigdata_x86_64_conda_cos7_linux_gnu.py：https://blog.csdn.net/weixin_44321570/article/details/128514763
pip 下载 cache不想默认在主目录：pip config set global.cache-dir 新目录
python 生成launch.json调试配置，zpdb库 https://github.com/LYMDLUT/zpdb
awesome项目（包含了绝大部分的python相关资源）
https://github.com/vinta/awesome-python
http://jobbole.github.io/awesome-python-cn/
Python Cookbook 3rd Edition
https://python3-cookbook.readthedocs.io/zh_CN/latest/index.html
Python并行编程
https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/index.html
Python 3 标准库实例教程(真正现代、进阶的python教程
https://learnku.com/docs/pymotw
完整的Python大项目模板，如果你想实现一个包含完整的静态检查、单元测试、CI、文档的项目
https://github.com/waynerv/cookiecutter-pypackage/tree/master
pandas教程
https://pandas.pydata.org/docs/getting_started/install.html
或者可以看看datawhale的教程
Scipy Lecture Notes//Advanced Python Constructs//Advanced NumP
http://scipy-lectures.org/index.html
SICP Python 描述 中文版
https://wizardforcel.gitbooks.io/sicp-py/content/
opencv图像处理100问，可用来查缺补漏（有些格式问题但不影响
https://github.com/gzr2017/ImageProcessing100Wen
有趣的Python爬虫和Python数据分析小项目（有些方法可能因为是3年前的东西会失效
https://github.com/Alfred1984/interesting-python
requests库官方手册（交互常用，主要需理解请求头等）
https://requests.readthedocs.io/en/latest/user/quickstart/#make-a-request
实例项目等
supervisor + gunicorn + flask 高并发的接口 + 完整（标准）的日志部署
https://zhuanlan.zhihu.com/p/79227989
教你阅读 Python 开源项目代码（里面有一些基础开源项目可以参考）
https://learnku.com/articles/23010/teach-you-to-read-the-python-open-source-project-code
很不错的python状态机（可以画成图）展示工具：
https://github.com/laike9m/Cyberbrain
常见问题解答
- Python requests.exceptions.SSLError: EOF occurred in violation of protocol
python3.10开了代理request会出现类似情况，因为新的标准库更新了ssl版本，需要降低或者使用pip install urllib3==1.25.11或者request使用的代理改用
{"http": "http://122.230.151.87:35920", "https": "http://122.230.151.87:35920"}
C与汇编
翁恺的相关视频(入门和进阶)
https://www.icourse163.org/u/wengkai?userId=318013
100个GDB小技巧：
https://github.com/hellogcc/100-gdb-tips
https://wizardforcel.gitbooks.io/100-gdb-tips/content/part1.html
标准库收录网站
https://www.cplusplus.com/reference/
汇编语言在线解析网站
内联汇编学习
https://baijiahao.baidu.com/s?id=1722268508697136684
https://www.jianshu.com/p/1782e14a0766
"undefined reference to XXX"问题总结
有关硬件开发（嵌入式）的推荐个人博客列表
https://github.com/JesseGuoX/DoHard
A curated list of C good stuff.
This project does not index anything C++-related; only pure C stuff is considered.
https://github.com/sanbuphy/awesome-c
LLVM编译过程
wget https://github.com/llvm/llvm-project/releases/download/llvmorg-10.0.0/llvm-10.0.0.src.tar.xz
tar xvJf llvm-10.0.0.src.tar.xz
cd llvm-10.0.0.src
mkdir build
cd build
cmake .. -DLLVM_ENABLE_RTTI:BOOL=ON -DBUILD_SHARED_LIBS:BOOL=OFF -DCMAKE_BUILD_TYPE=Release -DLLVM_TARGETS_TO_BUILD=“X86;NVPTX” -DLLVM_ENABLE_ASSERTIONS=ON
# 如果你想在 NVIDIA Jetson TX2 上进行构建, 请使用 -DLLVM_TARGETS_TO_BUILD="ARM;NVPTX"
make -j 8
sudo make install
# 检查你安装的 LLVM 版本
llvm-config —version # 应该是 10.0.0
C语言的jupyter notebook拓展安装：
pip install jupyter-c-kernel
install_c_kernel
jupyter kernelspec list
C++
c++入门学习（看自己兴趣按需索取）
- 浙大翁恺（简单，适合快速过一遍）：https://www.bilibili.com/video/BV1dE41167hJ?p=34
- 南科大于仕琪（现代化，十分推荐）https://www.bilibili.com/video/BV1Vf4y1P7pq?p=1
- 侯捷老师视频（看完于老师可以无缝衔接，资源就不公开了，推荐看完1、2、3）
可以和c++ primer一起看的 更现代的C++教程:
c++的jupyter notebook 扩展（用来写小作业）
conda install -c conda-forge xeus-cling
conda install -c conda-forge jupyterlab
然后输入 jupyter lab 就可以看到有c11到17内核支持的了。
如果想要在vscode使用，只要复制带token的那一大串东西然后在vscode打开jupyter下面找到server连接远程即可。
c++ 在线测试：
各类语言在线解析网站，包括汇编调试和各种C++标准下的insight函数
Composer is a PyTorch library that enables you to train neural networks faster, at lower cost, and to higher accuracy.
awesome项目（包含了绝大部分的c++相关资源）
https://github.com/fffaraz/awesome-cpp
http://jobbole.github.io/awesome-python-cn/
C++查看 算法原理
https://hackingcpp.com/cpp/std/algorithms.html
cmake 快速编译安装：
前往官网下载最新发行版：https://cmake.org/download/ 然后如下运行即可：
#卸载旧版本
sudo apt-get autoremove cmake
#安装新版本
./configure
make -j20
sudo make install
#如果此时cmake --verion 没有变化或者不存在，把下面这个加入程序到环境变量即可
vim ~/.bashrc
# export PATH=/usr/local/share/cmake-3.25:$PATH
source ~/.bashrc
Modern CMake 简体中文版
https://modern-cmake-cn.github.io/Modern-CMake-zh_CN/
cmakelist生成的makefile调试用make VERBOSE=1 而不是 make -nb
cmake快速入门
https://juejin.cn/post/6844903557183832078
CMake菜谱（CMake Cookbook中文版）（面向实际应用小工具，推荐）
https://www.bookstack.cn/read/CMake-Cookbook/README.md
cmake原理及其新手入门（知乎上的不错的文章
https://zhuanlan.zhihu.com/p/620839692
C++ reference（字典）
https://en.cppreference.com/w/
c++并发编程
https://paul.pub/cpp-concurrency/
双笙子佯谬 图形学大佬，Zeno和Taichi Blend的作者（by小彭老师
https://space.bilibili.com/263032155
高性能并行编程与优化（by小彭老师
https://github.com/parallel101/course
C++ Core Guidelines
https://github.com/isocpp/CppCoreGuidelines
Google C++ Style Guide
https://google.github.io/styleguide/cppguide.html
c++手写数据库练习 CMU 15-445: Database Systems
https://csdiy.wiki/数据库系统/15445/
C++ Standard Draft Sources（一起成为语言律师）
https://github.com/cplusplus/draft
详细的C/C++编程规范指南，由360质量工程部编著，适用于桌面、服务端及嵌入式软件系统。
https://github.com/Qihoo360/safe-rules
程序可移植性保证cmake。可获取系统信息、编译器、平台、指令集等信 息。
https://www.bookstack.cn/read/CMake-Cookbook/content-chapter2-2.5-chinese.md
c++的那些事（合集了一些c++的相关小技巧和资料的开源仓库
https://github.com/Light-City/CPlusPlusThings
bazel的安装最佳实践：
官方github的release找到bash然后下载运行即可（如果安装到用户权限需要把用户的bin地址加到环境变量）
protobuf安装最佳实践（不是官网编译安装）
sudo apt install libprotobuf-dev protobuf-compiler
C++项目相关
DJI thermal analysis tool 相关教程（日文
https://qiita.com/tutu/items/b5cf2b39dd30786d9064
TinyWebServer
https://github.com/qinguoyi/TinyWebServer/tree/master
btop （实现一个硬件检测工具）
https://github.com/aristocratos/btop
内存泄露咋办？
先看监控一两周的情况。。实在不行上 ASAN Valgrind等
音视频相关
音视频原理必看国内大神-雷神
https://blog.csdn.net/leixiaohua1020/article/details/18893769
ffmpeg原理 罗上文
https://ffmpeg.xianwaizhiyin.net/cover.html
程序性能优化
性能优化实战收集（包括听风扇声音测性能）
https://github.com/plantegg/programmer_case
byte-unixbench 用于测试linux环境下的benchmark测试（包括云服务器）
https://github.com/kdlucas/byte-unixbench
学术论文
查询接受率的网站:
https://www.openresearch.org/wiki/Main_Page
LaTeX 图片转代码
https://web.baimiaoapp.com/image-to-latex
LaTeX手写字符识别（不知道字符的代码是什么的时候）
http://detexify.kirelabs.org/classify.html
LaTeX开源OCR方案
https://github.com/lukas-blecher/LaTeX-OCR
论文翻译
一文网尽CV/Robotics顶会论文常用高级词汇/句式！ by 叶小飞（推荐关注）
https://zhuanlan.zhihu.com/p/415926905
AI论文检索
AI阅读论文
其他日常使用网站
有关思维导图的代码（类似markdown）生成：
https://xzmind.xuanzi.ltd/apps.html
流程图绘制：
json可视化：
https://c.runoob.com/front-end/53/
快速文件传输（随意分享给人不用网盘）(拷贝兔也可以）
偏极客的新闻网，无广告，而且有一套防刷热度算法，也不搞推荐算法
https://news.ycombinator.com/news
快速拼接图像和其他常用图片处理工具
http://www.atoolbox.net/Tool.php?Id=978
黑白照片上色
让你“爱”上 GitHub，解决访问时图裂、加载慢的问题。（无需安装）
https://github.com/521xueweihan/GitHub520
利用学生、教职工身份可以享受到的相关学生优惠、教育优惠或教师优惠的权益合集
https://github.com/ivmm/Student-resources
免费好用的图床
pdf24 免费操作pdf文件
https://tools.pdf24.org/zh/all-tools
在线生成透明ICO图标
https://www.ico51.cn/ 或者 https://tool.lu/favicon/
数以千计的免费svg/ico图标
免费的 svg 大图图标
https://undraw.co/illustrations
svg在线编辑器
Software Download Hub 纯净的软件下载区
查看开源项目的数据以及自己的个人数据（比如年度pr数量）：
常用的在线avif格式转换器
https://convertio.co/zh/formats/avif/
在线图片批量缩放网站 birme
https://www.birme.net/?target_height=640
方便找素材的照片素材网站
https://stockup.sitebuilderreport.com/
https://www.shopify.com/stock-photos
各类开源工具收录的网站HelloGitHub
Machine Learning Engineering Online Book:
An open collection of methodologies to help with successful training of large language models and multi-modal models.
https://github.com/stas00/ml-engineering
excel表格转为markdown格式互转
https://tableconvert.com/zh-cn/excel-to-markdown#google_vignette
4k电影截图
https://highdefdiscnews.com/4k-screenshots/
arxiv 总结 推送
the latest advances in MM-LLMs.
有趣的项目
在自己电脑运行Stable Diffusion和完整项目下载
https://mp.weixin.qq.com/s/syEkqbBSmTwdi_cPB6Kd3g
StableDiffusion Int8量化教程与ONNX导出推理
https://mp.weixin.qq.com/s/18EIga7w9y1FG0oWcnysIw
ChatGPT 中文调教指南
https://github.com/PlexPt/awesome-chatgpt-prompts-zh
CodeGeeX: 多语言代码生成模型（代码生成与代码翻译）
https://github.com/THUDM/CodeGeeX/blob/main/README_zh.md
Whisper AI剪视频小工具
https://www.bilibili.com/video/BV1Pe4y1t7de/
https://github.com/mli/autocut/
“Codeium - a tool that helps developers make changes in unfamiliar languages or codebases”
https://www.codeium.com/playground
Turn your pandas dataframe into a Tableau-style User Interface for visual analysis（简单可视化数据分析）
https://github.com/Kanaries/pygwalker
利用chatgpt生成mermaid语言然后导入即可生成流程图
https://mermaid-js.github.io/mermaid-live-editor/edit
免费可用Typora Markdown
https://babudiu.com/archives/typora
Github下载很慢，用上了这个插件后，下载速度嗖嗖嗖的
https://github.com/fhefh2015/Fast-GitHub
硬盘空间分析工具spacesniffer
https://sourceforge.net/projects/spacesniffer/
开源下载工具
微软的免费用户行为洞察埋点工具
https://clarity.microsoft.com/
PPT之神
各种软件架构图
https://www.iodraw.com/template?pn=3
有趣的故事
谷歌背后的数学
https://www.changhai.org/articles/technology/misc/google_math.php
火光摇曳(数学科普) Rickjin(靳志辉) （非常好传递了统计之美）
https://uploads.cosx.org/2014/07/gamma.pdf
计算的极限
https://fwjmath.wordpress.com/recommended-list/
心理健康建设
如何在工作中学习（好的方法论）
https://plantegg.github.io/2018/05/24/如何在工作中学习V1.1/
2017年买房经历总结出来的买房购房知识
https://github.com/houshanren/hangzhou_house_knowledge
2022年杭州购房指南
github.com/zkqiang/hangzhou-house-guide
2020年11月上海购房指南
github.com/ayuer/shanghai_house_knowledge
开源工具推荐
跨平台的桌面截图 Flameshot
跨平台的类似ps的修图软件 gimp
跨平台的看图工具
最好的windows下b站下载器
https://space.bilibili.com/1608325226
windows下的bilibli视频下载器（如果要使用ffmpeg，可以下载后加入到系统path环境变量）
https://github.com/nICEnnnnnnnLee/BilibiliDown
跨平台 Fast and simple video download library and CLI tool written in Go(适合多种网站)
https://github.com/iawia002/lux
跨平台 视频硬字幕提取，生成srt文件。无需申请第三方API，本地实现文本识别。基于深度学习的视频字幕提取框架，包含字幕区域检测、字幕内容提取
https://github.com/YaoFANGUK/video-subtitle-extractor
一个跨平台的划词翻译软件pot
https://github.com/pot-app/pot-desktop
tabby 最好的开源终端之一
windows下开源录制工具Capture Screen, Audio, Cursor, Mouse Clicks and Keystrokes
https://github.com/MathewSachin/Captura
kazam ubuntu下最轻便的录制工具，可以直接apt install kazam
油管视频下载器：
https://github.com/Tyrrrz/YoutubeDownloader
https://youtubemultidownloader.net/playlists.html
最好的免费pdf处理开源程序
https://github.com/torakiki/pdfsam
开源版本的按键精灵
https://github.com/taojy123/KeymouseGo
开源视频录制、git录制
https://github.com/NickeManarin/ScreenToGif
最好的windows开源OCR软件
https://github.com/hiroi-sora/Umi-OCR
开源视频编辑器
https://github.com/OpenShot/openshot-qt/releases/tag/v3.1.1
优雅的图片浏览器
开源、重复图片和文件搜索神器
https://github.com/qarmin/czkawka/releases/tag/7.0.0
startup协作工具
Ship your startup in days,not weeks
https://shipfa.st/ 包含一切所需的前后端健权等