在很多情况下，比如docker里跑GPU训练、处理任务，或者是用registry作为私有容器仓库，都很容易遇到爆炸的情况
毕竟docker默认情况下，是将数据存放在/var/lib下的，占根目录的空间
收到开发反馈说这个k8s节点经常遇到临时存储不够的情况
使用ncdu / --exclude /data --exclude /mnt 在排除挂载的空间之后扫描了一下根目录下的文件，结果删除了一堆log之后，ncdu显示只用了40G，实际上用了100多个G
123456789101112131415161718192021222324252627282930313233...
langchain本身不提供大模型，提供了llms工具与其他大语言模型进行交互
设置内存缓存12345678910111213141516171819202122232425262728293031from langchain_community.cache import InMemoryCacheimport langchainfrom langchain_deepseek import ChatDeepSeekfrom dotenv import load_dotenvimport timeload_dotenv()llm = ChatDeepSeek(model="dee...
prompt template 提示模板
example selectors 示例选择器
language models 语言模型应用
output parsers 输出解析器
prompt与template最简单的使用prompt template12345678910111213141516171819from langchain_deepseek import ChatDeepSeekfrom langchain.prompts import PromptTemplatefrom dotenv import load_dotenvload_dotenv()llm = ChatD...
langchain是一个框架，用以
集成大语言模型、其他数据源（文档、数据库、应用库等）
让不同来源的数据进行交互
支持链，一连串的动作
langchain的基础数据类型
texts 自然语言交互
chat messages 特定消息分类
system：提供背景信息，告诉AI需要做什么
human：用户信息
AI：AI给出的回应
documents 文本和元数据
examples 例子（代表了函数的输入以及预期输出
langchain的组件
模型-IO输入输出
数据连接
文档加载器：加载不同来源的文档
文档转换器：拆分文档，将文档转换为QA格式等
文本嵌入模型：将非结构化的文档...
在使用kubespray安装k8s时，k8s安装过程中会自动将域名解析信息写入/etc/resolv.conf
但如果使用较新版本的ubuntu安装，由于ubuntu的dns解析是通过systemd-resolved管理的，会导致使用hostNetwork模式的pod无法通过k8s集群内部域名，比如mysql-headless.prod.svc.cluster.local:8080这样的方式来访问服务
因为
同样的，也有一些类RHEL的系统就算不使用systemd-resolved，也会使用NetworkManager来管理dns解析
所以这篇就记录下如何修改dns，...
利用SSH加密隧道，将原本不安全的网络通信封装起来，安全地穿过不可信任的网络（如互联网），实现对特定网络服务的访问或代理。
特性
本地端口转发 (-L)
远程端口转发 (-R)
动态端口转发 (-D)
命令发起端
本地客户端
本地客户端（通常在内网）
本地客户端
转发方向
本地 -> 远程网络
远程 -> 本地网络
本地 -> 任意远程
绑定目标
固定的单一目标主机和端口
固定的单一目标主机和端口
动态的，不固定目标
本质
端口映射
端口映射
SOCKS代理服务器
适用场景
从外访问内网特定服务
内网穿透，暴露本地服务
全局代理，加密所有流量...
集中认证服务器的类型
基于LDAP的集中认证系统LDAP是一种常用的集中认证方式，将信息存储在LDAP目录中，具有层次化结构，便于组织和管理大量用户数据
基于kerberos的集中认证系统kerberos是一种网络认证协议，使用票据来验证用户身份，有一个专门的kerberos服务器负责颁发和管理票据
基于OAuth或OpenID Connect的集中认证系统（互联网APP常用）用于互联网应用和云服务中的身份认证与授权。OAuth允许用户授权第三方应用访问其在另一个服务提供商上的资源OpenID Connect在OAuth基础上，提供了简单的身份验证机制
1234567891011121...
BLS是linux内核社区推出的一套标准化引导加载器配置规范，旨在统一不同linux发行版本的启动配置管理方式
在之前各个发型版本的grub文件夹都不尽相同，并且由脚本生成，管理复杂；每次更新配置文件，需要手动执行grub-mkconfig；支持加密启动配置
配置文件位于/boot/loader/entries/，每个conf都是一个模式，在系统启动时进行加载
123456789101112131415161718192021222324252627282930313233343536ls /boot/loader/entries/87db439b...
kubespray在2.28版本新增了支持纯ipv6的特性这个ipv6的ceph集群还有点问题，image无法正常映射，之后再研究
环境说明
123456789101112131415161718192021222324管理网络: 10.163.2.0/24 (eth0)k8s集群网络: 1::0/64 (eth1)k8s存储网络/ceph集群网络: 2::0/64 (eth2)k8s VIP 1::100/6410.163.2.143 1::20/64 ansible （k8s客户端机）10.163.2.102 1::1/64 2::1/64 master110.163.2.101 ...
这是有网络的情况下，如果离线环境下则需要准备对应版本的deb包手动安装
ubuntu 20.04 LTSdocker 1.28containerd 1.17k8s v1.28calico 3.28.4
环境初始化与集群部署
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596# ...
