搜索到
6
篇与
的结果
-
-
运维知识体系总结 运维知识体系基础设施层{card-describe title="IAAS（基础设施即服务）"}公有云，私有云（OpenStack/cloudstack + KVM/XEN，oVirt), 混合云服务监控配置管理{/card-describe}{card-describe title="硬件管理"}硬件选型、配件更换、资产录入、系统安装（Cobbler)、标签化、Raid构建、远程控制（KVM，iDrac，ILO，IMM）巡检，IPMIIPMI， CMDB{/card-describe}{card-describe title="IDC托管"}需求分析，IDC选型，网络测试，谈价格，签合同，设备采购（原厂vs渠道）、机柜和机位规划巡检，IPMIIPMI， CMDB{/card-describe}{card-describe title="数据中心"}数据中心选址、制冷、供电、网络、运维风或水电基础设施监控{/card-describe}操作系统层{card-describe title="CPU"}CPU运行级别，使用率，上下文切换，运行队列，进程调度，系统调用、CPU管理（进程管理，taskset,intel vt-x)mpstat,strace{/card-describe}{card-describe title="内存"}虚拟内存，swap换入换出，内存寻址，内存管理（Buffer Cache, HugePages, ksmd, EPT)vmstat,free{/card-describe}{card-describe title="I/O磁盘"}缺页中断，IOPS（顺序IO，随机IO），IO管理（IO调度算法，virtio），VFSiostat,iotop{/card-describe}{card-describe title="I/O网络"}TCP/IP(三次握手，四次挥手，状态转换，TCP队列），IO模型, Bonding, Bridge, 网络管理（iftop, tcpdump)iftop{/card-describe}{card-describe title="内核/Shell"}内核定制、内存参数优化、脚本编程（awk, sed, shell, python, php, perl, ruby, lua)系统监控{/card-describe}容器层{card-describe title="容器编排"}Mesos(Marathon, Chronos)、Kubernetes、Docker Swarm、Rancher、CoreOS(fleet)、OpenStack(Magnum)Docker Stats, cAdvisor, DataDog, ZabbixDocker Swarm, Mesos, Kubernetes{/card-describe}{card-describe title="容器和系统"}容器（LXC, LXD, Docker, rkt） 系统（CoreOS, Atomic, RancherOS）{/card-describe}{card-describe title="网络和存储"}网络:（Calico , Flanel, Weave Net） 存储（Ceph） 镜像管理（Docker Registry, Harbor）{/card-describe}基础服务层{card-describe title="业务决策"}灰度发布、服务降级、异地灾备、数据分析平台、智能扩容决策树（需要各层支持）、智能监控zabbix， nagios，cacti， open-falcon, SensuPuppet, Chef, SaltStack, Ansible日志服务，操作审计，资源编排，运维监控服务，持续交付系统{/card-describe}{card-describe title="运维相关"}项目管理（Redmine、Jira、知识库、Bugzilla、CodeReview）、工单系统、运维操作平台、监控平台{/card-describe}{card-describe title="应用相关"}持续集成、日志收集平台（ELKStack）、自动化部署平台、Job管理（调度）平台、安全扫描平台{/card-describe}{card-describe title="系统相关"}LDAP、内部DNS、DHCP、Mail、SMS、Gitlab、Yum仓库、操作审计（xenapp）、堡垒机{/card-describe}存储层{card-describe title="文件存储"}单机存储-----块存储 - 机械硬盘、SSD、文件系统（ext4、xfs）、LVM、tmpfs单机存储扩展-----文件分发（多级分发）、文件同步（rsync、inotify）、DRBD、DAS（块存储）共享存储-----文件存储 - NAS[NFS（Unix/Linux）]、FTP、SAN、iSCSI分布式存储-----对象存储 - GlusterFS、MooseFS、Ceph、FastDFS（非对象存储）监控体系：系统监控，软件自带监控自动化/DevOps：配置管理云计算：云硬盘，对象存储{/card-describe}{card-describe title="DAL"}数据访问层：应用层分片，淘宝TDDL,开源360（Atlas），阿里（Cobar), MyCat, MySQL-Proxy, 根据业务开发监控体系同上自动化/DevOps同上云计算：数据库服务{/card-describe}{card-describe title="数据存储"}分布式缓存----Memcached、Redis（客户端分片、Redis Cluster、Twemproxy、Codis）NoSQL----Redis、LevelDB（SSDB）、CouchDB、Mongodb、Couchbase 、Cassandra、TiDB（支持MySQL协议）时间序列----RRDTool、Graphite Whisper、OpenTSDB、InfluxDB、KairosDB、ElasticSearch、HbaseRDBMS----MySQL（PXC集群、MHA）、Oracle（DG、OGG、RAC）、PostgreSQL、SqlServer、SQLite、DB2监控体系：数据库监控自动化/DevOps：数据库运维平台云计算：云数据库-RDS， Mongodb, Redis, Memcached, OceanBase大数据----Hadoop生态圈（HDFS、Hive、Hbase、Zookeeper、Pig、Spark、Impala、Kudu）、Mahout智能推荐监控体系：服务监控自动化/DevOps：Ambari, CM云计算：大数据服务{/card-describe}应用服务层{card-describe title="web服务层"}HTTP协议、Web服务器（Apache、Nginx/OpenResty、Tomcat、Resin、Jboss）安全设置、性能优化监控体系：业务监控（API），流量分析（Piwik），服务监控（API），安全监控（WAF）自动化/DevOps：配置管理-SaltStack过载保护-服务降级灰度发布-openresty项目管理-Readmine代码仓库-gitlab持续集成-Jenkins持续审查-SonarQube云计算：镜像市场{/card-describe}{card-describe title="应用服务层"}运行环境（PHP Python Java C C++）、性能优化、缓存（OPCache、LocalCache）、Session存储、代码部署云计算：各种SAAS服务{/card-describe}{card-describe title="业务层"}业务实现-API网关、302调度、业务模块化（电商例：用户、商品、购物车、结算中心、价格等服务）、微服务对应云计算的各种SAAS服务服务层-SOA框架（Dubbo）、微服务框架（istio、Spring Cloud）、协议（RPC、RESTful）、框架安全、应用性能监控对应云计算的分布式应用服务{/card-describe}{card-describe title="分布式层"}消息队列- ActiveMQ（成熟）、RabbitMQ（成熟、案例多）、RocketMQ（业务应用）、Kafka（日志传输）、ZeroMQ（快）云计算：消息队列服务{/card-describe}接入层{card-describe title="负载均衡高可用"}四层负载均衡开源：LVS（IP负载均衡）+Keepalived、Haproxy 商业：F5、Netscaler七层负载均衡反向代理：Haproxy、Nginx、Apache（根据HTTP协议支持的属性进行L7分发）、A/B Test Gateway、WAF监控体系：服务监控（API）自动化/DevOps：平台开发（LBaas）云计算： 高防IP，云负载均衡SLB，CDN服务{/card-describe}{card-describe title="反向代理缓存"}ATS、Squid、Varnish、Nginx(缓存分级、预缓存、缓存刷新）{/card-describe}网络层{card-describe title="互联层"}多机房互联（VPN，专线），异地灾备-->异地多活-->按SET部署监控体系：设备监控（zabbix snmp) 网络质量监控（Smokeping)自动化/DevOps：SDN , OpenvSwitch（GRE、Vxlan）云计算：高速通道{/card-describe}{card-describe title="核心层"}防火墙、路由器、Ipsec VPN、链路负载均衡和高可用 （CCNP级别）云计算：VPC（专有网络）{/card-describe}{card-describe title="汇聚层"}三层交换 动态路由（OSPF）、静态路由、EC（端口汇聚）、MSTP+VRRP等 （CCNP级别）云计算：VPC（专有网络）{/card-describe}{card-describe title="接入层"}二层交换 （VTP、SPF、Trunk、端口安全）等 （CCNA级别）云计算：VPC（专有网络）{/card-describe}外部层{card-describe title="外部CDN"}GSLB、反向代理缓存、分布式存储、流量调度、配置管理、用户端（各类API如：带宽监控、预缓存、缓存刷新）监控体系：舆论监控，外部网络监控，APM自动化/DevOps：基于开放API开发云计算：DNS服务，CDN服务，移动服务，云盾{/card-describe}{card-describe title="外部安全防护"}第三方安全解决方案（防DDOS、防CC攻击、WAF等）{/card-describe}客户端层{card-describe title="浏览器"}Cookie作用域、浏览器缓存协商（Last-Modified、Expires、Etag）、组件分离、前端优化、运维检测工具{/card-describe}{card-describe title="DNS"}浏览器DNS缓存、DNS缓存、自建DNS服务器、商业DNS产品、智能DNS、公共DNS（BGP anycast）、bind+DLZ/DPDK{/card-describe}{card-describe title="客户端/APP"}HTTP-DNS、打点日志、加密传输、移动推送、各类SDK（监控SDK、推流SDK等）监控体系：舆论监控，外部网络监控，APM自动化/DevOps：基于开放API开发云计算：DNS服务，CDN服务，移动服务，云盾{/card-describe}运维产品化{card-describe title="基于devops产品思路"}项目管理（类似Jira）Bug管理代码托管（类似Github）持续交付（类似Jenkins的构建、测试、部署）监控平台，看板软件定义数据中心DevOps产品{/card-describe}{card-describe title="自动化运维产品思路"}CMDBITSM管理系统（事件管理，问题管理，故障管理，工单系统）作业平台堡垒机APM私有云平台监控平台CI/CD系统运维管理产品{/card-describe}运维管理体系{card-describe title="管理相关"}ITSMITIL V3IT Service CMMSix SigmaDevOps Master项目管理（PMBok）{/card-describe}{card-describe title="架构层面"}知识体系运维方案容量规划灾备规划服务降级{/card-describe}{card-describe title="测试和开发相关"}运维协助性能测试（TCPCopy，日志转换）单机监控（nmon）环境规划（开发，测试，预生产，生产）CI（持续集成）自动化部署{/card-describe}{card-describe title="运维服务化"}Operations as a Service运维咨询运维托管技术培训应急处理产品即服务DevOps专家服务{/card-describe}自动化发展趋势{message type="success" content="标准化（文档化，流程化）->工具化（流程固化为工具）->Web化（平台化） -> 服务化（API）->智能化（自动化）->产品化（服务化，云服务、运维创业）"/}个人发展趋势{message type="success" content="打杂（小公司啥都干）->分层（应用运维、系统运维、基础运维、运维开发等）-> 场景化（分业务） -> 自动化（终极目标）"/}参考: 运维知识体系
-
运维规范总结 变更{dotted startColor="#ff6c6c" endColor="#1989fa"/}{gird column="2" gap="15"}{gird-item}{mtitle title="范围"/}上线：代码上线、回滚、扩缩容；配置：系统配置、应用配置；网络：网络割接、设备更换；其它：流量调度、服务切换、服务下线...{/gird-item}{gird-item}{mtitle title="原则"/}制定变更审核流程；制定变更相关方通知（群、邮件）；制定变更回滚策略；遵循测试、灰度、全量上线的规则；下线变更要将服务器依赖处理干净，比如说挂着vip、有域名解析。{/gird-item}{/gird}{lamp/}容灾{dotted startColor="#ff6c6c" endColor="#1989fa"/}{gird column="2" gap="15"}{gird-item}{mtitle title="范围"/}服务：多机器、多机房；数据：多备份、异地备份；网络：多线路、多设备；{/gird-item}{gird-item}{mtitle title="原则"/}自动切换 好于 手动切换；无状态 好于 有状态；热备 好于 冷备；多机房 好于 单机房。{/gird-item}{/gird}{lamp/}容量{dotted startColor="#ff6c6c" endColor="#1989fa"/}{gird column="2" gap="15"}{gird-item}{mtitle title="范围"/}系统：木桶原理计算系统的全链路容量、用量、余量；模块：模块的容量、用量、余量；机房：分机房的容量、用量、余量；单机：用于反向计算机房、模块容量{/gird-item}{gird-item}{mtitle title="原则"/}制定模块单机容量指标（比如QPS、连接数、在线用户数等）；容量要考虑下行（读）、上行（写），考虑存储增量；计算当前模块总容量，收集当前的用量，并对比容量计算余量；系统总容量可以根据木桶原理，找到短板模块后，反向计算出来{/gird-item}{/gird}{lamp/}巡检{dotted startColor="#ff6c6c" endColor="#1989fa"/}{gird column="2" gap="15"}{gird-item}{mtitle title="范围"/}用户核心指标；服务核心指标；基础资源指标：服务器；依赖资源指标：依赖db、依赖接口；自动化巡检报告；值班oncall安排；{/gird-item}{gird-item}{mtitle title="原则"/}DashBoard核心在于收敛、舍得；自动化巡检的必要性在于异常侦测，预防故障。{/gird-item}{/gird}{lamp/}告警{dotted startColor="#ff6c6c" endColor="#1989fa"/}{gird column="2" gap="15"}{gird-item}{mtitle title="范围"/}基础监控：CPU、内存、网络、IO；应用监控：进程、端口；业务监控：日志、业务埋点；依赖监控：数据库、依赖接口...{/gird-item}{gird-item}{mtitle title="原则"/}核心监控收敛成告警，并对告警进行分级，备注告警影响；核心监控形成可排查问题的DashBoard；告警的价值在于实时发现故障{/gird-item}{/gird}{lamp/}预案{dotted startColor="#ff6c6c" endColor="#1989fa"/}{gird column="2" gap="15"}{gird-item}{mtitle title="范围"/}线路切换：移动、电信、联通线路切换；机房切换：不同机房切换；机器切换：机器故障时进行摘除；服务降级：无法切换时，降低标准继续服务；数据库切换：主从切换、读写切换；网络切换：主备线路切换、链路切换；{/gird-item}{gird-item}{mtitle title="原则"/}域名切换 好于 更换IP；自动摘除 好于 手动操作；自动切换 好于 手动切换；考虑好雪崩事宜。{/gird-item}{/gird}{lamp/}故障管理{dotted startColor="#ff6c6c" endColor="#1989fa"/}{gird column="2" gap="15"}{gird-item}{mtitle title="范围"/}服务分级：确定各服务用户角度的影响；故障定级：制定故障定级标准；制定故障通知、处理规范；制定故障复盘，改进措施按时保量完成的规范；{/gird-item}{gird-item}{mtitle title="原则"/}拥抱故障，同类故障不能重复发生。实事求是，没有发生不等于不存在。{/gird-item}{/gird}{lamp/}安全{dotted startColor="#ff6c6c" endColor="#1989fa"/}{gird column="2" gap="15"}{gird-item}{mtitle title="范围"/}开发、运维、临时权限；安全上符合安全审计标准。{/gird-item}{gird-item}{mtitle title="原则"/}最小权限原则{/gird-item}{/gird}{lamp/}文档、工具{dotted startColor="#ff6c6c" endColor="#1989fa"/}{gird column="2" gap="15"}{gird-item}{mtitle title="范围"/}统一共享知识文档；统一共享各种脚本工具；{/gird-item}{gird-item}{mtitle title="原则"/}标准化，统一化理想的情况是“一站式运维平台”，一个平台涵盖所有工具操作。{/gird-item}{/gird}{lamp/}标准化{dotted startColor="#ff6c6c" endColor="#1989fa"/}{gird column="2" gap="15"}{gird-item}{mtitle title="范围"/}主机名标准化；日志存储标准化；日志格式标准化；域名使用标准化；软件安装目录结构标准化；服务及相关的组件使用命令标注化；{/gird-item}{gird-item}{mtitle title="原则"/}主机名尽量能看出更多信息，比如服务、模块、机房等；日志是排查问题的重要信息，一定要标准化，方便手工排查，更是为了以后用工具处理打下基础。{/gird-item}{/gird}{lamp/}资源管理{dotted startColor="#ff6c6c" endColor="#1989fa"/}{gird column="2" gap="15"}{gird-item}{mtitle title="范围"/}服务器vip域名证书代码k8s数据库中间件{/gird-item}{gird-item}{mtitle title="原则"/}资源之间是有关系的，要建立有关系的资源管理CMDB系统{/gird-item}{/gird}{lamp/}
-
运维工程师成长路线 三个方向{callout color="#f0ad4e"}技术+技术 ---------- 高级系统管理员技术+管理 ---------- 系统总监技术+销售 ---------- 售前或售后{/callout}实现if(有想法) { 跟着自己的想法走; } else { if(注重结果 || 希望得到社会认同 || 获得世俗成功) { it = 唐僧同志的建议; do{ it; }while(没成功); //虽然唐僧同志的回答会引起很多人不适，但对于注重结果的您来说，不适是因为你没达到。 //我也希望当初毕业的时候有唐僧同志这样的HR，来给我尚未成型的大脑洗洗脑，给我一个清晰的职业规划。 //HR是以结果论人的高手，如果你注重结果，相信他们的吧，不会有错。 } if(注重工作的过程 || 享受工作乐趣) { it = 喜欢的事; while(it == null） { find it; } just do it;//have fun^_^ } //这两个if都能进的去，不是BUG，而是这世上就有这么BUG般的存在，令人嫉妒 }
-
-
运维的价值 自己总结{alert type="info"}运维的价值，在保障业务稳定安全的运行的前提下，尽量的节省成本技术只是手段，适合业务的发展才是王道运维的好坏的评定标准运维本身不产生直接效益，运维的价值就是在保证业务安全稳定运行的前提下，尽量的节省成本对于公司来说，怎么算这笔账呢显性成本 idc成本+各种技术服务的成本 A隐性成本 故障，入侵造成的损失 B人力成本 运维的的工资奖金等 CA+B的成本 >> C 才有价值，只有这种情况下，C才有发挥的空间C的作用 使A在业务安全稳定的运行的前提下，尽量减少资源浪费 安全稳定 意味着B等于0或者值很小 根据业务要求而定减少资源浪费 资源一定的容余是必要的 但是过度的冗余就是浪费 所以说运维和运营一样，也是一个动态持续的过程。没有一劳永逸的架构，也没有一劳永逸的技术。一直在动态变化A省下的费用 + B未发生，或发生但损失可控而省下的钱 >> 远远大于C 对于企业来说就是值得的{/alert}进化运维技术变革与实践探索{message type="success" content="要点总结"/}{alert type="info"}本书核心观点，软件架构的目的，是将构建和维护所需的人力资源降到最低。全书都是围绕这句话展开的关于业务开发的要求将需求尽快发布上线以实现商业上的收益 ----->对应 专注业务需求的开发和测试角色另一大类开发中间件开发，稳定性开发，工具开发，监控，IaaS， PaaS。 甚至专注底层基础架构的内核开发，网络开发，协议开发 --->为软件生命周期中的运行维护阶段服务的作用：提升研发效率和稳定性，进而降低成本。虽然没有全部被定义为运维岗位，但本质上是跟业务软件的运行维护阶段直接相关范围一个研发团队，出去业务需求实现层面的事情，其他都是运维的范畴，实质是软件架构的范畴 -->都在为软件生命周期中的运行维护阶段服务运维能力评判标准是整体技术架构能力的体现，运维层面的爆发的问题或故障一定是因为整体技术架构中存在问题，割裂两者，单纯的看技术架构或运维都是无意义的{/alert}
