ceph scrub

古城微笑少年丶 2022-05-29 11:48 146阅读 0赞

本文主要介绍 **ceph scrub** 和 **ceph deep scrub** 基础知识 和 部分源码。

ceph 用来保证数据完整性的机制(read verify)。 Ceph 的OSD 定期启动scrub线程来扫描部分对象，通过与其他副本比对来发现是否一致，如果存在不一致，抛出异常提示用户手动解决。

具体讲，scrub 以PG 为单位，对于每一个pg,ceph 分析该pg下所有的object, 产生一个类似于元数据信息摘要的数据结构，如对象大小，属性等，叫scrubmap, 比较主与副scrubmap，来保证是不是有object 丢失或者不匹配。

lightscrub(daily)比较object size 和属性。deep scrub (weekly)读取数据部分并通过checksum(这里是CRC32)比较保证数据一致性。

Scrub方式分成两种， classic vs. chunky

Scrub流程需要提取对象的校验信息然后跟其他副本的校验信息对比，这期间被校验对象的数据是不能被修改的,所以write请求会被block. 由于pg可能包含成千上万objects,  chunk每一次的比较只取其中一部分object来比较（chunk），这样只block一小部分object的write请求。这是在ceph的Bobtail(v0.56 Jan 1 2013)引入的feature,称为chunky scrub. Classic scrub 没有引入chunk， 会block所有的write请求。

Scrub 流程

$ cephpg scrub 2.9f9 //用户手动触发scrub

1.monitor 进程接收到此指令， in PGMonitor.ccin preprocess\_command(), monitor 给pg 所在的主osd 发消息new MOSDScrub， 指示开始干活。

2. 主osd上，\_dispatch()-->handle\_scrub()：

pg->unreg\_next\_scrub();  
pg->scrubber.must\_scrub =true; //在每 三个1秒的tick中，调用OSD::sched\_scrub(),会检查must\_scrub, 然后调用pg->sched\_scrub()  
pg->scrubber.must\_deep\_scrub = m->deep ||m->repair;  
pg->scrubber.must\_repair = m->repair;  
pg->reg\_next\_scrub();

3. 然后进入OSD::sched\_scrub() ,如何进入的？

if (!scrub\_random\_backoff()) \{  
sched\_scrub();

\} OSD::tick

4.call PG::sched\_scrub()

reserved locally, reserving replicas

最终，所有osd 都reserved成功。

sched\_scrub: success, reserved self and replicas

5.call PG::queue\_scrub()

state\_set(PG\_STATE\_SCRUBBING);

state\_set(PG\_STATE\_DEEP\_SCRUB);

osd->queue\_for\_scrub(this);--->return scrub\_wq.queue(pg); 把pg进入了scrub\_wq.

6.OSD.h scrubWQ-> \_process()--> pg->scrub()

调用chunky\_scrub(), 进入PG::Scrubber的状态机。

在scrubber 构造函数里，初始化state为INACTIVE.  
INACTIVE: scrubber.start = hobject\_t();

NEW\_CHUNK:scrubber.primary\_scrubmap= ScrubMap();

确定start和end. scrubber.end = candidate\_end;scrubber.block\_writes = true;

注意：在COMPARE\_MAPS里：scrubber.start = scrubber.end;// schedule another leg of the scrub

// walk the log to find the latest update thataffects our chunk

向replica请求scrub map.

\_request\_scrub\_map() 会newMOSDRepScrub， message 类型是MSG\_OSD\_REP\_SCRUB。看下面从osd 收到此类消息的处理。

BUILD\_MAP: build\_scrub\_map\_chunk() // scrubmap包括 object size, attr 和omap attr, 历史版本信息。

进一步call voidPGBackend::be\_scan\_list(): 调用 store->getattrs( ), 如果是deep,计算CRC32.

WAIT\_REPLICAS：通常会wait for replicas to build scrub map 从而跳出循环。等待scrubber.waiting\_on 变成零（收到replica map）

最终sub\_op\_scrub\_map 收到所有的replica\_map后， --scrubber.waiting\_on，清零。

COMPARE\_MAPS

scrub\_compare\_maps(), 1.比对scrubmap:be\_compare\_scrubmaps().2. dothe pg-type specific scrubbing:\_scrub(authmap).

然后清掉 该chunk的block\_writes

FINISH

scrub\_finish():

class ReplicatedPG 有一个 成员：object\_stat\_collection\_tscrub\_cstat

pg::\_scrub时， 统计stat

而class pg 有一个成员pginfo，记录的object number 是575.

二者信息不一致，会打印ERR.

然后调用scrub\_process\_inconsistent()

scrub\_unreserve\_replicas()

从osd 处理流程：

msgcase is MSG\_OSD\_REP\_SCRUB:

handle\_rep\_scrub() 进入rep\_scrub\_wq。

\_process() 调用pg->replica\_scrub（），做以下事情。

\*Chunky behavior:  
\*  
\* Wait for last\_update\_applied tomatch msg->scrub\_to as above. Wait  
\* for pushes（active\_pushes） to complete in case of recent recovery. Build a single  
\* scrubmap of objects that are in the range \[msg->start, msg->end).

\*/

last\_update\_applied 和 active\_pushes与recovery 流程相关。。。

\----------

在handle\_scrub时，

pg->scrubber.must\_deep\_scrub = m->deep || m->repair;  
pg->scrubber.must\_repair = m->repair;

这说明，要repair, deep\_scrub 是必须的。

===keystructure===

structScrubMap \{  
struct object \{  
uint64\_t size; //object 大小  
bool negative;  
map<string,bufferptr> attrs;  
\_\_u32 digest;  
bool digest\_present;  
uint32\_t nlinks;  
set<snapid\_t> snapcolls;  
\_\_u32 omap\_digest;  
bool omap\_digest\_present;  
bool read\_error;  
  
object() :  
// Init invalid size so it won't match if we geta stat EIO error  
size(-1), negative(false), digest(0),digest\_present(false),  
nlinks(0), omap\_digest(0),omap\_digest\_present(false),  
read\_error(false) \{\}  
  
void encode(bufferlist& bl) const;  
void decode(bufferlist::iterator& bl);  
void dump(Formatter \*f) const;  
static void generate\_test\_instances(list<object\*>&o);  
\};  
WRITE\_CLASS\_ENCODER(object)  
  
map<hobject\_t,object>objects; //scrubber.primary\_scrubmap.objects.size() = 25  
map<string,bufferptr> attrs;  
eversion\_t valid\_through;  
eversion\_t incr\_since;  
  
void merge\_incr(const ScrubMap &l);  
  
void encode(bufferlist& bl) const;  
void decode(bufferlist::iterator& bl, int64\_t pool=-1);  
void dump(Formatter \*f) const;  
static void generate\_test\_instances(list<ScrubMap\*>& o);  
\};

// -- scrub --  
struct Scrubber \{  
Scrubber() :

ScrubMap primary\_scrubmap;//主osd11  
map<pg\_shard\_t, ScrubMap> received\_maps;//副本osds