1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58#ifndef _SYS_UIO_INTERNAL_H_
59#define _SYS_UIO_INTERNAL_H_
60
61#include <sys/appleapiopts.h>
62
63#ifdef KERNEL_PRIVATE
64#include <sys/uio.h>
65#include <sys/malloc.h>
66
67
68
69
70
71
72
73#define UIO_USERISPACE 1
74
75#define UIO_PHYS_USERSPACE 3
76#define UIO_PHYS_SYSSPACE 4
77
78#define UIO_USERISPACE32 6
79#define UIO_PHYS_USERSPACE32 7
80
81#define UIO_USERISPACE64 9
82#define UIO_PHYS_USERSPACE64 10
83
84#define UIO_PHYS_SYSSPACE32 12
85#define UIO_SYSSPACE64 13
86#define UIO_PHYS_SYSSPACE64 14
87
88__BEGIN_DECLS
89struct user_iovec;
90
91
92struct user_iovec * uio_iovsaddr( uio_t a_uio );
93__private_extern__ void uio_calculateresid( uio_t a_uio );
94__private_extern__ void uio_setcurriovlen( uio_t a_uio, user_size_t a_value );
95
96int uio_spacetype( uio_t a_uio );
97__private_extern__ uio_t
98 uio_createwithbuffer( int a_iovcount, off_t a_offset, int a_spacetype,
99 int a_iodirection, void *a_buf_p, int a_buffer_size );
100
101
102struct kern_iovec {
103 u_int32_t iov_base;
104 u_int32_t iov_len;
105};
106
107
108struct user_iovec {
109 user_addr_t iov_base;
110 user_size_t iov_len;
111};
112
113#if 1
114#define uio_iov uio_iovs.iovp
115#define iovec_32 kern_iovec
116#define iovec_64 user_iovec
117#define iov32p kiovp
118#define iov64p uiovp
119#endif
120
121union iovecs {
122 struct iovec *iovp;
123 struct kern_iovec *kiovp;
124 struct user_iovec *uiovp;
125};
126
127
128
129struct uio {
130 union iovecs uio_iovs;
131 int uio_iovcnt;
132 off_t uio_offset;
133 int uio_resid;
134 enum uio_seg uio_segflg;
135 enum uio_rw uio_rw;
136 proc_t uio_procp;
137 user_ssize_t uio_resid_64;
138 int uio_size;
139 int uio_max_iovs;
140 u_int32_t uio_flags;
141};
142
143
144#define UIO_FLAGS_INITED 0x00000001
145#define UIO_FLAGS_WE_ALLOCED 0x00000002
146
147__END_DECLS
148
149
150
151
152
153
154#define UIO_SIZEOF( a_iovcount ) \
155 ( sizeof(struct uio) + (sizeof(struct user_iovec) * (a_iovcount)) )
156
157#define UIO_IS_64_BIT_SPACE( a_uio_t ) \
158 ( (a_uio_t)->uio_segflg == UIO_USERSPACE64 || (a_uio_t)->uio_segflg == UIO_USERISPACE64 || \
159 (a_uio_t)->uio_segflg == UIO_PHYS_USERSPACE64 || (a_uio_t)->uio_segflg == UIO_SYSSPACE64 || \
160 (a_uio_t)->uio_segflg == UIO_PHYS_SYSSPACE64 )
161
162#define UIO_IS_32_BIT_SPACE( a_uio_t ) \
163 ( (a_uio_t)->uio_segflg == UIO_USERSPACE || (a_uio_t)->uio_segflg == UIO_USERISPACE || \
164 (a_uio_t)->uio_segflg == UIO_SYSSPACE || (a_uio_t)->uio_segflg == UIO_PHYS_USERSPACE || \
165 (a_uio_t)->uio_segflg == UIO_USERISPACE32 || (a_uio_t)->uio_segflg == UIO_PHYS_USERSPACE32 || \
166 (a_uio_t)->uio_segflg == UIO_SYSSPACE32 || (a_uio_t)->uio_segflg == UIO_PHYS_SYSSPACE32 || \
167 (a_uio_t)->uio_segflg == UIO_PHYS_SYSSPACE || (a_uio_t)->uio_segflg == UIO_USERSPACE32 )
168
169#define UIO_IS_USER_SPACE32( a_uio_t ) \
170 ( (a_uio_t)->uio_segflg == UIO_USERSPACE32 || (a_uio_t)->uio_segflg == UIO_PHYS_USERSPACE32 || \
171 (a_uio_t)->uio_segflg == UIO_USERISPACE32 )
172#define UIO_IS_USER_SPACE64( a_uio_t ) \
173 ( (a_uio_t)->uio_segflg == UIO_USERSPACE64 || (a_uio_t)->uio_segflg == UIO_PHYS_USERSPACE64 || \
174 (a_uio_t)->uio_segflg == UIO_USERISPACE64 )
175#define UIO_IS_USER_SPACE( a_uio_t ) \
176 ( UIO_IS_USER_SPACE32((a_uio_t)) || UIO_IS_USER_SPACE64((a_uio_t)) || \
177 (a_uio_t)->uio_segflg == UIO_USERSPACE || (a_uio_t)->uio_segflg == UIO_USERISPACE || \
178 (a_uio_t)->uio_segflg == UIO_PHYS_USERSPACE )
179
180
181
182
183
184
185
186#if 1
187
188#define IS_UIO_USER_SPACE32( segflg ) \
189 ( (segflg) == UIO_USERSPACE32 || (segflg) == UIO_PHYS_USERSPACE32 || \
190 (segflg) == UIO_USERISPACE32 )
191#define IS_UIO_USER_SPACE64( segflg ) \
192 ( (segflg) == UIO_USERSPACE64 || (segflg) == UIO_PHYS_USERSPACE64 || \
193 (segflg) == UIO_USERISPACE64 )
194#define IS_UIO_USER_SPACE( segflg ) \
195 ( IS_UIO_USER_SPACE32((segflg)) || IS_UIO_USER_SPACE64((segflg)) || \
196 (segflg) == UIO_USERSPACE || (segflg) == UIO_USERISPACE || \
197 (segflg) == UIO_PHYS_USERSPACE )
198
199#define IS_UIO_SYS_SPACE32( segflg ) \
200 ( (segflg) == UIO_SYSSPACE32 || (segflg) == UIO_PHYS_SYSSPACE32 || \
201 (segflg) == UIO_SYSSPACE || (segflg) == UIO_PHYS_SYSSPACE )
202#define IS_UIO_SYS_SPACE64( segflg ) \
203 ( (segflg) == UIO_SYSSPACE64 || (segflg) == UIO_PHYS_SYSSPACE64 )
204#define IS_UIO_SYS_SPACE( segflg ) \
205 ( IS_UIO_SYS_SPACE32((segflg)) || IS_UIO_SYS_SPACE64((segflg)) )
206
207#define IS_OBSOLETE_UIO_SEGFLG(segflg) \
208 ( (segflg) == UIO_USERSPACE || (segflg) == UIO_USERISPACE || \
209 (segflg) == UIO_SYSSPACE || (segflg) == UIO_PHYS_USERSPACE || \
210 (segflg) == UIO_PHYS_SYSSPACE )
211#define IS_VALID_UIO_SEGFLG(segflg) \
212 ( IS_UIO_USER_SPACE((segflg)) || IS_UIO_SYS_SPACE((segflg)) )
213
214
215
216static inline int64_t uio_uio_resid( struct uio *a_uiop );
217static inline void uio_uio_resid_add( struct uio *a_uiop, int64_t a_amount );
218static inline void uio_uio_resid_set( struct uio *a_uiop, int64_t a_value );
219
220static inline void uio_iov_base_add( struct uio *a_uiop, int64_t a_amount );
221static inline void uio_iov_base_add_at( struct uio *a_uiop, int64_t a_amount, int a_index );
222static inline void uio_iov_len_add( struct uio *a_uiop, int64_t a_amount );
223static inline void uio_iov_len_add_at( struct uio *a_uiop, int64_t a_amount, int a_index );
224static inline u_int64_t uio_iov_len( struct uio *a_uiop );
225static inline u_int64_t uio_iov_len_at( struct uio *a_uiop, int a_index );
226static inline u_int64_t uio_iov_base( struct uio *a_uiop );
227static inline u_int64_t uio_iov_base_at( struct uio *a_uiop, int a_index );
228static inline void uio_next_iov( struct uio *a_uiop );
229static inline void uio_iov_len_set( struct uio *a_uiop, u_int64_t a_value );
230static inline void uio_iov_len_set_at( struct uio *a_uiop, u_int64_t a_value, int a_index );
231
232
233static inline int64_t uio_uio_resid( struct uio *a_uiop )
234{
235
236 return( (int64_t)a_uiop->uio_resid );
237}
238
239static inline void uio_uio_resid_add( struct uio *a_uiop, int64_t a_amount )
240{
241
242 a_uiop->uio_resid += ((int32_t) a_amount);
243}
244
245static inline void uio_uio_resid_set( struct uio *a_uiop, int64_t a_value )
246{
247
248 a_uiop->uio_resid = a_value;
249}
250
251static inline u_int64_t uio_iov_base( struct uio *a_uiop )
252{
253
254 return(uio_iov_base_at(a_uiop, 0));
255}
256
257static inline u_int64_t uio_iov_base_at( struct uio *a_uiop, int a_index )
258{
259
260 if (IS_UIO_USER_SPACE32(a_uiop->uio_segflg) || IS_OBSOLETE_UIO_SEGFLG(a_uiop->uio_segflg)) {
261
262 return((u_int64_t)((uintptr_t)a_uiop->uio_iovs.iov32p[a_index].iov_base));
263 }
264 if (IS_UIO_SYS_SPACE32(a_uiop->uio_segflg)) {
265 return((u_int64_t)a_uiop->uio_iovs.iov32p[a_index].iov_base);
266 }
267 if (IS_UIO_USER_SPACE64(a_uiop->uio_segflg) || IS_UIO_SYS_SPACE64(a_uiop->uio_segflg)) {
268 return(a_uiop->uio_iovs.iov64p[a_index].iov_base);
269 }
270 return(0);
271}
272
273static inline u_int64_t uio_iov_len( struct uio *a_uiop )
274{
275
276 return(uio_iov_len_at(a_uiop, 0));
277}
278
279static inline u_int64_t uio_iov_len_at( struct uio *a_uiop, int a_index )
280{
281
282 if (IS_UIO_USER_SPACE32(a_uiop->uio_segflg) ||
283 IS_UIO_SYS_SPACE32(a_uiop->uio_segflg) ||
284 IS_OBSOLETE_UIO_SEGFLG(a_uiop->uio_segflg)) {
285 return((u_int64_t)a_uiop->uio_iovs.iov32p[a_index].iov_len);
286 }
287 if (IS_UIO_USER_SPACE64(a_uiop->uio_segflg) || IS_UIO_SYS_SPACE64(a_uiop->uio_segflg)) {
288 return(a_uiop->uio_iovs.iov64p[a_index].iov_len);
289 }
290 return(0);
291}
292
293static inline void uio_iov_len_set_at( struct uio *a_uiop, u_int64_t a_value, int a_index )
294{
295
296 if (IS_UIO_USER_SPACE32(a_uiop->uio_segflg) ||
297 IS_UIO_SYS_SPACE32(a_uiop->uio_segflg) ||
298 IS_OBSOLETE_UIO_SEGFLG(a_uiop->uio_segflg)) {
299 a_uiop->uio_iovs.iov32p[a_index].iov_len = a_value;
300 }
301 else if (IS_UIO_USER_SPACE64(a_uiop->uio_segflg) || IS_UIO_SYS_SPACE64(a_uiop->uio_segflg)) {
302 a_uiop->uio_iovs.iov64p[a_index].iov_len = a_value;
303 }
304 return;
305}
306
307static inline void uio_iov_len_set( struct uio *a_uiop, u_int64_t a_value )
308{
309
310 return(uio_iov_len_set_at(a_uiop, a_value, 0));
311}
312
313static inline void uio_iov_len_add_at( struct uio *a_uiop, int64_t a_amount, int a_index )
314{
315
316 if (IS_UIO_USER_SPACE32(a_uiop->uio_segflg) ||
317 IS_UIO_SYS_SPACE32(a_uiop->uio_segflg) ||
318 IS_OBSOLETE_UIO_SEGFLG(a_uiop->uio_segflg)) {
319 a_uiop->uio_iovs.iov32p[a_index].iov_len += ((int32_t) a_amount);
320 }
321 else if (IS_UIO_USER_SPACE64(a_uiop->uio_segflg) || IS_UIO_SYS_SPACE64(a_uiop->uio_segflg)) {
322 a_uiop->uio_iovs.iov64p[a_index].iov_len += a_amount;
323 }
324 return;
325}
326
327static inline void uio_iov_len_add( struct uio *a_uiop, int64_t a_amount )
328{
329
330 return(uio_iov_len_add_at(a_uiop, a_amount, 0));
331}
332
333static inline void uio_iov_base_add_at( struct uio *a_uiop, int64_t a_amount, int a_index )
334{
335
336 if (IS_UIO_USER_SPACE32(a_uiop->uio_segflg) ||
337 IS_UIO_SYS_SPACE32(a_uiop->uio_segflg) ||
338 IS_OBSOLETE_UIO_SEGFLG(a_uiop->uio_segflg)) {
339 a_uiop->uio_iovs.iov32p[a_index].iov_base += ((int32_t) a_amount);
340 }
341 else if (IS_UIO_USER_SPACE64(a_uiop->uio_segflg) || IS_UIO_SYS_SPACE64(a_uiop->uio_segflg)) {
342 a_uiop->uio_iovs.iov64p[a_index].iov_base += a_amount;
343 }
344 return;
345}
346
347static inline void uio_iov_base_add( struct uio *a_uiop, int64_t a_amount )
348{
349
350 return(uio_iov_base_add_at(a_uiop, a_amount, 0));
351}
352
353static inline void uio_next_iov( struct uio *a_uiop )
354{
355
356 if (IS_UIO_USER_SPACE32(a_uiop->uio_segflg) ||
357 IS_UIO_SYS_SPACE32(a_uiop->uio_segflg) ||
358 IS_OBSOLETE_UIO_SEGFLG(a_uiop->uio_segflg)) {
359 a_uiop->uio_iovs.iov32p++;
360 }
361 else if (IS_UIO_USER_SPACE64(a_uiop->uio_segflg) || IS_UIO_SYS_SPACE64(a_uiop->uio_segflg)) {
362 a_uiop->uio_iovs.iov64p++;
363 }
364 return;
365}
366
367
368
369
370
371
372
373static inline void init_iovec( u_int64_t a_base,
374 u_int64_t a_len,
375 struct iovec_64 *a_iovp,
376 int is_64bit_process )
377{
378
379 if (is_64bit_process) {
380 a_iovp->iov_base = a_base;
381 a_iovp->iov_len = a_len;
382 }
383 else {
384 struct iovec_32 *a_iov32p = (struct iovec_32 *) a_iovp;
385 a_iov32p->iov_base = a_base;
386 a_iov32p->iov_len = a_len;
387 }
388 return;
389}
390
391#define INIT_UIO_BASE( uiop, iovcnt, offset, resid, rw, procp ) \
392{ \
393 (uiop)->uio_iovcnt = (iovcnt); \
394 (uiop)->uio_offset = (offset); \
395 (uiop)->uio_resid = (resid); \
396 (uiop)->uio_rw = (rw); \
397 (uiop)->uio_procp = (procp); \
398}
399#define INIT_UIO_USER32( uiop, iovp, iovcnt, offset, resid, rw, procp ) \
400{ \
401 (uiop)->uio_iovs.iov32p = (iovp); \
402 (uiop)->uio_segflg = UIO_USERSPACE; \
403 INIT_UIO_BASE((uiop), (iovcnt), (offset), (resid), (rw), (procp)); \
404}
405#define INIT_UIO_USER64( uiop, iovp, iovcnt, offset, resid, rw, procp ) \
406{ \
407 (uiop)->uio_iovs.iov64p = (iovp); \
408 (uiop)->uio_segflg = UIO_USERSPACE64; \
409 INIT_UIO_BASE((uiop), (iovcnt), (offset), (resid), (rw), (procp)); \
410}
411#define INIT_UIO_SYS32( uiop, iovp, iovcnt, offset, resid, rw, procp ) \
412{ \
413 (uiop)->uio_iovs.iov32p = (iovp); \
414 (uiop)->uio_segflg = UIO_SYSSPACE; \
415 INIT_UIO_BASE((uiop), (iovcnt), (offset), (resid), (rw), (procp)); \
416}
417#define INIT_UIO_USERSPACE( uiop, iovp, iovcnt, offset, resid, rw, procp ) \
418{ \
419 if (IS_64BIT_PROCESS((procp))) { \
420 (uiop)->uio_iovs.iov64p = (iovp); \
421 (uiop)->uio_segflg = UIO_USERSPACE64; \
422 } \
423 else { \
424 (uiop)->uio_iovs.iov32p = (struct iovec_32 *)(iovp); \
425 (uiop)->uio_segflg = UIO_USERSPACE; \
426 } \
427 INIT_UIO_BASE((uiop), (iovcnt), (offset), (resid), (rw), (procp)); \
428}
429#define INIT_UIO_SYSSPACE( uiop, iovp, iovcnt, offset, resid, rw, procp ) \
430{ \
431 if (0) { \
432 (uiop)->uio_iovs.iov64p = (iovp); \
433 (uiop)->uio_segflg = UIO_SYSSPACE64; \
434 } \
435 else { \
436 (uiop)->uio_iovs.iov32p = (struct iovec_32 *)(iovp); \
437 (uiop)->uio_segflg = UIO_SYSSPACE; \
438 } \
439 INIT_UIO_BASE((uiop), (iovcnt), (offset), (resid), (rw), (procp)); \
440}
441#endif
442
443
444#endif
445#endif
446