Posted on

[Golang] Goを始めたらまずはioパッケージを知るべし

Goを書いているとio.writerio.readerを扱うケースが頻繁に出てきますが、これはioパッケージが多くの他のパッケージのインターフェースになっているからなのでioパッケージを知っておくことで開発が楽になります。

参考書籍

本書はGoio.Writerio.Readerからはじまりシステムの深いところまで丁寧に説明されているのでとてもおすすめです。ioパッケージから始まっているのも納得です。Webで無料で見れますし書籍版、PDF版で購入も可能です。

Web版

https://ascii.jp/elem/000/001/235/1235262/

書籍版

ioパッケージのインターフェース一覧

ioパッケージのインターフェース一覧です。Goのインターフェースの実装は、明示的にインターフェースを明示的にimplementsせず、インターフェースを満たしていたらimplementsしていることになります。

  • Reader(インターフェース)
  • Writer(インターフェース)
  • Seeker(インターフェース)
  • Closer(インターフェース)
  • ReadWriter(複合インターフェース)
  • ReadCloser(複合インターフェース)
  • WriteCloser(複合インターフェース)
  • ReadSeeker(複合インターフェース)
  • WriteSeeker(複合インターフェース)
  • ReadWriteCloser(複合インターフェース)
  • ReadWriteSeeker(複合インターフェース)
  • ReaderFrom(インターフェース)
  • WriterTo(インターフェース)
  • ReaderAt(インターフェース)
  • WriterAt(インターフェース)
  • ByteReader(インターフェース)
  • ByteScanner(インターフェース)
  • ByteWriter(インターフェース)
  • RuneScanner(インターフェース)
  • StringWriter(インターフェース)

複合インターフェース表

Goではインターフェースにインターフェースを食わせることができ、ioパッケージで作られている複合インターフェースは以下となります。

インターフェースio.Readerio.Writerio.Seekerio.Closer
io.ReadWriter  
io.ReadSeeker  
io.ReadCloser  
io.WriteSeeker  
io.WriteCloser  
io.ReadWriteSeeker 
io.ReadWriteCloser 

インターフェースを満たしている一覧を確認する方法

以下のコマンドを叩くと対象のインターフェースを満たしているものの一覧が確認できます。

$ GOPATH=/ godoc -http ":6060" -analysis type
## 実行後以下のURLにアクセスすると`io`パッケージが確認できる
http://localhost:6060/pkg/io/

Readerのimplements一覧

テストも含んでいますが沢山あります

  • pointer type *archive/tar.Reader implements Reader
  • pointer type *archive/tar.regFileReader implements Reader
  • pointer type *archive/tar.sparseFileReader implements Reader
  • pointer type *archive/tar.testFile implements Reader
  • pointer type *archive/zip.checksumReader implements Reader
  • pointer type *archive/zip.pooledFlateReader implements Reader
  • pointer type *bufio.Reader implements Reader
  • pointer type *bufio_test.StringReader implements Reader
  • pointer type *bufio_test.emptyThenNonEmptyReader implements Reader
  • pointer type *bufio_test.errorThenGoodReader implements Reader
  • pointer type *bufio_test.negativeReader implements Reader
  • pointer type *bufio_test.rot13Reader implements Reader
  • pointer type *bufio_test.scriptedReader implements Reader
  • pointer type *bufio_test.slowReader implements Reader
  • pointer type *bufio_test.testReader implements Reader
  • pointer type *bytes.Buffer implements Reader
  • pointer type *bytes.Reader implements Reader
  • pointer type *bytes_test.negativeReader implements Reader
  • pointer type *cmd/compile/internal/gc.importReader implements Reader
  • pointer type *cmd/compile/internal/gc.intWriter implements Reader
  • pointer type *cmd/go/internal/modfile.printer implements Reader
  • pointer type *cmd/pack.FakeFile implements Reader
  • pointer type *cmd/vendor/golang.org/x/crypto/ssh/terminal.MockTerminal implements Reader
  • pointer type *compress/bzip2.reader implements Reader
  • pointer type *compress/flate.decompressor implements Reader
  • pointer type *compress/flate.sparseReader implements Reader
  • pointer type *compress/flate.syncBuffer implements Reader
  • pointer type *compress/gzip.Reader implements Reader
  • pointer type *compress/lzw.decoder implements Reader
  • pointer type *compress/zlib.reader implements Reader
  • pointer type *crypto/ecdsa.zr implements Reader
  • pointer type *crypto/rand.devReader implements Reader
  • pointer type *crypto/rand.reader implements Reader
  • pointer type *crypto/rand_test.countingReader implements Reader
  • pointer type *crypto/tls.Conn implements Reader
  • pointer type *crypto/tls.atLeastReader implements Reader
  • pointer type *crypto/tls.recordingConn implements Reader
  • pointer type *debug/elf.readSeekerFromReader implements Reader
  • pointer type *encoding/ascii85.decoder implements Reader
  • pointer type *encoding/base32.badReader implements Reader
  • pointer type *encoding/base32.decoder implements Reader
  • pointer type *encoding/base32.newlineFilteringReader implements Reader
  • pointer type *encoding/base64.decoder implements Reader
  • pointer type *encoding/base64.faultInjectReader implements Reader
  • pointer type *encoding/base64.newlineFilteringReader implements Reader
  • pointer type *encoding/binary.byteSliceReader implements Reader
  • pointer type *encoding/csv.nTimes implements Reader
  • pointer type *encoding/gob.benchmarkBuf implements Reader
  • pointer type *encoding/gob.decBuffer implements Reader
  • pointer type *encoding/hex.decoder implements Reader
  • pointer type *encoding/json.encodeState implements Reader
  • pointer type *encoding/xml.downCaser implements Reader
  • pointer type *fmt.ss implements Reader
  • pointer type *fmt.stringReader implements Reader
  • pointer type *fmt_test.eofCounter implements Reader
  • pointer type *go/types_test.gen implements Reader
  • pointer type *image/gif.blockReader implements Reader
  • pointer type *image/jpeg.eofReader implements Reader
  • pointer type *image/png.decoder implements Reader
  • pointer type *internal/poll.FD implements Reader
  • pointer type *internal/trace.Writer implements Reader
  • pointer type *internal/x/crypto/hkdf.hkdf implements Reader
  • pointer type *internal/x/text/transform.Reader implements Reader
  • pointer type *internal/x/text/unicode/norm.normReader implements Reader
  • pointer type *LimitedReader implements Reader
  • pointer type *PipeReader implements Reader
  • pointer type *SectionReader implements Reader
  • pointer type *multiReader implements Reader
  • pointer type *pipe implements Reader
  • pointer type *teeReader implements Reader
  • pointer type *io_test.Buffer implements Reader
  • pointer type *io_test.dataAndErrorBuffer implements Reader
  • pointer type *io_test.writeToChecker implements Reader
  • pointer type *math/rand.Rand implements Reader
  • pointer type *mime/multipart.Part implements Reader
  • pointer type *mime/multipart.failOnReadAfterErrorReader implements Reader
  • pointer type *mime/multipart.maliciousReader implements Reader
  • pointer type *mime/multipart.sentinelReader implements Reader
  • pointer type *mime/multipart.slowReader implements Reader
  • pointer type *mime/multipart.stickyErrorReader implements Reader
  • pointer type *mime/quotedprintable.Reader implements Reader
  • pointer type *net.Buffers implements Reader
  • pointer type *net.IPConn implements Reader
  • pointer type *net.TCPConn implements Reader
  • pointer type *net.UDPConn implements Reader
  • pointer type *net.UnixConn implements Reader
  • pointer type *net.conn implements Reader
  • pointer type *net.fakeDNSConn implements Reader
  • pointer type *net.fakeDNSPacketConn implements Reader
  • pointer type *net.netFD implements Reader
  • pointer type *net.pipe implements Reader
  • pointer type *net/http.body implements Reader
  • pointer type *net/http.bodyEOFSignal implements Reader
  • pointer type *net/http.byteReader implements Reader
  • pointer type *net/http.cancelTimerBody implements Reader
  • pointer type *net/http.connReader implements Reader
  • pointer type *net/http.delegateReader implements Reader
  • pointer type *net/http.expectContinueReader implements Reader
  • pointer type *net/http.gzipReader implements Reader
  • pointer type *net/http.http2dataBuffer implements Reader
  • pointer type *net/http.http2gzipReader implements Reader
  • pointer type *net/http.http2pipe implements Reader
  • pointer type *net/http.http2requestBody implements Reader
  • pointer type *net/http.loggingConn implements Reader
  • pointer type *net/http.maxBytesReader implements Reader
  • pointer type *net/http.persistConn implements Reader
  • pointer type *net/http.readWriteCloserBody implements Reader
  • pointer type *net/http/fcgi.writeOnlyConn implements Reader
  • pointer type *net/http/httputil.checkCloser implements Reader
  • pointer type *net/http/httputil.delegateReader implements Reader
  • pointer type *net/http/internal.chunkedReader implements Reader
  • pointer type *net/http_test.infiniteReader implements Reader
  • pointer type *net/http_test.lockedBytesBuffer implements Reader
  • pointer type *net/http_test.logWritesConn implements Reader
  • pointer type *net/http_test.repeatReader implements Reader
  • pointer type *net/http_test.slowTestConn implements Reader
  • pointer type *net/http_test.testConn implements Reader
  • pointer type *net/rpc.writeCrasher implements Reader
  • pointer type *net/textproto.dotReader implements Reader
  • pointer type *os.File implements Reader
  • pointer type *strings.Reader implements Reader
  • pointer type *testing/iotest.dataErrReader implements Reader
  • pointer type *testing/iotest.halfReader implements Reader
  • pointer type *testing/iotest.oneByteReader implements Reader
  • pointer type *testing/iotest.readLogger implements Reader
  • pointer type *testing/iotest.timeoutReader implements Reader
  • pointer type *text/scanner.StringReader implements Reader
  • pointer type *text/scanner.countReader implements Reader
  • struct type archive/tar.readBadSeeker implements Reader
  • struct type archive/tar.readSeeker implements Reader
  • struct type archive/tar.reader implements Reader
  • struct type archive/tar.testNonEmptyReader implements Reader
  • struct type archive/tar.zeroReader implements Reader
  • struct type archive/zip.zeros implements Reader
  • struct type bufio.ReadWriter implements Reader
  • struct type bufio_test.alwaysError implements Reader
  • basic type bufio_test.dataAndEOFReader implements Reader
  • struct type bufio_test.endlessZeros implements Reader
  • struct type bufio_test.errorReaderFromTest implements Reader
  • struct type bufio_test.errorWriterToTest implements Reader
  • struct type bufio_test.onlyReader implements Reader
  • struct type bufio_test.zeroReader implements Reader
  • struct type bytes_test.justReader implements Reader
  • struct type bytes_test.panicReader implements Reader
  • struct type cmd/compile/internal/gc.intReader implements Reader
  • struct type cmd/go/internal/lockedfile.File implements Reader
  • struct type cmd/go/internal/lockedfile.osFile implements Reader
  • struct type cmd/go/internal/modfetch/codehost.deleteCloser implements Reader
  • struct type cmd/internal/bio.Reader implements Reader
  • struct type cmd/link/internal/loadpe.peBiobuf implements Reader
  • struct type cmd/link/internal/loadxcoff.xcoffBiobuf implements Reader
  • basic type cmd/vendor/golang.org/x/crypto/ssh/terminal.passwordReader implements Reader
  • struct type compress/lzw.devZero implements Reader
  • struct type crypto/cipher.StreamReader implements Reader
  • struct type crypto/rand.hideAgainReader implements Reader
  • struct type crypto/tls.brokenConn implements Reader
  • struct type crypto/tls.changeImplConn implements Reader
  • struct type crypto/tls.hairpinConn implements Reader
  • chan type crypto/tls.opensslInput implements Reader
  • struct type crypto/tls.slowConn implements Reader
  • struct type crypto/tls.writeCountingConn implements Reader
  • struct type crypto/tls.zeroSource implements Reader
  • struct type crypto/tls_test.zeroSource implements Reader
  • struct type debug/elf.errorReader implements Reader
  • struct type go/build.readNopCloser implements Reader
  • struct type go/internal/gcimporter.intReader implements Reader
  • struct type eofReader implements Reader
  • struct type io/ioutil.nopCloser implements Reader
  • basic type io_test.byteAndEOFReader implements Reader
  • signature type io_test.readerFunc implements Reader
  • struct type io_test.wantedAndErrReader implements Reader
  • struct type io_test.zeroErrReader implements Reader
  • struct type math/big.byteReader implements Reader
  • struct type mime/multipart.partReader implements Reader
  • struct type mime/multipart.sectionReadCloser implements Reader
  • struct type net.dialResult implements Reader
  • basic type net.neverEnding implements Reader
  • struct type net/http.bodyLocked implements Reader
  • struct type net/http.closeChecker implements Reader
  • struct type net/http.connCloseListener implements Reader
  • struct type net/http.dumpConn implements Reader
  • struct type net/http.errorReader implements Reader
  • struct type net/http.finishAsyncByteRead implements Reader
  • struct type net/http.http2errorReader implements Reader
  • struct type net/http.http2transportResponseBody implements Reader
  • struct type net/http.noBody implements Reader
  • struct type net/http.readerAndCloser implements Reader
  • struct type net/http.socksConn implements Reader
  • struct type net/http.transferBodyReader implements Reader
  • basic type net/http/cgi.neverEnding implements Reader
  • struct type net/http/fcgi.nilCloser implements Reader
  • struct type net/http/fcgi.nopWriteCloser implements Reader
  • struct type net/http/fcgi.rwNopCloser implements Reader
  • struct type net/http/httputil.dumpConn implements Reader
  • struct type net/http/httputil.failureToReadBody implements Reader
  • basic type net/http/httputil.neverEnding implements Reader
  • struct type net/http_test.blockingRemoteAddrConn implements Reader
  • chan type net/http_test.byteFromChanReader implements Reader
  • struct type net/http_test.closeWriteTestConn implements Reader
  • struct type net/http_test.countCloseReader implements Reader
  • struct type net/http_test.countReader implements Reader
  • struct type net/http_test.delayedEOFReader implements Reader
  • struct type net/http_test.dotFileHidingFile implements Reader
  • signature type net/http_test.eofReaderFunc implements Reader
  • struct type net/http_test.errorReader implements Reader
  • struct type net/http_test.fakeFile implements Reader
  • struct type net/http_test.funcConn implements Reader
  • struct type net/http_test.issue12991File implements Reader
  • struct type net/http_test.issue18239Body implements Reader
  • basic type net/http_test.neverEnding implements Reader
  • struct type net/http_test.noteCloseConn implements Reader
  • struct type net/http_test.panicOnSeek implements Reader
  • struct type net/http_test.rwTestConn implements Reader
  • struct type net/http_test.slurpResult implements Reader
  • struct type net/http_test.testCloseConn implements Reader
  • struct type net/http_test.testErrorReader implements Reader
  • struct type net/http_test.writeCountingConn implements Reader
  • struct type net/http_test.writerFuncConn implements Reader
  • struct type net/rpc/jsonrpc.pipe implements Reader
  • struct type net/smtp.faker implements Reader
  • struct type os/exec.closeOnce implements Reader
  • struct type os/exec_test.delayedInfiniteReader implements Reader
  • basic type os_test.neverEnding implements Reader
  • struct type text/scanner.errReader implements Reader
  • interface type archive/tar.fileReader implements Reader
  • interface type cmd/pack.FileLike implements Reader
  • interface type compress/flate.Reader implements Reader
  • interface type fmt.ScanState implements Reader
  • interface type image.reader implements Reader
  • interface type image/gif.reader implements Reader
  • interface type image/jpeg.Reader implements Reader
  • interface type ReadCloser implements Reader
  • interface type ReadSeeker implements Reader
  • interface type ReadWriteCloser implements Reader
  • interface type ReadWriteSeeker implements Reader
  • interface type ReadWriter implements Reader
  • interface type mime/multipart.File implements Reader
  • interface type net.Conn implements Reader
  • interface type net/http.File implements Reader
  • interface type net/http.http2pipeBuffer implements Reader

Writerのimplements一覧

WriterはReaderに比べると少ないです。

  • pointer type *archive/tar.Writer implements Writer
  • pointer type *archive/tar.failOnceWriter implements Writer
  • pointer type *archive/tar.regFileWriter implements Writer
  • pointer type *archive/tar.sparseFileWriter implements Writer
  • pointer type *archive/tar.testFile implements Writer
  • pointer type *archive/zip.countWriter implements Writer
  • pointer type *archive/zip.fileWriter implements Writer
  • pointer type *archive/zip.pooledFlateWriter implements Writer
  • pointer type *archive/zip.rleBuffer implements Writer
  • pointer type *archive/zip.suffixSaver implements Writer
  • pointer type *bufio.Writer implements Writer
  • pointer type *bufio_test.writeCountingDiscard implements Writer
  • pointer type *bytes.Buffer implements Writer
  • pointer type *cmd/compile/internal/gc.dumper implements Writer
  • pointer type *cmd/compile/internal/gc.intWriter implements Writer
  • pointer type *cmd/compile/internal/syntax.dumper implements Writer
  • pointer type *cmd/go/internal/cache.Hash implements Writer
  • pointer type *cmd/go/internal/help.commentWriter implements Writer
  • pointer type *cmd/go/internal/help.errWriter implements Writer
  • pointer type *cmd/go/internal/list.TrackingWriter implements Writer
  • pointer type *cmd/go/internal/modfile.printer implements Writer
  • pointer type *cmd/internal/test2json.converter implements Writer
  • pointer type *cmd/link/internal/ld.OutBuf implements Writer
  • pointer type *cmd/test2json.countWriter implements Writer
  • pointer type *cmd/trace.countingWriter implements Writer
  • pointer type *cmd/vendor/golang.org/x/crypto/ssh/terminal.MockTerminal implements Writer
  • pointer type *cmd/vendor/golang.org/x/crypto/ssh/terminal.Terminal implements Writer
  • pointer type *compress/flate.Writer implements Writer
  • pointer type *compress/flate.dictWriter implements Writer
  • pointer type *compress/flate.errorWriter implements Writer
  • pointer type *compress/flate.failWriter implements Writer
  • pointer type *compress/flate.syncBuffer implements Writer
  • pointer type *compress/gzip.Writer implements Writer
  • pointer type *compress/gzip.limitedWriter implements Writer
  • pointer type *compress/lzw.encoder implements Writer
  • pointer type *compress/lzw.errWriteCloser implements Writer
  • pointer type *compress/zlib.Writer implements Writer
  • pointer type *crypto/hmac.hmac implements Writer
  • pointer type *crypto/md5.digest implements Writer
  • pointer type *crypto/sha1.digest implements Writer
  • pointer type *crypto/sha256.digest implements Writer
  • pointer type *crypto/sha512.digest implements Writer
  • pointer type *crypto/tls.Conn implements Writer
  • pointer type *crypto/tls.brokenConn implements Writer
  • pointer type *crypto/tls.changeImplConn implements Writer
  • pointer type *crypto/tls.cthWrapper implements Writer
  • pointer type *crypto/tls.finishedHash implements Writer
  • pointer type *crypto/tls.opensslOutputSink implements Writer
  • pointer type *crypto/tls.recordingConn implements Writer
  • pointer type *crypto/tls.slowConn implements Writer
  • pointer type *crypto/tls.writeCountingConn implements Writer
  • pointer type *encoding/ascii85.encoder implements Writer
  • pointer type *encoding/base32.encoder implements Writer
  • pointer type *encoding/base64.encoder implements Writer
  • pointer type *encoding/gob.encBuffer implements Writer
  • pointer type *encoding/hex.dumper implements Writer
  • pointer type *encoding/hex.encoder implements Writer
  • pointer type *encoding/json.encodeState implements Writer
  • pointer type *encoding/pem.lineBreaker implements Writer
  • pointer type *encoding/xml.limitedBytesWriter implements Writer
  • pointer type *fmt.pp implements Writer
  • pointer type *go/ast.printer implements Writer
  • pointer type *go/printer.limitWriter implements Writer
  • pointer type *go/printer.trimmer implements Writer
  • pointer type *go/types_test.gen implements Writer
  • pointer type *hash/adler32.digest implements Writer
  • pointer type *hash/crc32.digest implements Writer
  • pointer type *hash/crc64.digest implements Writer
  • pointer type *hash/fnv.sum128 implements Writer
  • pointer type *hash/fnv.sum128a implements Writer
  • pointer type *hash/fnv.sum32 implements Writer
  • pointer type *hash/fnv.sum32a implements Writer
  • pointer type *hash/fnv.sum64 implements Writer
  • pointer type *hash/fnv.sum64a implements Writer
  • pointer type *image/png.encoder implements Writer
  • pointer type *internal/poll.FD implements Writer
  • pointer type *internal/trace.Writer implements Writer
  • pointer type *internal/x/net/http2/hpack.Decoder implements Writer
  • pointer type *internal/x/text/transform.Writer implements Writer
  • pointer type *internal/x/text/unicode/norm.normWriter implements Writer
  • pointer type *PipeWriter implements Writer
  • pointer type *multiWriter implements Writer
  • pointer type *pipe implements Writer
  • pointer type *io_test.Buffer implements Writer
  • pointer type *io_test.dataAndErrorBuffer implements Writer
  • pointer type *io_test.noReadFrom implements Writer
  • pointer type *io_test.writeStringChecker implements Writer
  • pointer type *io_test.writeToChecker implements Writer
  • pointer type *log/syslog.Writer implements Writer
  • pointer type *mime/multipart.part implements Writer
  • pointer type *mime/quotedprintable.Writer implements Writer
  • pointer type *net.IPConn implements Writer
  • pointer type *net.TCPConn implements Writer
  • pointer type *net.UDPConn implements Writer
  • pointer type *net.UnixConn implements Writer
  • pointer type *net.conn implements Writer
  • pointer type *net.fakeDNSConn implements Writer
  • pointer type *net.fakeDNSPacketConn implements Writer
  • pointer type *net.netFD implements Writer
  • pointer type *net.pipe implements Writer
  • pointer type *net/http.chunkWriter implements Writer
  • pointer type *net/http.countingWriter implements Writer
  • pointer type *net/http.http2bufferedWriter implements Writer
  • pointer type *net/http.http2dataBuffer implements Writer
  • pointer type *net/http.http2pipe implements Writer
  • pointer type *net/http.http2responseWriter implements Writer
  • pointer type *net/http.loggingConn implements Writer
  • pointer type *net/http.populateResponse implements Writer
  • pointer type *net/http.response implements Writer
  • pointer type *net/http.timeoutWriter implements Writer
  • pointer type *net/http/cgi.customWriterRecorder implements Writer
  • pointer type *net/http/cgi.limitWriter implements Writer
  • pointer type *net/http/cgi.response implements Writer
  • pointer type *net/http/fcgi.response implements Writer
  • pointer type *net/http/fcgi.streamWriter implements Writer
  • pointer type *net/http/fcgi.writeOnlyConn implements Writer
  • pointer type *net/http/httptest.ResponseRecorder implements Writer
  • pointer type *net/http/httputil.maxLatencyWriter implements Writer
  • pointer type *net/http/internal.chunkedWriter implements Writer
  • pointer type *net/http_test.lockedBytesBuffer implements Writer
  • pointer type *net/http_test.logWritesConn implements Writer
  • pointer type *net/http_test.slowTestConn implements Writer
  • pointer type *net/http_test.testConn implements Writer
  • pointer type *net/http_test.writeCountingConn implements Writer
  • pointer type *net/textproto.dotWriter implements Writer
  • pointer type *os.File implements Writer
  • pointer type *os/exec.prefixSuffixSaver implements Writer
  • pointer type *os/exec_test.badWriter implements Writer
  • pointer type *strings.Builder implements Writer
  • pointer type *strings.appendSliceWriter implements Writer
  • pointer type *testing/iotest.truncateWriter implements Writer
  • pointer type *testing/iotest.writeLogger implements Writer
  • pointer type *text/tabwriter.Writer implements Writer
  • pointer type *text/tabwriter_test.buffer implements Writer
  • struct type archive/tar.testNonEmptyWriter implements Writer
  • struct type archive/tar.zeroWriter implements Writer
  • struct type archive/zip.dirWriter implements Writer
  • struct type archive/zip.fakeHash32 implements Writer
  • struct type archive/zip.nopCloser implements Writer
  • struct type bufio.ReadWriter implements Writer
  • struct type bufio_test.errorReaderFromTest implements Writer
  • struct type bufio_test.errorWriterTest implements Writer
  • struct type bufio_test.errorWriterToTest implements Writer
  • struct type bufio_test.onlyWriter implements Writer
  • struct type bytes_test.justWriter implements Writer
  • struct type cmd/go/internal/lockedfile.File implements Writer
  • struct type cmd/go/internal/lockedfile.osFile implements Writer
  • struct type cmd/go/internal/modfetch/codehost.deleteCloser implements Writer
  • struct type cmd/go/internal/test.lockedStdout implements Writer
  • struct type cmd/internal/bio.Writer implements Writer
  • struct type cmd/internal/bio.mustWriter implements Writer
  • struct type cmd/vendor/github.com/google/pprof/internal/graph.builder implements Writer
  • struct type crypto/cipher.StreamWriter implements Writer
  • struct type crypto/tls.hairpinConn implements Writer
  • struct type encoding/csv.errorWriter implements Writer
  • struct type encoding/xml.errWriter implements Writer
  • struct type encoding/xml.printer implements Writer
  • struct type image/gif.blockWriter implements Writer
  • basic type io/ioutil.devNull implements Writer
  • struct type io_test.errWriter implements Writer
  • struct type io_test.simpleWriter implements Writer
  • signature type io_test.writerFunc implements Writer
  • struct type net.dialResult implements Writer
  • struct type net.writerOnly implements Writer
  • struct type net/http.bufioFlushWriter implements Writer
  • struct type net/http.checkConnErrorWriter implements Writer
  • struct type net/http.connCloseListener implements Writer
  • struct type net/http.dumpConn implements Writer
  • map type net/http.headerOnlyResponseWriter implements Writer
  • struct type net/http.http2chunkWriter implements Writer
  • struct type net/http.http2stickyErrWriter implements Writer
  • struct type net/http.persistConnWriter implements Writer
  • struct type net/http.readWriteCloserBody implements Writer
  • struct type net/http.socksConn implements Writer
  • signature type net/http.writerFunc implements Writer
  • struct type net/http.writerOnly implements Writer
  • struct type net/http/fcgi.bufWriter implements Writer
  • struct type net/http/fcgi.nilCloser implements Writer
  • struct type net/http/fcgi.nopWriteCloser implements Writer
  • struct type net/http/fcgi.rwNopCloser implements Writer
  • struct type net/http/httputil.dumpConn implements Writer
  • struct type net/http/internal.FlushAfterChunkWriter implements Writer
  • struct type net/http_test.blockingRemoteAddrConn implements Writer
  • chan type net/http_test.chanWriter implements Writer
  • struct type net/http_test.closeWriteTestConn implements Writer
  • struct type net/http_test.funcConn implements Writer
  • signature type net/http_test.funcWriter implements Writer
  • struct type net/http_test.http09Writer implements Writer
  • struct type net/http_test.logWrites implements Writer
  • struct type net/http_test.noteCloseConn implements Writer
  • struct type net/http_test.responseWriterJustWriter implements Writer
  • struct type net/http_test.rwTestConn implements Writer
  • struct type net/http_test.terrorWriter implements Writer
  • struct type net/http_test.testCloseConn implements Writer
  • struct type net/http_test.writerFuncConn implements Writer
  • struct type net/rpc.writeCrasher implements Writer
  • struct type net/rpc/jsonrpc.pipe implements Writer
  • struct type net/smtp.dataCloser implements Writer
  • struct type net/smtp.faker implements Writer
  • struct type os/exec.closeOnce implements Writer
  • struct type strings_test.errWriter implements Writer
  • struct type testing.discard implements Writer
  • signature type testing.funcWriter implements Writer
  • struct type testing.indenter implements Writer
  • struct type text/tabwriter_test.panicWriter implements Writer
  • basic type text/template.ErrorWriter implements Writer
  • interface type archive/tar.fileWriter implements Writer
  • interface type cmd/compile/internal/ssa.writeSyncer implements Writer
  • interface type cmd/link/internal/wasm.nameWriter implements Writer
  • interface type crypto/tls.constantTimeHash implements Writer
  • interface type fmt.State implements Writer
  • interface type hash.Hash implements Writer
  • interface type hash.Hash32 implements Writer
  • interface type hash.Hash64 implements Writer
  • interface type image/gif.writer implements Writer
  • interface type image/jpeg.writer implements Writer
  • interface type ReadWriteCloser implements Writer
  • interface type ReadWriteSeeker implements Writer
  • interface type ReadWriter implements Writer
  • interface type WriteCloser implements Writer
  • interface type WriteSeeker implements Writer
  • interface type net.Conn implements Writer
  • interface type net/http.ResponseWriter implements Writer
  • interface type net/http.http2pipeBuffer implements Writer
  • interface type net/http/httputil.writeFlusher implements Writer

ioパッケージのパブリックメソッドを叩いてみる

ioパッケージにはインターフェース以外に実装されている関数があるので叩いてみました。

WriteString

writerに文字列を書き込む

func WriteString() string {
    file, _ := os.Create("testdata/src.txt")
    _, _ = io.WriteString(file, "0123456789")
    b, _ := ioutil.ReadFile("testdata/src.txt")
    return string(b)
}
WriteStringのテスト
func TestWriteString(t *testing.T) {
    str := WriteString()
    if str != "0123456789" {
        t.Errorf("WriteString Error %s", str)
    }
}

ReadAtLeast

指定した値は最低限読み込みバッファー分すべて読み込む(パッケージ内部では使われていますが結構ニッチな機能)

func ReadAtLeast(b int, min int) (string, error) {
    file, _ := os.Open("testdata/src.txt")
    buf := make([]byte, b)
    n, err := io.ReadAtLeast(file, buf, min)
    return string(buf[:n]), err
}
ReadAtLeastのテスト
func TestReadAtLeast(t *testing.T) {
    str, _ := ReadAtLeast(5, 2)
    if str != "01234" {
        t.Errorf("TestReadAtLeast Error %s", str)
    }
}

確保するバッファーよりも最低限読み込むバッファーの方が大きい場合はshort bufferエラーとなる

func TestReadAtLeast_shortBuffer(t *testing.T) {
    _, err := ReadAtLeast(1, 2)
    if err.Error() != "short buffer" {
        t.Errorf("TestReadAtLeast Error %s", err.Error())
    }
}

読み込む対象のバッファーより最低限読み込むバッファーの方が大きい場合はunexpected EOFエラーがとなる

func TestReadAtLeast_unexpectedEOF(t *testing.T) {
    _, err := ReadAtLeast(20, 15)
    if err.Error() != "unexpected EOF" {
        t.Errorf("TestReadAtLeast Error %s", err.Error())
    }
}

ReadFull

指定したバッファー分すべて読み込む

func ReadFull() string {
    file, _ := os.Open("testdata/src.txt")
    buf := make([]byte, 5)
    n, _ := io.ReadFull(file, buf)
    return string(buf[:n])
}
ReadFullのテスト
func TestReadFull(t *testing.T) {
    str := ReadFull()
    if str != "01234" {
        t.Errorf("TestReadFull Error %s", str)
    }
}

CopyN

writerへ指定した値をコピーする

func CopyN() string {
    srcFile, _ := os.Open("testdata/src.txt")
    dstFile, _ := os.Create("testdata/dst.txt")
    written, _ := io.CopyN(dstFile, srcFile, 5)
    file, _ := os.Open("testdata/dst.txt")
    buf := make([]byte, written)
    n, _ := file.Read(buf)
    return string(buf[:n])
}
CopyNのテスト
func TestCopyN(t *testing.T) {
    str := CopyN()
    if str != "01234" {
        t.Errorf("TestCopyN Error %s", str)
    }
}

Copy

readerをwriterにコピーする

func Copy() string {
    srcFile, _ := os.Open("testdata/src.txt")
    dstFile, _ := os.Create("testdata/dst.txt")
    written, _ := io.Copy(dstFile, srcFile)
    buf := make([]byte, written)
    file, _ := os.Open("testdata/dst.txt")
    n, _ := file.Read(buf)
    return string(buf[:n])
}
Copyのテスト
func TestCopy(t *testing.T) {
    str := Copy()
    if str != "0123456789" {
        t.Errorf("TestCopy Error %s", str)
    }
}

CopyBuffer

readerをwriterに指定したバッファー分コピーする

func CopyBuffer() string {
    srcFile, _ := os.Open("testdata/src.txt")
    dstFile, _ := os.Create("testdata/dst.txt")
    written, _ := io.CopyBuffer(dstFile, srcFile, make([]byte, 5))
    buf := make([]byte, written)
    file, _ := os.Open("testdata/dst.txt")
    n, _ := file.Read(buf)
    return string(buf[:n])
}
CopyBufferのテスト
func TestCopyBuffer(t *testing.T) {
    str := CopyBuffer()
    if str != "0123456789" {
        t.Errorf("TestCopyBuffer Error %s", str)
    }
}

LimitReaderRead

値を制限したreaderを取得する

func LimitReaderRead() string {
    srcFile, _ := os.Open("testdata/src.txt")
    limitedReader := io.LimitedReader{srcFile, 5}
    buf := make([]byte, 3)
    n, _ := limitedReader.Read(buf)
    return string(buf[:n])
}

値を制限したreaderを取得し読み込む

func LimitReaderRead2() string {
    srcFile, _ := os.Open("testdata/src.txt")
    limitedReader := io.LimitedReader{srcFile, 5}
    buf := make([]byte, 8)
    n, _ := limitedReader.Read(buf)
    return string(buf[:n])
}
LimitReaderReadのテスト
func TestLimitReaderRead(t *testing.T) {
    str := LimitReaderRead()
    if str != "012" {
        t.Errorf("TestLimitReaderRead Error %s" , str)
    }
}
func TestLimitReaderRead2(t *testing.T) {
    str := LimitReaderRead2()
    if str != "01234" {
        t.Errorf("TestLimitReaderRead Error %s" , str)
    }
}

SectionReaderRead

指定した値でセクション分けしたreaderを取得し読み込む

func SectionReaderRead() string {
    file, _ := os.Open("testdata/src.txt")
    sectionReader := io.NewSectionReader(file, 3, 5)
    buf := make([]byte, 3)
    n, _ := sectionReader.Read(buf)
    return string(buf[:n])
}
SectionReaderReadのテスト
func TestSectionReaderRead(t *testing.T) {
    str := SectionReaderRead()
    if str != "345" {
        t.Errorf("TestSectionReaderRead Error %s", str)
    }
}

SectionReaderSeek

セクションリーダーの読み込み位置を変更する

func SectionReaderSeek() string {
    file, _ := os.Open("testdata/src.txt")
    sectionReader := io.NewSectionReader(file, 5, 10)
    buf := make([]byte, 3)
    n, _ := sectionReader.Read(buf)
    _, _ = sectionReader.Seek(0, 0)
    return string(buf[:n])
}
SectionReaderSeekのテスト
func TestSectionReaderSeek(t *testing.T) {
    str := SectionReaderSeek()
    if str != "567" {
        t.Errorf("TestSectionReaderSeek Error %s", str)
    }
}

SectionReaderReadAt

セクションリーダーを指定した位置から読み込む

func SectionReaderReadAt() string {
    file, _ := os.Open("testdata/src.txt")
    sectionReader := io.NewSectionReader(file, 5, 10)
    buf := make([]byte, 3)
    n, _ := sectionReader.ReadAt(buf, 2)
    return string(buf[:n])
}

SectionReaderReadAtのテスト

func TestSectionReaderReadAt(t *testing.T) {
    str := SectionReaderReadAt()
    if str != "789" {
        t.Errorf("TestSectionReaderReadAt Error %s", str)
    }
}

SectionReaderSize

セクションリーダーのサイズを取得する

func SectionReaderSize() int64 {
    file, _ := os.Open("testdata/src.txt")
    sectionReader := io.NewSectionReader(file, 5, 9)
    return sectionReader.Size()
}
SectionReaderSizeのテスト
func TestSectionReaderSize(t *testing.T) {
    size := SectionReaderSize()
    if size != 9 {
        t.Errorf("TestSectionReaderSize Error %d", size)
    }
}

TeeReaderRead

readerとwriterを渡しておいて読み込んだら同時にwriterにも書き込む

func TeeReaderRead() string {
    srcFile, _ := os.Open("testdata/src.txt")
    dstFile, _ := os.Create("testdata/dst.txt")
    teeReader := io.TeeReader(srcFile, dstFile)
    buf := make([]byte, 3)
    _, _ = teeReader.Read(buf)
    dstFile2, _ := os.Open("testdata/dst.txt")
    n, _ := dstFile2.Read(buf)
    return string(buf[:n])
}
TeeReaderReadのテスト
func TestTeeReaderRead(t *testing.T) {
    str := TeeReaderRead()
    if str != "012" {
        t.Errorf("TestTeeReaderRead Error %s", str)
    }
}

※ 他にもMultiWriterPipeもありますが省略してます

ソースコード

本記事のソースコード

taisa831/sandbox-go

You can’t perform that action at this time. You signed in with another tab or window. You signed out in another tab or window. Reload to refresh your session. Reload to refresh your session.

コピペ実行用ソース

以下をファイルにコピペすればすぐ実行できます

実装

package io
import (
    "io"
    "io/ioutil"
    "os"
)
// writerに文字列を書き込む
func WriteString() string {
    file, _ := os.Create("testdata/src.txt")
    _, _ = io.WriteString(file, "0123456789")
    b, _ := ioutil.ReadFile("testdata/src.txt")
    return string(b)
}
// 指定した値は最低限読み込みバッファー分すべて読み込む
func ReadAtLeast(b int, min int) (string, error) {
    file, _ := os.Open("testdata/src.txt")
    buf := make([]byte, b)
    n, err := io.ReadAtLeast(file, buf, min)
    return string(buf[:n]), err
}
// 指定したバッファー分すべて読み込む
func ReadFull() string {
    file, _ := os.Open("testdata/src.txt")
    buf := make([]byte, 5)
    n, _ := io.ReadFull(file, buf)
    return string(buf[:n])
}
// writerへ指定した値をコピーする
func CopyN() string {
    srcFile, _ := os.Open("testdata/src.txt")
    dstFile, _ := os.Create("testdata/dst.txt")
    written, _ := io.CopyN(dstFile, srcFile, 5)
    file, _ := os.Open("testdata/dst.txt")
    buf := make([]byte, written)
    n, _ := file.Read(buf)
    return string(buf[:n])
}
// readerをwriterにコピーする
func Copy() string {
    srcFile, _ := os.Open("testdata/src.txt")
    dstFile, _ := os.Create("testdata/dst.txt")
    written, _ := io.Copy(dstFile, srcFile)
    buf := make([]byte, written)
    file, _ := os.Open("testdata/dst.txt")
    n, _ := file.Read(buf)
    return string(buf[:n])
}
// readerをwriterに指定したバッファー分コピーする
func CopyBuffer() string {
    srcFile, _ := os.Open("testdata/src.txt")
    dstFile, _ := os.Create("testdata/dst.txt")
    written, _ := io.CopyBuffer(dstFile, srcFile, make([]byte, 5))
    buf := make([]byte, written)
    file, _ := os.Open("testdata/dst.txt")
    n, _ := file.Read(buf)
    return string(buf[:n])
}
// 値を制限したreaderを取得する
func LimitReaderRead() string {
    srcFile, _ := os.Open("testdata/src.txt")
    limitedReader := io.LimitedReader{srcFile, 5}
    buf := make([]byte, 3)
    n, _ := limitedReader.Read(buf)
    return string(buf[:n])
}
// 値を制限したreaderを取得し読み込む
func LimitReaderRead2() string {
    srcFile, _ := os.Open("testdata/src.txt")
    limitedReader := io.LimitedReader{srcFile, 5}
    buf := make([]byte, 8)
    n, _ := limitedReader.Read(buf)
    return string(buf[:n])
}
// 指定した値でセクション分けしたreaderを取得し読み込む
func SectionReaderRead() string {
    file, _ := os.Open("testdata/src.txt")
    sectionReader := io.NewSectionReader(file, 3, 5)
    buf := make([]byte, 3)
    n, _ := sectionReader.Read(buf)
    return string(buf[:n])
}
// セクションリーダーの読み込み位置を変更する
func SectionReaderSeek() string {
    file, _ := os.Open("testdata/src.txt")
    sectionReader := io.NewSectionReader(file, 5, 10)
    buf := make([]byte, 3)
    n, _ := sectionReader.Read(buf)
    _, _ = sectionReader.Seek(0, 0)
    return string(buf[:n])
}
// セクションリーダーを指定した位置から読み込む
func SectionReaderReadAt() string {
    file, _ := os.Open("testdata/src.txt")
    sectionReader := io.NewSectionReader(file, 5, 10)
    buf := make([]byte, 3)
    n, _ := sectionReader.ReadAt(buf, 2)
    return string(buf[:n])
}
// セクションリーダーのサイズを取得する
func SectionReaderSize() int64 {
    file, _ := os.Open("testdata/src.txt")
    sectionReader := io.NewSectionReader(file, 5, 9)
    return sectionReader.Size()
}
// readerとwriterを渡しておいて読み込んだら同時にwriterにも書き込む
func TeeReaderRead() string {
    srcFile, _ := os.Open("testdata/src.txt")
    dstFile, _ := os.Create("testdata/dst.txt")
    teeReader := io.TeeReader(srcFile, dstFile)
    buf := make([]byte, 3)
    _, _ = teeReader.Read(buf)
    dstFile2, _ := os.Open("testdata/dst.txt")
    n, _ := dstFile2.Read(buf)
    return string(buf[:n])
}

テスト

package io
import (
    "testing"
)
func TestWriteString(t *testing.T) {
    str := WriteString()
    if str != "0123456789" {
        t.Errorf("WriteString Error %s", str)
    }
}
func TestReadAtLeast(t *testing.T) {
    str, _ := ReadAtLeast(5, 2)
    if str != "01234" {
        t.Errorf("TestReadAtLeast Error %s", str)
    }
}
func TestReadAtLeast_shortBuffer(t *testing.T) {
    _, err := ReadAtLeast(1, 2)
    if err.Error() != "short buffer" {
        t.Errorf("TestReadAtLeast Error %s", err.Error())
    }
}
func TestReadAtLeast_unexpectedEOF(t *testing.T) {
    _, err := ReadAtLeast(20, 15)
    if err.Error() != "unexpected EOF" {
        t.Errorf("TestReadAtLeast Error %s", err.Error())
    }
}
func TestReadFull(t *testing.T) {
    str := ReadFull()
    if str != "01234" {
        t.Errorf("TestReadFull Error %s", str)
    }
}
func TestCopyN(t *testing.T) {
    str := CopyN()
    if str != "01234" {
        t.Errorf("TestCopyN Error %s", str)
    }
}
func TestCopy(t *testing.T) {
    str := Copy()
    if str != "0123456789" {
        t.Errorf("TestCopy Error %s", str)
    }
}
func TestCopyBuffer(t *testing.T) {
    str := CopyBuffer()
    if str != "0123456789" {
        t.Errorf("TestCopyBuffer Error %s", str)
    }
}
func TestLimitReaderRead(t *testing.T) {
    str := LimitReaderRead()
    if str != "012" {
        t.Errorf("TestLimitReaderRead Error %s" , str)
    }
}
func TestLimitReaderRead2(t *testing.T) {
    str := LimitReaderRead2()
    if str != "01234" {
        t.Errorf("TestLimitReaderRead Error %s" , str)
    }
}
func TestSectionReaderRead(t *testing.T) {
    str := SectionReaderRead()
    if str != "345" {
        t.Errorf("TestSectionReaderRead Error %s", str)
    }
}
func TestSectionReaderSeek(t *testing.T) {
    str := SectionReaderSeek()
    if str != "567" {
        t.Errorf("TestSectionReaderSeek Error %s", str)
    }
}
func TestSectionReaderReadAt(t *testing.T) {
    str := SectionReaderReadAt()
    if str != "789" {
        t.Errorf("TestSectionReaderReadAt Error %s", str)
    }
}
func TestSectionReaderSize(t *testing.T) {
    size := SectionReaderSize()
    if size != 9 {
        t.Errorf("TestSectionReaderSize Error %d", size)
    }
}
func TestTeeReaderRead(t *testing.T) {
    str := TeeReaderRead()
    if str != "012" {
        t.Errorf("TestTeeReaderRead Error %s", str)
    }
}
Posted on

[Golang]Goのio/ioutilパッケージは分かりやすくて使いやすい

Goのioパッケージは主にインターフェースになっていて他のパッケージで多く実装されています。またioパッケージにもパブリックな関数がありファイルの入出力はできますが少し細かい処理になります。io/ioutilパッケージを使うとファイルの入出力処理が簡単にできます。以下にio/ioutilパッケージを使った処理とそれに対するテストコードを記載します。

io/ioutil/ioutil.go

ReadAll()

func ReadAll() string {
    file, _ := os.Open("testdata/src.txt")
    b, _ := ioutil.ReadAll(file)
    return string(b)
}

ReadAllテスト

func TestReadAll(t *testing.T) {
    str := ReadAll()
    if str != "0123456789" {
        t.Errorf("TestReadAll Error. %s", str)
    }
}

ReadFile()

func ReadFile() string {
    b, _ := ioutil.ReadFile("testdata/src.txt")
    return string(b)
}

ReadFileテスト

func TestReadFile(t *testing.T) {
    str := ReadFile()
    if str != "0123456789" {
        t.Errorf("TestReadAll Error. %s", str)
    }
}

WriteFile()

func WriteFile() string {
    b := []byte("0123456789")
    _ = ioutil.WriteFile("testdata/dst.txt", b, os.ModePerm)
    b, _ = ioutil.ReadFile("testdata/dst.txt")
    return string(b)
}

WriteFileテスト

func TestWriteFile(t *testing.T) {
    str := WriteFile()
    if str != "0123456789" {
        t.Errorf("TestReadAll Error. %s", str)
    }
}

ReadDir()

func ReadDir() []os.FileInfo {
    fileInfo, _ := ioutil.ReadDir("testdata")
    return fileInfo
}

ReadDirテスト

func TestReadDir(t *testing.T) {
    fileInfoList := ReadDir()
    for _, fileInfo := range fileInfoList {
        if !(fileInfo.Name() == "src.txt" || fileInfo.Name() == "dst.txt") {
            t.Errorf("TestReadDir Error. %s", fileInfo.Name())
        }
    }
}

NopCloser Close()

NopCloserreaderインターフェースしかなく、closerを持っていない場合にダミーでcloserインターフェースを追加することができます。NopCloserClose()は何もしません。

func NopCloserClose() error {
    reader := bytes.NewBufferString("test")
    readCloser := ioutil.NopCloser(reader)
    return readCloser.Close()
}

NopCloser Closeテスト

func TestNopCloserClose(t *testing.T) {
    if NopCloserClose() != nil {
        t.Errorf("TestNopCloserClose Error. %v", NopCloserClose())
    }
}

DevNull Write()

DevNullを使うと吐き捨て用のWriterを利用することができます。Writeの他にもWriteStringReadFrom関数が用意されているのですが、今の所Writeしか呼び出すことができません(叩き方がわかりません)。これについては気になったのでWriteStringReadFromも叩けるようにGo本体にコードを変更してコントリビュートしてみたのですが、あえなくNGをくらいました。有り難いことに金曜日夕方にリクエストして夜には返信が来たのでレスポンスは早かったです。

Sorry, but we don’t want new public API here.
The type doesn’t need to be exported in order to implement WriteString, etc.
https://go-review.googlesource.com/c/go/+/203377
func DevNullWrite() int {
    writer := ioutil.Discard
    n, _ := writer.Write(make([]byte, 1024))
    return n
}

DevNull Writeテスト

func TestDevNullWrite(t *testing.T) {
    if DevNullWrite() != 1024 {
        t.Errorf("TestDevNullWrite Error. %v", DevNullWrite())
    }
}

Go本体へコントリビュートするにはGerritを使う必要があるのですが、本家のドキュメントがしっかりしているのと、日本語でも「Go にコントリビュートするまでの手順」という記事を公開してくれているので比較的すんなり行うことができました。

Contribution Guide

The Go project welcomes all contributors. This document is a guide to help you through the process of contributing to the Go project, which is a little different from that used by other open source projects. We assume you have a basic understanding of Git and Go.

Go にコントリビュートするまでの手順 – blog.syfm

最近、ついに Go ( golang/go) にコントリビュートしました! 正確にはレビュー中で、レビューが通ってもマージされるのは Go 1.10 なので、だいぶ先は長いですが取り敢えず自分のできることは一通り終わりました。 Go ではレビューシステムに GitHub は使っておらず、代わりに Google が開発した Gerrit を使っています。 普段の GitHub を利用したフローと結構異なっていたので備忘録がてらブログに書いておこうと思います。

io/ioutil/tempfile.go

TempFile()

func TempFile() *os.File {
    f , _ := ioutil.TempFile("testdata/tempfile", "test")
    return f
}

TempFileテスト

func TestTempFile(t *testing.T) {
    f := TempFile()
    if f.Name() == "" {
        t.Errorf("TestTempFile error %s", f.Name())
    }
    defer os.RemoveAll("testdata/tempfile")
}

TempDir()

func TempDir() string {
    name, _ := ioutil.TempDir("testdata", "test")
    return name
}

TempDirテスト

func TestTempDir(t *testing.T) {
    name := TempDir()
    if name == "" {
        t.Errorf("TestTempDir error %s", name)
    }
    fileInfoList, _ := ioutil.ReadDir("testdata")
    for _, fileInfo := range fileInfoList {
        if fileInfo.IsDir() {
            os.RemoveAll("testdata/" + fileInfo.Name())
        }
    }
}

ソースコード

taisa831/sandbox-go

You can’t perform that action at this time. You signed in with another tab or window. You signed out in another tab or window. Reload to refresh your session. Reload to refresh your session.

参考書籍

本書はGoio.Writerio.Readerからはじまりシステムの深いところまで丁寧に説明されているのでとてもおすすめです。Webで無料で見れますし書籍版、PDF版で購入も可能です。

Web版

Goならわかるシステムプログラミング

書籍版

Posted on

Golang 1.13 released! The difference from 1.12 to 1.13

Golang 1.13 was released in 3 September 2019. This post has difference from 1.12 to 1.13. I check the changes at the release notes and difference of src.

Release Notes

Go 1.13 Release Notes

The latest Go release, version 1.13, arrives six months after Go 1.12. Most of its changes are in the implementation of the toolchain, runtime, and libraries. As always, the release maintains the Go 1 promise of compatibility. We expect almost all Go programs to continue to compile and run as before.

Diff on GitHub

Release branch.go1.13 by taisa831 · Pull Request #1 · taisa831/go

This PR will be imported into Gerrit with the title and first comment (this text) used to generate the subject and body of the Gerrit change. Please ensure you adhere to every item in this list.

Changed Files

golang 1.12 > 1.13

all AUTHORS CONTRIBUTORS SECURITY.md VERSION api/except.txt api/go1.13.txt doc/articles/race_detector.html doc/asm.html doc/code.html doc/contrib.html doc/contribute.html doc/debugging_with_gdb.html doc/devel/release.html doc/effective_go.html doc/go1.13.html doc…

Posted on

Golangを使ってJWTを15分で理解する

JWTとは

JWT(ジョットと言うらしい)はJSON Web Tokenの略で、JSONをベースとしたアクセストークンのためのオープン標準 (RFC 7519) です。色々記事を見ましたが、最終的にWikipediaが分かりやすく一番参考にしました。
https://ja.wikipedia.org/wiki/JSON_Web_Token

JWTの構造

JWTは以下の3つの要素をピリオドで区切った文字列で構成されます。

ヘッダー

署名生成に使用するアルゴリズムを格納します。下記のHS256は、このトークンがHMAC-SHA256で署名されていることを示しています。署名アルゴリズムとしては、SHA-256を使用したHMAC (HS256) や、SHA-256を使用したRSA署名 (RS256) がよく用いられます。

{
 "alg" : "HS256",
 "typ" : "JWT"
}

ペイロード

認証情報などのクレームを格納します。クレームとはペイロードに含める以下のような標準フィールド(クレーム)を指します。JWTの仕様では、トークンに一般的に含まれる7つの標準フィールドが定義されています。また用途に応じた独自のカスタムフィールドを含むこともできます。下記の例では、トークン発行日時を示す標準のクレーム (iat) と、カスタムクレーム (loggedInAs) を格納しています。

{
 "loggedInAs" : "admin",
 "iat" : 1422779638
}
7つのペイロードの標準クレーム

署名

トークン検証用の署名です。署名はヘッダーとペイロードをBase64urlエンコーディングしてピリオドで結合したものから生成します。署名はヘッダーで指定された暗号化アルゴリズムにより生成されます。下記はHMAC-SHA256形式でのコード例です。

HMAC-SHA256(base64urlEncoding(header) + '.' + base64urlEncoding(payload), 'secret key')

JWTを使用するにあたって

JWTはトークンが返され、それをローカルに保存して利用します(主にlocal storageやsession storageが用いられますが、セッションIDのようにCookieを用いる場合もあります。) 認証時にはAuthorizationヘッダーでBearerスキーマを利用します。またサーバー上に認証状態を保持しないステートレスな認証方式です。その為JWT単体ではトークンを無効にすることが出来ません。サーバーに状態を保持すれば可能ですが、その場合ステートレスの利点は失われることになります。
さて、ここまではほぼ Wikipedia に書いてある内容そのままです。ここから実際にGo/GinJWT Middlewareを使って実際の動作を確認してみます。

Go/GinJWT Middlewareを使った動作確認

利用するJWT Middlewareについて

ここでは、「https://github.com/gin-gonic/gin」 を使う前提で、次のMiddlewareを利用します。「https://github.com/appleboy/gin-jwt」。このMiddlewareは、auth_jwt.goの1ファイルでで構成されていて、「https://github.com/dgrijalva/jwt-go」Gin用に薄くラップしたものです。jwt-goはトークンを作成したりパースしたり様々な機能が用意されています。

サンプルソース

サンプルソースは、https://github.com/appleboy/gin-jwt/blob/master/README.md に載っているのでこれを元に確認します。処理は大きく「ログイン時にToken発行する」と「トークン認証&処理実行する」の2種類あります。

ログイン時にToken発行する

ログイン時にTokenを発行する処理は、LoginHandlerです。Routerでは次のように定義しています。LoginHandlerではAuthenticatorPayloadFuncが呼ばれる為、Middlewareにてこれらを実装する必要があります。

r.POST("/login", authMiddleware.LoginHandler)

Authenticatorはログイン認証の為の関数です。例では固定値が設定されていますが、実際は主にDBから値を取得することになると思います。PayloadFuncはペイロードに含めるクレームを設定します。ペイロードには任意のクレームを追加可能なので、ログインIDとなるuserIDをセットしています。

// ログインに基づいたユーザの認証振る舞いをするコールバック
Authenticator: func(c *gin.Context) (interface{}, error) {
  var loginVals login
  if err := c.ShouldBind(&loginVals); err != nil {
    return "", jwt.ErrMissingLoginValues
  }
  userID := loginVals.Username
  password := loginVals.Password
  // ユーザIDとパスワード認証(実際は主にDBから値を取得する)
  if (userID == "admin" && password == "admin") || (userID == "test" && password == "test") {
    return &User{
      UserName:  userID,
    }, nil
  }
  return nil, jwt.ErrFailedAuthentication
},
// ペイロードのクレーム設定
PayloadFunc: func(data interface{}) jwt.MapClaims {
  if v, ok := data.(*User); ok {
    return jwt.MapClaims{
      IdentityKey: v.UserName,
    }
  }
  return jwt.MapClaims{}
}

ログイン時にアクセストークンを取得するにはサーバ起動後に以下のコマンドを実行します。

% http -v --json POST localhost:8000/login username=admin password=admin

実行すると次のような結果が得られます。

POST login HTTP/1.1
Accept: application/json, */*
Accept-Encoding: gzip, deflate
Connection: keep-alive
Content-Length: 42
Content-Type: application/json
Host: localhost:8000
User-Agent: HTTPie/1.0.2
{
    "password": "admin",
    "username": "admin"
}
HTTP/1.1 200 OK
Content-Length: 213
Content-Type: application/json; charset=utf-8
Date: Tue, 27 Aug 2019 03:26:18 GMT
{
    "code": 200,
    "expire": "2019-08-27T13:26:18+09:00",
    "token": "eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE1NjY4Nzk5NzgsImlkIjoiYWRtaW4iLCJvcmlnX2lhdCI6MTU2Njg3NjM3OH0.D0z_y8vLEeQW_mtgOCw6gfrmz6eSGfW6uOG7KoEaMAo"
}

LoginHandlerの処理を見てみる

ここであらためてauth_jwt.goLoginHandlerの処理を見てみると内部で何をやっているかが具体的に分かります。エラーチェックなどを省いて主要なところだけ確認してみます。
上記middlewareで実装しているAuthenticatorを呼んでログイン認証します。

data, err := mw.Authenticator(c)

ログイン認証が通ったらクレームを取得します。

// Create the token
token := jwt.New(jwt.GetSigningMethod(mw.SigningAlgorithm))
claims := token.Claims.(jwt.MapClaims)

上記で実装しているPayloadFuncを呼んで独自クレームを設定します。

if mw.PayloadFunc != nil {
  for key, value := range mw.PayloadFunc(data) {
    claims[key] = value
  }
}

更にペイロードに必要なクレーム情報を設定します。expはトークン切れタイムで、orig_iatはトークン生成タイムです。

expire := mw.TimeFunc().Add(mw.Timeout)
claims["exp"] = expire.Unix()
claims["orig_iat"] = mw.TimeFunc().Unix()

最後に署名付きトークンを生成してレスポンスとして返します。

tokenString, err := mw.signedString(token)
mw.LoginResponse(c, http.StatusOK, tokenString, expire)

これらを組み合わせたLoginHandlerの実際の処理です。

func (mw *GinJWTMiddleware) LoginHandler(c *gin.Context) {
    if mw.Authenticator == nil {
        mw.unauthorized(c, http.StatusInternalServerError, mw.HTTPStatusMessageFunc(ErrMissingAuthenticatorFunc, c))
        return
    }
    data, err := mw.Authenticator(c)
    if err != nil {
        mw.unauthorized(c, http.StatusUnauthorized, mw.HTTPStatusMessageFunc(err, c))
        return
    }
    // Create the token
    token := jwt.New(jwt.GetSigningMethod(mw.SigningAlgorithm))
    claims := token.Claims.(jwt.MapClaims)
    if mw.PayloadFunc != nil {
        for key, value := range mw.PayloadFunc(data) {
            claims[key] = value
        }
    }
    expire := mw.TimeFunc().Add(mw.Timeout)
    claims["exp"] = expire.Unix()
    claims["orig_iat"] = mw.TimeFunc().Unix()
    tokenString, err := mw.signedString(token)
    if err != nil {
        mw.unauthorized(c, http.StatusUnauthorized, mw.HTTPStatusMessageFunc(ErrFailedTokenCreation, c))
        return
    }
    // set cookie
    if mw.SendCookie {
        maxage := int(expire.Unix() - time.Now().Unix())
        c.SetCookie(
            mw.CookieName,
            tokenString,
            maxage,
            "/",
            mw.CookieDomain,
            mw.SecureCookie,
            mw.CookieHTTPOnly,
        )
    }
    mw.LoginResponse(c, http.StatusOK, tokenString, expire)
}
func (mw *GinJWTMiddleware) signedString(token *jwt.Token) (string, error) {
    var tokenString string
    var err error
    if mw.usingPublicKeyAlgo() {
        tokenString, err = token.SignedString(mw.privKey)
    } else {
        tokenString, err = token.SignedString(mw.Key)
    }
    return tokenString, err
}

払い出されたTokenを検証してみる

払い出されたTokenを検証してみます。トークンはピリオドで分割し3つに分けることができます。

eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE1NjY4Nzk5NzgsImlkIjoiYWRtaW4iLCJvcmlnX2lhdCI6MTU2Njg3NjM3OH0.D0z_y8vLEeQW_mtgOCw6gfrmz6eSGfW6uOG7KoEaMAo
  • ヘッダー:eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9
  • ペイロード:eyJleHAiOjE1NjY4Nzk5NzgsImlkIjoiYWRtaW4iLCJvcmlnX2lhdCI6MTU2Njg3NjM3OH0
  • 署名:D0z_y8vLEeQW_mtgOCw6gfrmz6eSGfW6uOG7KoEaMAo

ヘッダーとペイロードはbase64でエンコードされているだけなので以下のコマンドで確認することができます。
・ヘッダー

% echo eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9 | base64 -D
{"alg":"HS256","typ":"JWT"}%

・ペイロード

% echo eyJleHAiOjE1NjY4Nzk5NzgsImlkIjoiYWRtaW4iLCJvcmlnX2lhdCI6MTU2Njg3NjM3OH0 | base64 -D
{"exp":1566879978,"id":"admin","orig_iat":156687637%

・署名は暗号化されているので当然復元できません。

% echo D0z_y8vLEeQW_mtgOCw6gfrmz6eSGfW6uOG7KoEaMAo | base64 -D
L������k`8,:���ϧ���*�%

またトークンを確認するのに便利なサイトがあります。このサイトを利用するとJWT認証の確認が簡単にできます。認証ができていないと、Invalid Signatureとなりますが、シークレットキーに今回使った文字列secret keyと入力し今回のトークンを貼り付けるとSignature Verifiedと認証成功が確認できます。
https://jwt.io/
・認証NG

・認証OK

トークン認証&処理実行する

次にトークン認証と認証後の処理の実行をみてみます。auth_jwt.goではMiddlewareFuncを呼び出します。RouterにはauthMiddleware.MiddlewareFunc()をかまし、その中に実行したいRouteを設定します。

auth := r.Group("/auth")
auth.Use(authMiddleware.MiddlewareFunc())
{
    auth.GET("/hello", helloHandler)
}
func helloHandler(c *gin.Context) {
    claims := jwt.ExtractClaims(c)
    user, _ := c.Get(middleware.IdentityKey)
    c.JSON(200, gin.H{
        "userID":   claims["id"],
        "userName": user.(*middleware.User).UserName,
        "text":     "Hello World.",
    })
}

middleware側では、IdentityHandlerAuthorizatorをあらかじめ実装しておく必要があります。

// クレームからログインIDを取得する
IdentityHandler: func(c *gin.Context) interface{} {
  claims := jwt.ExtractClaims(c)
  return &User{
    UserName: claims["id"].(string),
  }
},
// トークンのユーザ情報からの認証
Authorizator: func(data interface{}, c *gin.Context) bool {
  // UserNameは主にDBから取得
  if v, ok := data.(*User); ok && v.UserName == "admin" {
    return true
  }
  return false
},

トークンを使ってリクエストを投げるとリクエストが実行されます。

http -f GET localhost:8000/auth/hello "Authorization:Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE1NjY4Nzk5NzgsImlkIjoiYWRtaW4iLCJvcmlnX2lhdCI6MTU2Njg3NjM3OH0.D0z_y8vLEeQW_mtgOCw6gfrmz6eSGfW6uOG7KoEaMAo"  "Content-Type: application/json"

正常にレスポンスが取得できました。

http -f GET localhost:8000/auth/hello "Authorization:Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE1NjY4ODQ5ODQsImlkIjoiYWRtaW4iLCJvcmlnX2lhdCI6MTU2Njg4MTM4NH0.b22SkPtS5q5-YRHf9GCsUstvcKsNh2ds1fRdZN-Yxac"  "Content-Type: application/json"
HTTP/1.1 200 OK
Content-Length: 60
Content-Type: application/json; charset=utf-8
Date: Tue, 27 Aug 2019 04:50:04 GMT
{
    "text": "Hello World.",
    "userID": "admin",
    "userName": "admin"
}

試しに署名の最後の4文字をaaaaに変更してみると署名の認証エラーであるsignature is invalidが返ってきます。

http -f GET localhost:8000/auth/hello "Authorization:Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE1NjY4ODQ5ODQsImlkIjoiYWRtaW4iLCJvcmlnX2lhdCI6MTU2Njg4MTM4NH0.b22SkPtS5q5-YRHf9GCsUstvcKsNh2ds1fRdZN-aaaa"  "Content-Type: application/json"
HTTP/1.1 401 Unauthorized
Content-Length: 46
Content-Type: application/json; charset=utf-8
Date: Tue, 27 Aug 2019 04:50:59 GMT
Www-Authenticate: JWT realm=test zone
{
    "code": 401,
    "message": "signature is invalid"
}

MiddlewareFuncの処理を見てみる

では実際中ではどのような処理が行われているかauth_jwt.goMiddlewareFuncの主要処理をみてみます。
トークンからクレームを取得します。

claims, err := mw.GetClaimsFromJWT(c)

クレーム内のexpをチェックしトークンが有効かをチェックします。

if claims["exp"] == nil {
  mw.unauthorized(c, http.StatusBadRequest, mw.HTTPStatusMessageFunc(ErrMissingExpField, c))
  return
}
if _, ok := claims["exp"].(float64); !ok {
  mw.unauthorized(c, http.StatusBadRequest, mw.HTTPStatusMessageFunc(ErrWrongFormatOfExp, c))
  return
}
if int64(claims["exp"].(float64)) < mw.TimeFunc().Unix() {
  mw.unauthorized(c, http.StatusUnauthorized, mw.HTTPStatusMessageFunc(ErrExpiredToken, c))
  return
}

ミドルウェアで実装しているIdentityHandlerを呼び出し、クレームからユーザ情報を取得します。

IdentityHandler: func(c *gin.Context) interface{} {
  claims := jwt.ExtractClaims(c)
  return &User{
    UserName: claims["id"].(string),
  }
},

ミドルウェアで実装しているAuthorizatorを呼び出しIDが一致していたら認証OKとなります。

// トークンのユーザ情報からの認証
Authorizator: func(data interface{}, c *gin.Context) bool {
  // UserNameは主にDBから取得
  if v, ok := data.(*User); ok && v.UserName == "admin" {
    return true
  }
  return false
},

MiddlewareFuncの全処理です。

func (mw *GinJWTMiddleware) MiddlewareFunc() gin.HandlerFunc {
    return func(c *gin.Context) {
        mw.middlewareImpl(c)
    }
}
func (mw *GinJWTMiddleware) middlewareImpl(c *gin.Context) {
    claims, err := mw.GetClaimsFromJWT(c)
    if err != nil {
        mw.unauthorized(c, http.StatusUnauthorized, mw.HTTPStatusMessageFunc(err, c))
        return
    }
    if claims["exp"] == nil {
        mw.unauthorized(c, http.StatusBadRequest, mw.HTTPStatusMessageFunc(ErrMissingExpField, c))
        return
    }
    if _, ok := claims["exp"].(float64); !ok {
        mw.unauthorized(c, http.StatusBadRequest, mw.HTTPStatusMessageFunc(ErrWrongFormatOfExp, c))
        return
    }
    if int64(claims["exp"].(float64)) < mw.TimeFunc().Unix() {
        mw.unauthorized(c, http.StatusUnauthorized, mw.HTTPStatusMessageFunc(ErrExpiredToken, c))
        return
    }
    c.Set("JWT_PAYLOAD", claims)
    identity := mw.IdentityHandler(c)
    if identity != nil {
        c.Set(mw.IdentityKey, identity)
    }
    if !mw.Authorizator(identity, c) {
        mw.unauthorized(c, http.StatusForbidden, mw.HTTPStatusMessageFunc(ErrForbidden, c))
        return
    }
    c.Next()
}

これで一通りの動作確認ができました。

まとめ

はじめ知らないワードが出てきて理解しきれなかったのですが、実際に触ってみることでJWTについてある程度理解できました。触ってみてステートレスであり、ステートレスであるがゆえにJWT単体ではトークンを無効にすることが出来ないという理由も実感できました。

その他の参考記事

https://qiita.com/k_k_hogetaro/items/0c97f42ecb8207767db2

Posted on

Go言語 GORM+GinでTODOリストのAPIを作ってみた

前回の「Go言語 GORM+GinでTODOリストを作ってみた」に続いて「GORM+Gin」でTODOリストのAPIを作ってみました。ソースコードは前回からの差分だけを記載しています。できたものは下記URLから確認できます。
http://sandbox.taisablog.com/api/v1/

GinのGithub

事前情報

ルーティングは今回はAPIなので以下としました。モデルをtasksにすればよかったと思いましたが一旦このままにしておきます。

[GIN-debug] GET    /todo                     --> main.main.func1 (3 handlers) // 一覧表示
[GIN-debug] POST   /todo                     --> main.main.func2 (3 handlers) // 新規作成
[GIN-debug] GET    /todo/:id                 --> main.main.func3 (3 handlers) // 編集画面表示
[GIN-debug] PUT    /todo/:id                 --> main.main.func4 (3 handlers) // 編集
[GIN-debug] DELETE /todo/:id                 --> main.main.func5 (3 handlers) // 削除

ディレクトリ構成

.
├── api
│   └── v1
│       └── todo.go
├── controllers
│   └── todo.go
├── db
│   └── db.go
├── main.go
├── models
│   └── todo.go
├── router
    └── router.go

router.go

router.gor.Group("/api/v1")のAPI用のグループを追加してルーティングを追加しました。

package router
import (
  "github.com/gin-contrib/cors"
  "github.com/gin-gonic/gin"
  "github.com/jinzhu/gorm"
  v1 "github.com/taisa831/sandbox-gin/api/v1"
  "github.com/taisa831/sandbox-gin/controllers"
  "time"
)
func Router(dbConn *gorm.DB) {
  todoHandler := controllers.TodoHandler{
    Db: dbConn,
  }
  r := gin.Default()
  r.Use(cors.New(cors.Config{
    AllowOrigins:     []string{"*"},
    AllowMethods:     []string{"PUT", "PATCH", "DELETE", "POST", "GET"},
    AllowHeaders:     []string{"Origin"},
    ExposeHeaders:    []string{"Content-Length"},
    AllowCredentials: true,
    AllowOriginFunc: func(origin string) bool {
      return origin == "*"
    },
    MaxAge: 12 * time.Hour,
  }))
  r.LoadHTMLGlob("templates/*")
  r.GET("/todo", todoHandler.GetAll) // 一覧画面
  r.POST("/todo", todoHandler.CreateTask) // 新規作成
  r.GET("/todo/:id", todoHandler.EditTask) // 編集画面
  r.POST("/todo/edit/:id", todoHandler.UpdateTask) // 更新
  r.POST("/todo/delete/:id", todoHandler.DeleteTask) // 削除
  apiV1 := r.Group("/api/v1")
  {
    apiTodoHandler := v1.TodoHandler{
      Db: dbConn,
    }
    apiV1.GET("/todo", apiTodoHandler.GetAll) // 一覧画面
    apiV1.POST("/todo", apiTodoHandler.CreateTask) // 新規作成
    apiV1.GET("/todo/:id", apiTodoHandler.EditTask) // 編集画面
    apiV1.PUT("/todo/:id", apiTodoHandler.UpdateTask) // 更新
    apiV1.DELETE("/todo/:id", apiTodoHandler.DeleteTask) // 削除
  }
  r.Run(":9000")
}

api/v1/todo.go

JSONで受けた値を処理してJSONを返すように変更しました。

package v1
import (
  "github.com/gin-gonic/gin"
  "github.com/jinzhu/gorm"
  "github.com/taisa831/gin-sandbox/models"
  "net/http"
)
type TodoHandler struct {
  Db *gorm.DB
}
func (h *TodoHandler) GetAll(c *gin.Context) {
  var todos []models.Todo
  h.Db.Find(&todos)
  c.JSON(http.StatusOK, todos)
}
func (h *TodoHandler) CreateTask(c *gin.Context) {
  todo := models.Todo{}
  err := c.BindJSON(&todo)
  if err != nil {
    c.AbortWithStatusJSON(http.StatusBadRequest, gin.H{
      "error": err.Error(),
    })
    return
  }
  h.Db.Create(&todo)
  c.JSON(http.StatusOK, &todo)
}
func (h *TodoHandler) EditTask(c *gin.Context) {
  todo := models.Todo{}
  id := c.Param("id")
  h.Db.First(&todo, id)
  c.JSON(http.StatusOK, todo)
}
func (h *TodoHandler) UpdateTask(c *gin.Context) {
  todo := models.Todo{}
  id := c.Param("id")
  h.Db.First(&todo, id)
  err := c.BindJSON(&todo)
  if err != nil {
    c.AbortWithStatusJSON(http.StatusBadRequest, gin.H{
      "error": err.Error(),
    })
  }
  h.Db.Save(&todo)
  c.JSON(http.StatusOK, &todo)
}
func (h *TodoHandler) DeleteTask(c *gin.Context) {
  todo := models.Todo{}
  id := c.Param("id")
  h.Db.First(&todo, id)
  err := h.Db.First(&todo, id).Error
  if err != nil {
    c.AbortWithStatus(http.StatusNotFound)
    return
  }
  h.Db.Delete(&todo)
  c.JSON(http.StatusOK, gin.H{
    "status": "ok",
  })
}

動作確認

ターミナルでjsonをみやすくするようにjsonppを入れておきます。

brew install jsonpp

一覧取得

% curl -X GET -H "Content-Type: application/json" http://localhost:9000/api/v1/todo | jsonpp
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   271  100   271    0     0  44172      0 --:--:-- --:--:-- --:--:-- 45166
[
  {
    "ID": 1,
    "CreatedAt": "2019-07-04T10:16:28+09:00",
    "UpdatedAt": "2019-07-04T10:16:28+09:00",
    "DeletedAt": null,
    "Text": "テスト",
    "Status": 1
  },
  {
    "ID": 2,
    "CreatedAt": "2019-07-04T10:16:38+09:00",
    "UpdatedAt": "2019-07-04T10:16:38+09:00",
    "DeletedAt": null,
    "Text": "実装",
    "Status": 1
  }
]

新規作成

% curl -X POST -H "Content-Type: application/json" -d '{"text":"test", "status":2}' http://localhost:9000/api/v1/todo | jsonpp
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   172  100   145  100    27  23592   4393 --:--:-- --:--:-- --:--:-- 24166
{
  "ID": 3,
  "CreatedAt": "2019-07-04T10:18:45.041387+09:00",
  "UpdatedAt": "2019-07-04T10:18:45.041387+09:00",
  "DeletedAt": null,
  "Text": "test",
  "Status": 2
}

更新

% curl -X PUT -H "Content-Type: application/json" -d '{"text":"update", "status":3}' http://localhost:9000/api/v1/todo/1 | jsonpp
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   169  100   140  100    29  20951   4340 --:--:-- --:--:-- --:--:-- 23333
{
  "ID": 1,
  "CreatedAt": "2019-07-04T10:16:28+09:00",
  "UpdatedAt": "2019-07-04T10:19:45.818126+09:00",
  "DeletedAt": null,
  "Text": "update",
  "Status": 3
}

削除

% curl -X DELETE -H "Content-Type: application/json" http://localhost:9000/api/v1/todo/1 | jsonpp
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100    16  100    16    0     0   2025      0 --:--:-- --:--:-- --:--:--  2285
{
  "status": "ok"
}

参考:
https://github.com/hugomd/go-todo
https://github.com/gin-gonic/gin
今回のソース:
https://github.com/taisa831/gin-sandbox

Posted on

Go言語 GORM+GinでTODOリストを作ってみた

前回の「Go言語 ORMライブラリ GORMの使い方」に続いて「GORM+Gin」でTODOリストを作ってみました。使い方は「GitHubのREADME」を参考にしました。できたものは下記URLから確認できます。装飾は別途やれればと。
http://gin.taisablog.com/todo

事前情報

ルーティングは通常のフォームだとPUT/DELETEが使えないので以下のようにしました。

[GIN-debug] GET    /todo                     --> main.main.func1 (3 handlers) // 一覧表示
[GIN-debug] POST   /todo                     --> main.main.func2 (3 handlers) // 新規作成
[GIN-debug] GET    /todo/:id                 --> main.main.func3 (3 handlers) // 編集画面表示
[GIN-debug] POST   /todo/edit/:id            --> main.main.func4 (3 handlers) // 編集
[GIN-debug] POST   /todo/delete/:id          --> main.main.func5 (3 handlers) // 削除

main.goだけで作成した場合

main.goに全ての処理を記述しています。

package main
import (
  "github.com/gin-gonic/gin"
  "github.com/jinzhu/gorm"
  _ "github.com/jinzhu/gorm/dialects/mysql"
  "net/http"
  "strconv"
)
type Todo struct {
  gorm.Model
  Text   string
  Status uint64
}
func main() {
  db, err := gorm.Open("mysql", "gorm:gorm@/sandbox_gin?charset=utf8mb4&parseTime=True&loc=Local")
  if err != nil {
    panic("データベースへの接続に失敗しました")
  }
  defer db.Close()
  db.LogMode(true)
  db.AutoMigrate(&Todo{})
  r := gin.Default()
  r.LoadHTMLGlob("templates/*")
  // 一覧画面
  r.GET("/todo", func(c *gin.Context) {
    var todos []Todo
    db.Find(&todos)
    c.HTML(http.StatusOK, "index.html", gin.H{
      "todos": todos,
    })
  })
  // 新規作成
  r.POST("/todo", func(c *gin.Context) {
    text, _ := c.GetPostForm("text")
    status, _ := c.GetPostForm("status")
    istatus, _ := strconv.ParseUint(status, 10, 32)
    db.Create(&Todo{Text: text, Status: istatus})
    c.Redirect(http.StatusMovedPermanently, "/todo")
  })
  // 編集画面
  r.GET("/todo/:id", func(c *gin.Context) {
    todo := Todo{}
    id := c.Param("id")
    db.First(&todo, id)
    c.HTML(http.StatusOK, "edit.html", gin.H{
      "todo": todo,
    })
  })
  // 編集
  r.POST("/todo/edit/:id", func(c *gin.Context) {
    todo := Todo{}
    id := c.Param("id")
    text, _ := c.GetPostForm("text")
    status, _ := c.GetPostForm("status")
    istatus, _ := strconv.ParseUint(status, 10, 32)
    db.First(&todo, id)
    todo.Text = text
    todo.Status = istatus
    db.Save(&todo)
    c.Redirect(http.StatusMovedPermanently, "/todo")
  })
  // 削除
  r.POST("/todo/delete/:id", func(c *gin.Context) {
    todo := Todo{}
    id := c.Param("id")
    db.First(&todo, id)
    db.Delete(&todo)
    c.Redirect(http.StatusMovedPermanently, "/todo")
  })
  r.Run(":9000")
}

ファイルを分割した場合

main.goだけだとちょっと味気ないのでWebフレームワークっぽい構成にしてみました。書き方は色々だと思うので「参考」としてみてもらえればと思います。

ディレクトリ構成

.
├── controllers
│   └── todo.go
├── db
│   └── db.go
├── main.go
├── models
│   └── todo.go
├── router
│   └── router.go
└── templates
    ├── edit.html
    └── index.html

main.go

DB初期化とRouter初期化の呼び出し

package main
import (
  "github.com/taisa831/sandbox-gin/db"
  "github.com/taisa831/sandbox-gin/router"
)
func main() {
  dbConn := db.Init()
  router.Router(dbConn)
}

db/db.go

DB初期化

package db
import (
  "github.com/jinzhu/gorm"
  _ "github.com/jinzhu/gorm/dialects/mysql"
  "github.com/taisa831/sandbox-gin/models"
)
func Init() *gorm.DB {
  db, err := gorm.Open("mysql", "gorm:gorm@/sandbox_gin?charset=utf8mb4&parseTime=True&loc=Local")
  if err != nil {
    panic("データベースへの接続に失敗しました")
  }
  db.LogMode(true)
  db.AutoMigrate(&models.Todo{})
  return db
}

models/todo.go

modelsにはモデルの情報だけ記述

package models
import "github.com/jinzhu/gorm"
type Todo struct {
 gorm.Model
 Text string
 Status uint64
}

router/router.go

ルート情報を記述して起動

package router
import (
  "github.com/gin-gonic/gin"
  "github.com/jinzhu/gorm"
  "github.com/taisa831/sandbox-gin/controllers"
)
func Router(dbConn *gorm.DB) {
  todoHandler := controllers.TodoHandler{
    Db: dbConn,
  }
  r := gin.Default()
  r.LoadHTMLGlob("templates/*")
  r.GET("/todo", todoHandler.GetAll) // 一覧画面
  r.POST("/todo", todoHandler.CreateTask) // 新規作成
  r.GET("/todo/:id", todoHandler.EditTask) // 編集画面
  r.POST("/todo/edit/:id", todoHandler.UpdateTask) // 更新
  r.POST("/todo/delete/:id", todoHandler.DeleteTask) // 削除
  r.Run(":9000")
}

controllers/todo.go

実際にWebから呼び出された時の処理

package controllers
import (
  "github.com/gin-gonic/gin"
  "github.com/jinzhu/gorm"
  "github.com/taisa831/sandbox-gin/models"
  "net/http"
  "strconv"
)
type TodoHandler struct {
  Db *gorm.DB
}
func (h *TodoHandler) GetAll(c *gin.Context) {
  var todos []models.Todo
  h.Db.Find(&todos)
  c.HTML(http.StatusOK, "index.html", gin.H{
    "todos": todos,
  })
}
func (h *TodoHandler) CreateTask(c *gin.Context) {
  text, _ := c.GetPostForm("text")
  status, _ := c.GetPostForm("status")
  istatus, _ := strconv.ParseUint(status, 10, 32)
  h.Db.Create(&models.Todo{Text: text, Status: istatus})
  c.Redirect(http.StatusMovedPermanently, "/todo")
}
func (h *TodoHandler) EditTask(c *gin.Context) {
  todo := models.Todo{}
  id := c.Param("id")
  h.Db.First(&todo, id)
  c.HTML(http.StatusOK, "edit.html", gin.H{
    "todo": todo,
  })
}
func (h *TodoHandler) UpdateTask(c *gin.Context) {
  todo := models.Todo{}
  id := c.Param("id")
  text, _ := c.GetPostForm("text")
  status, _ := c.GetPostForm("status")
  istatus, _ := strconv.ParseUint(status, 10, 32)
  h.Db.First(&todo, id)
  todo.Text = text
  todo.Status = istatus
  h.Db.Save(&todo)
  c.Redirect(http.StatusMovedPermanently, "/todo")
}
func (h *TodoHandler) DeleteTask(c *gin.Context) {
  todo := models.Todo{}
  id := c.Param("id")
  h.Db.First(&todo, id)
  h.Db.Delete(&todo)
  c.Redirect(http.StatusMovedPermanently, "/todo")
}

templates/index.html




    
    TODOリスト
    



    新規追加:
    
        未対応
        対応中
        完了
    
    


{{range .todos}} {{end}}
TODO ステータス
{{.Text}} {{if eq .Status 1}} 未対応 {{else if eq .Status 2}} 対応中 {{else if eq .Status 3}} 完了 {{end}} 編集 削除
$(function(){ $('.delete').on('click', function(){ $('#frmDelete').attr('action', '/todo/delete/' + $(this).data('id')) $('#frmDelete').submit() }) })

templates/edit.html




    
    TODOリスト 編集



    テキスト
未対応 対応中 完了

GitHubはこちら
https://github.com/taisa831/sandbox-gin

Posted on

Go言語 ORMライブラリ GORMの使い方

Go言語 ORMライブラリのGORMの簡単な使い方を確認してみました。また、公式ドキュメントにしっかりと使い方が書いてありますので基本的にはそちらを参考にしてもらえればと思います(すべてではないですが日本語訳もされています)。その上でクイックスタートを元に簡単な使い方と挙動を確認してみます。
http://gorm.io/ja_JP/docs/

インストール

以下のコマンドでインストールできます。

go get -u github.com/jinzhu/gorm

クイックスタート

公式ドキュメントにあるクイックスタートを実行してみました。DBだけsqliteではなくmysqlに変更しています。

package main
import (
  "github.com/jinzhu/gorm"
  // _ "github.com/jinzhu/gorm/dialects/sqlite"
  _ "github.com/jinzhu/gorm/dialects/mysql"
)
type Product struct {
  gorm.Model
  Code string
  Price uint
}
func main() {
  // db, err := gorm.Open("sqlite3", "test.db")
  db, err := gorm.Open("mysql", "gorm:gorm@/sandbox?charset=utf8mb4&parseTime=True&loc=Local")
  if err != nil {
    panic("データベースへの接続に失敗しました")
  }
  defer db.Close()
  // スキーマのマイグレーション
  db.AutoMigrate(&Product{})
  // Create
  db.Create(&Product{Code: "L1212", Price: 1000})
  // Read
  var product Product
  db.First(&product, 1) // idが1の製品を探します
  db.First(&product, "code = ?", "L1212") // codeがL1212の製品を探します
  // Update - 製品価格を2,000に更新します
  db.Model(&product).Update("Price", 2000)
  // Delete - 製品を削除します
  db.Delete(&product)
}

実行してみるとproductsテーブルが作成され、以下のカラムとレコードができました。structでは宣言していない、idcreated_atupdated_atdeleted_atカラムができ、deleted_atに日付が入りソフトデリートが行われています。

go run main.go

gorm.Model

gorm.Modelを宣言するとidcreated_atupdated_atdeleted_atカラムが自動的に注入されます。また,deleted_atカラムがある場合、Deleteはソフトデリートになります。
参考:
http://gorm.io/ja_JP/docs/conventions.html

SQL実行ログ出力

先ほど実行したプログラムでどんなSQLが実行されたか確認してみます。db.LogMode(true)を設定するとSQLの実行ログが確認できます。

func main() {
  // db, err := gorm.Open("sqlite3", "test.db")
  db, err := gorm.Open("mysql", "gorm:gorm@/sandbox?charset=utf8mb4&parseTime=True&loc=Local")
  if err != nil {
    panic("データベースへの接続に失敗しました")
  }
  defer db.Close()
  // ログを出力する
  db.LogMode(true)
  // スキーマのマイグレーション
  db.AutoMigrate(&Product{})
  // Create
  db.Create(&Product{Code: "L1212", Price: 1000})
  // Read
  var product Product
  db.First(&product, 1)                   // idが1の製品を探します
  db.First(&product, "code = ?", "L1212") // codeがL1212の製品を探します
  // Update - 製品価格を2,000に更新します
  db.Model(&product).Update("Price", 2000)
  // Delete - 製品を削除します
  db.Delete(&product)
}

実行SQLや実行時間が確認できるようになりました。

(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:28)
[2019-06-26 19:57:23]  [16.23ms]  CREATE TABLE `product` (`id` int unsigned AUTO_INCREMENT,`created_at` timestamp NULL,`updated_at` timestamp NULL,`deleted_at` timestamp NULL,`code` varchar(255),`price` int unsigned , PRIMARY KEY (`id`))
[0 rows affected or returned ]
(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:28)
[2019-06-26 19:57:23]  [1.58ms]  CREATE INDEX idx_product_deleted_at ON `product`(deleted_at)
[0 rows affected or returned ]
(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:31)
[2019-06-26 19:57:23]  [0.30ms]  INSERT  INTO `product` (`created_at`,`updated_at`,`deleted_at`,`code`,`price`) VALUES ('2019-06-26 19:57:23','2019-06-26 19:57:23',NULL,'L1212',1000)
[1 rows affected or returned ]
(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:35)
[2019-06-26 19:57:23]  [0.32ms]  SELECT * FROM `product`  WHERE `product`.`deleted_at` IS NULL AND ((`product`.`id` = 1)) ORDER BY `product`.`id` ASC LIMIT 1
[1 rows affected or returned ]
(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:36)
[2019-06-26 19:57:23]  [0.33ms]  SELECT * FROM `product`  WHERE `product`.`deleted_at` IS NULL AND `product`.`id` = 1 AND ((code = 'L1212')) ORDER BY `product`.`id` ASC LIMIT 1
[1 rows affected or returned ]
(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:39)
[2019-06-26 19:57:23]  [0.24ms]  UPDATE `product` SET `price` = 2000, `updated_at` = '2019-06-26 19:57:23'  WHERE `product`.`deleted_at` IS NULL AND `product`.`id` = 1
[1 rows affected or returned ]
(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:42)
[2019-06-26 19:57:23]  [0.22ms]  UPDATE `product` SET `deleted_at`='2019-06-26 19:57:23'  WHERE `product`.`deleted_at` IS NULL AND `product`.`id` = 1
[1 rows affected or returned ]

created_atupdated_atdeleted_atが不要な場合

テーブルによってはcreated_atupdated_atdeleted_atが不要な場合もあります。その時はgorm.Modelを使わなければカラムは作られません(IDだけはできるよう個別に記述しています)。

type Product struct {
  // gorm.Model
  ID uint `gorm:"primary_key"`
  Code  string
  Price uint
}

この場合、先ほどのSQL実行ログは下記のようになります。deleted_atカラムがないので今回のレコード削除はハードデリートになります。また、DELETE文でwhere product.id = 1となっているのは、db.Create(&Product{Code: "L1212", Price: 1000})実行時のIDを引き継いでいるようで、db.Create(&Product{Code: "L1212", Price: 1000})を削除するとwhere product.id = 1の指定はなくなります。もしくはproduct.ID = 2Delete実行前に記述するとwhere product.id = 2と条件が変わってくれます。

(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:31)
[2019-06-26 20:14:50]  [0.24ms]  INSERT  INTO `product` (`code`,`price`) VALUES ('L1212',1000)
[1 rows affected or returned ]
(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:35)
[2019-06-26 20:14:50]  [0.26ms]  SELECT * FROM `product`  WHERE (`product`.`id` = 1) ORDER BY `product`.`id` ASC LIMIT 1
[1 rows affected or returned ]
(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:36)
[2019-06-26 20:14:50]  [0.25ms]  SELECT * FROM `product`  WHERE `product`.`id` = 1 AND ((code = 'L1212')) ORDER BY `product`.`id` ASC LIMIT 1
[1 rows affected or returned ]
(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:39)
[2019-06-26 20:14:50]  [0.16ms]  UPDATE `product` SET `price` = 2000  WHERE `product`.`id` = 1
[0 rows affected or returned ]
(/Users/masakisato/.go/src/github.com/taisa831/sandbox-gorm/main.go:42)
[2019-06-26 20:14:50]  [0.16ms]  DELETE FROM `product`  WHERE `product`.`id` = 1
[1 rows affected or returned ]

テーブル名を単数形にする場合

マイグレーションを実行すると生成されるテーブル名はproductsのように自動的に複数系になりますが、複数形にしたくない場合もあります。その時はdb.SingularTable(true)を宣言するとテーブルが単数形で生成されます。
参考:
http://gorm.io/ja_JP/docs/conventions.html

GORM本体のテストカバレッジ

OSSライブラリを使う時、どのくらいテストが書かれているか気になったりするので確認してみました。GORM本体にはtest_all.shというテストすべてを実行するスクリプトが用意されているのでそれを元にカバレッジを出してみました。(初期実行時はライブラリが足りないなど出るので都度追加しました。)また、mysqlのテストをする為にmain_test.goに書かれている以下の記述に事前に設定を合わせておく必要があります。

case "mysql":
  fmt.Println("testing mysql...")
  if dbDSN == "" {
    dbDSN = "gorm:gorm@tcp(localhost:9910)/gorm?charset=utf8&parseTime=True"
  }
  db, err = gorm.Open("mysql", dbDSN)

今回は、postgresmssql環境がないのでmysqlsqliteだけに限定しました。go testのあとに-coverprofile=cover.outを追記してカバレッジを出力します。その後go tool cover -html=cover.out -o cover.htmlを実行してhtmlに変換しました。

#dialects=("postgres" "mysql" "mssql" "sqlite")
dialects=("mysql" "sqlite")
for dialect in "${dialects[@]}" ; do
    echo ${dialect}
    DEBUG=false GORM_DIALECT=${dialect} go test -coverprofile=cover.out
done

実行してみると全体ではcoverage: 81.7% of statementsとカバレッジが81.7%でファイル毎にみても以下のようになっていました。

ソース

https://github.com/taisa831/sandbox-gorm

まとめ

非常に簡単なところだけを触っただけで分かりませんが、通して導入しやすく安定したライブラリだと思いました。個人的にORMはあまり積極的に使わない方ですが簡単に扱える、学習コストが低い、実行SQLを確認しながら扱える、などがあると導入障壁が低くてよいですね。