@ -3,6 +3,7 @@ package main
import (
"bytes"
"io/ioutil"
"net/url"
"strings"
"time"
@ -112,3 +113,8 @@ func extractURLs(n *html.Node) []string {
return stringSetToSlice(ss)
}
func isURL(s string) bool {
u, err := url.Parse(s)
return err == nil && (u.Scheme == "http" || u.Scheme == "https")
@ -1,7 +1,6 @@
package main
"os"
)
@ -53,8 +52,3 @@ func main() {
os.Exit(1)